투기적 디코딩의 토큰 수용 증가가 응답 속도 향상을 보장하지 않았다
초안 모델의 토큰을 더 많이 받아들이는 설정이 실제 답변 완료를 빠르게 하는지 분리해 시험했다.
THE ABLE INDEX
핵심은 짧게. 근거는 원문으로. 새 소식과 참고할 실무 자료를 함께 정리합니다.
편집자 선택 · 뉴스
ABLE FIELD GUIDE
검수한 뉴스를 불러오고 있습니다.
초안 모델의 토큰을 더 많이 받아들이는 설정이 실제 답변 완료를 빠르게 하는지 분리해 시험했다.
반복 실행 두세 번의 점수 차이가 유의하지 않은 경우, 그 결과만으로 두 방법이 실용적으로 동등하다고 선언할 수 없다는 실험 설계 연구다.
강화학습의 게임 환경을 JAX에서 직접 실행·수정할 수 있게 만든 연구용 환경이 제시됐다.
배송 제약을 말로 지정해도 기존 신경 경로 탐색 모델이 그 조건을 지키도록 하는 추론 단계 방법이 제시됐다.
확산 모델을 Trainium2에 배치할 때 커널 속도와 실제 요청 지연은 같은 방향으로 움직이지 않았다.
허위정보의 설득 기법을 미리 알려주는 방법을 AI와 사람에게 시험했다. 두 대상의 결과는 달랐다.
시각 근거가 있어도 답과 함께 제시된 설명이 그럴듯하면 AI 심사자가 오답을 더 쉽게 받아들일 수 있다는 통제 실험이다.
영어 밖의 관계 추출 평가 공백을 줄이기 위해 히브리어 문장과 지식 그래프의 연결을 정제한 자료가 공개됐다.
기억을 넣은 로봇의 성공률이 달라져도 기억 속 올바른 사실 때문인지, 설치 과정이 실행을 흔든 것인지 바로 알 수 없다는 문제에서 출발한다.
큰 모델 호출을 아끼려 작은 모델의 불확실한 질문만 올려 보내는 정책이 언어마다 같은 기회를 주는지 평가했다.
RAG(검색 증강 생성)를 도입할 때 후보 방식을 먼저 좁히는 데 쓸 수 있는 분류표가 제시됐다. 저자들은 이를 실제 벤치마크 전 단계로 규정했다.
한 문제의 정답률이 높아도 같은 규칙을 다른 표현에 안정적으로 적용한다고 볼 수 있는지 확인한 평가 연구다.
모델이 자신 있게 내놓은 RAG(검색 증강 생성) 답변도 검색된 문단에 근거가 빠져 있으면 사실과 다를 수 있다는 점을 점수 실험으로 확인했다.
SAG2는 대형 임베딩 저장소 없이도 여러 문단을 거쳐 찾아야 하는 근거를 검색할 수 있는지 시험했다.
도구가 수천 개일 때 에이전트가 필요한 것을 빠뜨리지 않고 찾는지, 그 과정에 드는 비용이 얼마인지 나눠 시험했다.
깨끗한 낭독 음성에서의 복제 순위만으로 회의·감정 대화·잡음 많은 무전 음성의 결과를 예측하기 어렵다는 평가다.
의료 영상과 질문을 각각 검색하는 대신 두 정보를 합친 표현으로 문서를 찾으면 답변이 나아지는지 시험했다.
긴 에이전트 작업에서는 마지막 성공 여부만으로 어떤 중간 선택이 좋았는지 판단하기 어려워, 경로 분기와 갱신 목표를 함께 설계했다.
고정된 벤치마크 과제의 성공과 사용자가 대화에서 실제로 원한 행동이 다를 수 있음을 보인 평가다.
긴 문맥에서 어텐션 비용을 줄이되 층마다 필요한 토큰이 달라지는 문제를 완화하려는 방식이다.