AI 연구연구 프리프린트
뇌 영상의 시간 흐름으로 들은 말 찾기, 2천 후보 중 상위10 정확도 43%
원문 읽기 · arxiv.org ↗(새 탭에서 열림)NOEMA는 사람이 듣는 동안의 fMRI 신호를 시간 순서로 분석해, 미리 주어진 음성 구간 후보 중 실제 들은 부분을 찾아낸다.
연구 방법
- 연속 7개 fMRI 프레임을 시간 합성곱으로 처리하고, 텍스트·오디오·음성 인코더가 만든 다중 모드 표현에 맞춘다. 참가자마다 별도 모델을 학습하고 학습·평가 세션을 분리했다.
평가 결과
- 프랑스어 팟캐스트와 영어 이야기 자료의 참가자 6명 평가에서 약 2천 후보 중 정답을 상위10개 안에 찾는 비율은 각각 42.7%, 43.6%였다. 같은 7프레임 입력의 MLP보다 높았고, 후보를 5.1배 늘려도 상대 순위 우위가 유지됐다.
적용 조건
- 정해진 후보에서 검색한 결과이지 자유로운 발화 복원이나 마음 읽기가 아니다. 6명 각자의 모델이며 새 사람·다른 작업으로의 일반화는 시험하지 않았다. 시간 효과가 혈류 반응 지연과 자극의 구조 중 어디서 오는지도 분리하지 못했다.
함께 확인할 조건
- 정해진 후보에서 검색한 결과이지 자유로운 발화 복원이나 마음 읽기가 아니다. 6명 각자의 모델이며 새 사람·다른 작업으로의 일반화는 시험하지 않았다. 시간 효과가 혈류 반응 지연과 자극의 구조 중 어디서 오는지도 분리하지 못했다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.18 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.