AI 연구연구 프리프린트
분산된 LLM 지식 삭제, 남겨야 할 능력의 손실을 제한하며 병합
원문 읽기 · arxiv.org ↗(새 탭에서 열림)FIRM은 고객 데이터가 서버에 모이지 않는 환경에서 각 참여자가 만든 삭제·보존 어댑터를 병합하되, 삭제 강도를 키울 때 다른 능력이 무너지는 문제를 다룬다.
연구 방법
- 삭제 요청을 가진 참여자와 보존 자료를 가진 참여자가 각자 LoRA(모델의 일부만 추가 학습하는 방식) 변화량과 매개변수 민감도 요약을 한 번 보내고 서버는 원자료 없이 병합한다. Fisher 민감도로 변화량 규모를 정규화하고 보존 참여자에게 민감한 방향의 변화는 별도 제약으로 제한한다.
평가 결과
- Zephyr-7B WMDP에서 생물 분야 정답률 약43%로 비슷하게 낮춘 두 설정을 비교하면 일반 MMLU 정답률이 FIRM 48.29%, FULM 45.88%였다. TOFU에서는 삭제·보존·일반능력의 지표별 우열이 달랐으며 일부 FULM 설정의 MMLU가 더 높았다. Llama-3-8B와 MUSE-HP도 별도 시험했다.
적용 조건
- 이것은 벤치마크의 지식 억제 지표이며 특정 개인 데이터가 완전히 삭제됐다는 보증은 아니다. 비교된 FIRM-base 결과와 제약 투영을 더한 FIRM-QP 실험을 구분해야 한다. 서버가 원자료를 보지 않아도 참여자 변화량·민감도 요약의 별도 개인정보·무결성 위험은 이 논문의 성능 지표로 해결되지 않는다.
함께 확인할 조건
- 이것은 벤치마크의 지식 억제 지표이며 특정 개인 데이터가 완전히 삭제됐다는 보증은 아니다. 비교된 FIRM-base 결과와 제약 투영을 더한 FIRM-QP 실험을 구분해야 한다. 서버가 원자료를 보지 않아도 참여자 변화량·민감도 요약의 별도 개인정보·무결성 위험은 이 논문의 성능 지표로 해결되지 않는다.
출처와 편집 기준
arxiv.org · 연구 프리프린트 · 검수 2026.10.19 (KST)
요약은 원문의 핵심을 정리했으며, 커머스 인사이트는 편집 해석이다.