ANCHORMIND15.6%
모순 해소 (BEAM)
서로 어긋나는 두 진술 중 어느 쪽이 최신인지 가려내는 문제입니다. 논문 최고점보다는 높지만 절대 수치는 아직 낮습니다.
PUBLIC BENCHMARKS / 3 SUITES / 2,855 QUESTIONS
에이전트의 기억력, 점수로 확인하세요
새 세션을 열 때마다 같은 설명을 반복하고 계신가요? AnchorMind가 얼마나 정확히 기억하는지 연구자들이 쓰는 공개 벤치마크 3종으로 측정했습니다. 채점 규칙은 손대지 않았고, 서로 다른 모델 두 개가 따로 채점했습니다.
84.0%
LoCoMo 정답률
몇 주 분량의 대화, 1,540문항
85.9%
MemBench 정확도
469문항, 95% 신뢰구간 82.5–88.8
87.9%
날짜·시간 질문
LoCoMo 321문항
98.6%
단일 사실 회상
MemBench 70문항
01 / LOCOMO (ACL 2024)
몇 주 전에 나눈 이야기도 정확히 꺼냅니다
LoCoMo는 수십 번에 걸쳐 이어진 긴 대화 10개로 1,986개 질문을 던집니다. 날짜를 따져야 하는 질문, 여러 대화를 이어 봐야 풀리는 질문, 대화에 없던 내용을 묻는 함정 질문이 섞여 있습니다.
많이 꺼낼수록 더 정확해집니다
질문 하나에 돌려주는 기억 조각 수(k)를 10, 20, 50으로 늘려 같은 문제를 다시 풀었습니다. 정답의 근거가 결과에 들어오는 비율이 64%에서 77%로 오르고, 정답률도 함께 오릅니다.
| k | 정답률 (Claude 채점) | 정답률 (MiniMax 채점) | 근거 회수율 |
|---|---|---|---|
| 10 | 78.2% | 80.5% | 63.9% |
| 20 | 82.5% | 84.0% | 71.9% |
| 50 | 84.0% | 86.3% | 77.3% |
질문 유형별 정답률 (k=50, Claude 채점)
- 날짜·시간 추론n=32187.9%
- 단일 사실n=84187.0%
- 함정 질문 거절 (공식 F1)n=44688.1%
- 여러 대화 연결n=28279.1%
- 상식 결합n=9658.3%
정답률은 Mem0 memory-benchmarks의 채점 프롬프트(commit 4b61c5d)를 그대로 써서 1~4번 유형 1,540문항을 채점한 값입니다. 벤치마크 공식 지표인 토큰 F1은 k=50에서 0.633입니다.
02 / MEMBENCH (arXiv 2506.21605)
말한 사실도, 말 속에 묻어난 취향과 감정도 기억합니다
MemBench는 사용자가 직접 말한 사실은 물론 대화에서 드러난 선호와 감정까지 얼마나 정확히 기억하는지 469개 객관식 문항으로 측정합니다. 본인이 나눈 대화와 제3자로서 지켜본 대화를 모두 다룹니다.
85.9%
전체 정확도
469문항 · 95% 신뢰구간 82.5–88.8 · 채점 누락 0건
- 같은 대화 속 답변 회상n=30100.0%
- 단일 사실n=7098.6%
- 비교n=5094.0%
- 여러 사실 연결n=6987.0%
- 선호n=6085.0%
- 감정n=2080.0%
- 여러 기억 합산n=5060.0%
03 / BEAM 100K
까다로운 BEAM에서도 논문 공개 수치를 넘었습니다
BEAM은 10만 토큰 분량의 대화 20개에 400문항을 붙여 정보 추출, 선호 반영, 지식 갱신, 시간 추론, 요약 등 열 가지 기억 능력을 하나씩 채점합니다. 대화 전체를 통째로 읽는 대형 모델도 고전하는 벤치마크입니다.
0.443
능력 평균
k=24 · MiniMax 채점 0.501 · Claude 채점 0.443
- 정보 추출71.1%
- 선호 반영70.8%
- 지식 갱신51.9%
- 모르면 모른다고 답하기50.0%
- 여러 세션 추론47.2%
- 지시 유지46.3%
- 날짜·시간 추론41.9%
- 요약30.0%
- 사건 순서17.9%
- 모순 해소15.6%
BEAM 논문 수치와 비교하면
BEAM 논문(arXiv 2510.27246)이 100K 대화에서 보고한 능력 평균은 대화 전체를 모델에 넣는 방식이 0.239~0.280, RAG 기준선이 0.269~0.323, 논문이 제안한 LIGHT가 최고 0.358입니다. AnchorMind는 Claude 채점 기준 0.443입니다. 논문에서 모든 방법이 가장 어려워한 모순 해소도 논문 최고 0.050보다 높은 0.156을 기록했습니다. 다만 채점 모델(논문은 gpt-4.1-mini), 답변 모델(논문은 GPT-4.1-nano, Qwen2.5-32B 등), 꺼내는 양(논문 RAG는 대화 5쌍, AnchorMind는 기억 조각 24개)이 달라 같은 조건의 비교는 아닙니다.
막대는 더 엄격하게 채점한 Claude 점수입니다. 사건 순서는 공식 보고 스크립트와 같은 tau_norm 방식으로 채점했습니다.
04 / METHOD
이렇게 측정했습니다
- 01
같은 환경에서
세 벤치마크 모두 같은 서버 빌드, 같은 임베딩 모델(bge-m3), 같은 답변 모델(deepseek-flash)로 2026년 10월 10~11일에 돌렸습니다.
- 02
공식 규칙 그대로
질문, 정답, 채점 방식은 각 벤치마크 공개 저장소에 있는 그대로입니다. LoCoMo는 공식 지표인 토큰 F1도 함께 실었습니다.
- 03
채점은 두 번
MiniMax와 Claude가 같은 답을 따로 채점했습니다. LoCoMo(k=50)에서는 1,540문항 중 1,496문항의 판정이 같았습니다.
- 04
신뢰구간까지
모든 정답률에 95% 신뢰구간을 계산했습니다. 문항 수가 적은 항목은 구간이 넓다는 점도 그대로 보입니다.
- 05
틀린 답도 그대로
채점에서 빠진 답은 0건입니다. 틀린 답도 모두 점수에 반영했습니다.
05 / WHAT'S NEXT
다음으로 끌어올릴 부분
흩어진 기억을 엮어 전체 흐름을 다시 세우는 과제는 아직 개선할 여지가 큽니다.
17.9%
사건 순서 (BEAM)
흩어진 사건을 시간 순서대로 다시 세우는 문제입니다. 조각 단위로 검색하면 전체 순서가 한눈에 보이지 않습니다.
60.0%
여러 기억 합산 (MemBench)
여러 기억에 흩어진 값을 세거나 더하는 질문입니다. 검색에서 하나라도 빠지면 바로 오답이 됩니다.
다른 기억 시스템과 비교할 때
Mem0가 공개한 LoCoMo 점수 92.5%는 gpt-5로 답하고 채점하며 기억을 최대 200개까지 넣은 결과입니다. 이 페이지의 결과는 더 작은 답변 모델과 최대 50개 기억 조각으로 얻었습니다. 조건이 달라 한 표에 나란히 놓지 않았습니다.
다음 세션부터는 같은 설명을 반복하지 마세요
Claude Code, Codex, Cursor 등 MCP를 지원하는 도구라면 설정 한 줄로 연결됩니다.