# 추론하면서 기억을 고치는 AI, Titans

Titans v1의 시험 시점 신경망 기억 갱신, 놀라움·모멘텀·망각, MAC·MAG·MAL 연결 구조와 장문맥 실험 수치의 해석 범위를 살펴봅니다.

Source: https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory

HOME / NEWS & INSIGHTS NEWS & INSIGHTS 추론하면서 기억을 고치는 AI, Titans Titans v1의 시험 시점 신경망 기억 갱신, 놀라움·모멘텀·망각, MAC·MAG·MAL 연결 구조와 장문맥 실험 수치의 해석 범위를 살펴봅니다. AI·특허 2026.11.10 게시 IPLEX 11분 읽기 두꺼운 보고서의 마지막 장을 읽을 때, 첫 장의 조건을 얼마나 정확히 떠올릴 수 있을까요? AI도 입력이 길어지면 과거 정보를 보관하는 비용과 필요한 내용을 꺼내는 정확도 사이에서 선택해야 합니다. Titans는 읽는 동안 별도의 신경망 메모리를 갱신하고, 그 기억을 어텐션과 결합하는 방법을 제시합니다. 한 문장으로 요약하면, Titans는 ‘현재 내용을 살피는 어텐션’과 ‘과거를 가중치에 압축하는 학습형 메모리’의 역할을 나누고 연결하는 구조입니다. 무엇을 기억하는지뿐 아니라 기억을 어떻게 고치고 잊으며 활용하는지가 핵심입니다. 1. 논문 기본 정보와 이번 분석의 범위 논문 제목은 ‘Titans: Learning to Memorize at Test Time’입니다. 실제 저자는 Google Research 소속 Ali Behrouz, Peilin Zhong, Vahab Mirrokni 세 명입니다. 논문 식별자는 arXiv:2501.00663이며, arXiv DOI는 10.48550/arXiv.2501.00663입니다. 이번에 읽은 원문은 2024년 12월 31일 제출된 27쪽의 arXiv v1입니다. 이 연구에는 이후 NeurIPS 2025 게재 이력이 있지만, 아래 구조 설명·그림 번호·실험 수치는 모두 v1을 기준으로 합니다. 후속 학회판의 추가 실험을 이 초고의 결과에 섞지 않았습니다. 분석 대상 v1은 CC BY 4.0으로 공개되어 있습니다. 본문 도표의 원저작자는 위 세 연구진이며, 각 캡션에 원문 번호를 표시했습니다. 2. 긴 입력을 받는 것과 오래 기억하는 것은 다릅니다 일반적인 전체 어텐션은 토큰 사이의 관계를 세밀하게 계산하지만, 입력이 길어질수록 비교 대상이 크게 늘어납니다. 반대로 과거를 제한된 상태에 압축하는 순환형 모델은 긴 순서를 효율적으로 처리할 수 있지만, 압축 과정에서 나중에 필요한 정보가 약해질 수 있습니다. 입력창을 늘렸다는 사실만으로 유효한 기억 범위가 넓어지는 것은 아닙니다. 책상 위에 원문을 모두 펼쳐 놓으면 자세히 대조하기 좋지만 공간이 부족해집니다. 요약 노트만 남기면 책상은 가벼워져도 세부 조건을 놓칠 수 있습니다. Titans는 이 비유에서 ‘현재 읽는 쪽’과 ‘계속 수정하는 노트’를 함께 사용합니다. 다만 여기서 노트는 사람이 읽는 문장이 아니라 신경망의 가중치입니다. 3. 기억을 학습한다는 말의 실제 의미 연구진은 입력에서 키와 값을 만들고, 메모리가 키를 받았을 때 대응하는 값을 복원하도록 학습시킵니다. 손실은 ‘메모리가 복원한 값과 목표 값 사이의 제곱오차’입니다. 원문 식 12로 쓰면 ‖M(k)−v‖²입니다. 이 오차를 줄이는 방향으로 메모리의 가중치를 바꾸면, 과거 입력의 연관관계가 가중치에 반영됩니다. 추론 중에도 갱신되는 대상은 이 신경 메모리입니다. 키·값을 만드는 변환이나 전체 구조를 학습하는 바깥 과정과, 메모리를 조정하는 안쪽 과정은 구분됩니다. 따라서 매 입력마다 거대한 모델 전체를 처음부터 다시 학습한다는 뜻은 아닙니다. 저장된 기억을 읽을 때는 쿼리를 메모리에 통과시키는 순전파를 사용하며, 읽기 자체에는 가중치 갱신을 적용하지 않습니다. 기억을 고치는 신호는 연구진이 ‘놀라움’이라고 부르는 손실의 기울기입니다. 여기에 최근 갱신 방향을 남기는 모멘텀을 더합니다. 놀라운 사건 직후의 관련 정보도 함께 반영하려는 설계입니다. 또 입력에 따라 정해지는 망각 계수로 이전 가중치의 잔존 비율을 조절합니다. 새 내용을 더하기만 하는 대신 오래된 상태의 영향도 줄이는 것입니다. 이때 놀라움은 최적화 신호입니다. 중요한 사실, 참인 정보, 반드시 보존할 기록을 판별하는 인증표가 아닙니다. ‘오류가 크다’와 ‘업무상 중요하다’는 서로 다른 판단이라는 점을 기억할 필요가 있습니다. 4. MAC: 과거 기억을 현재 문맥 앞으로 가져오기 첫 번째 결합 방식은 MAC, Memory as a Context입니다. 긴 입력을 일정한 구간으로 나눈 뒤 현재 구간을 쿼리로 삼아 장기 메모리에서 관련 표현을 읽습니다. 그 앞에는 지속 기억을 두고, 회수한 장기 기억과 현재 구간을 이어 붙여 어텐션에 전달합니다. 어텐션이 현재 내용과 과거 표현을 같은 자리에서 함께 살피는 구조입니다. 그림 1. MAC은 지속 기억·회수한 장기 기억·현재 구간을 결합해 어텐션에 전달합니다. 출처: Behrouz·Zhong·Mirrokni, arXiv:2501.00663v1, Figure 2. CC BY 4.0. 도표 영역 발췌. 처리 순서는 ‘과거 기억 읽기 → 현재 구간과 결합 → 어텐션 계산 → 장기 메모리 갱신’으로 이해할 수 있습니다. 원문에서는 어텐션 출력을 메모리 갱신에 사용하고 최종 출력에도 메모리를 결합합니다. 해설자의 관점에서는 노트를 먼저 펼친 뒤 새 문서를 읽고, 그 결과로 노트를 다시 고치는 절차에 가깝습니다. 세 기억의 역할도 다릅니다. 어텐션은 현재 구간의 세부 관계를 다루고, 장기 메모리는 입력을 따라 갱신됩니다. 지속 기억은 학습으로 얻은 입력 비의존 파라미터이며 테스트 시 고정됩니다. 여기서 ‘지속’은 사용자 대화를 무기한 보관하는 서비스 기능을 의미하지 않습니다. 5. MAG와 MAL: 같은 부품도 연결 방식에 따라 달라집니다 MAG는 메모리와 슬라이딩 윈도 어텐션을 병렬로 두고 두 출력을 게이트로 결합합니다. 최근 구간을 자세히 보는 경로와 긴 과거를 압축한 경로를 함께 사용하는 방식입니다. MAC처럼 회수한 기억을 현재 구간 앞에 붙이는 연결과는 정보가 만나는 위치가 다릅니다. 그림 2. MAG는 신경 메모리와 어텐션의 병렬 출력을 게이트로 결합합니다. 출처: Behrouz·Zhong·Mirrokni, arXiv:2501.00663v1, Figure 4. CC BY 4.0. 도표 영역 발췌. MAL, Memory as a Layer는 메모리 뒤에 어텐션을 직렬로 배치합니다. 먼저 압축한 표현을 다음 층이 처리하는 구조입니다. 연구진은 이 경우 각 층의 능력이 전체 처리에 제약을 주고 두 경로의 상호 보완성을 충분히 활용하기 어렵다고 설명합니다. 연결이 단순하다는 장점과 정보 전달의 제약을 함께 보아야 합니다. 그림 3. MAL은 메모리가 만든 표현을 어텐션에 순서대로 전달합니다. 출처: Behrouz·Zhong·Mirrokni, arXiv:2501.00663v1, Figure 5. CC BY 4.0. 도표 영역 발췌. 논문의 LMM은 어텐션을 결합하지 않은 장기 메모리 모듈 단독 모델입니다. LMM과 세 결합형을 나누어 비교해야 메모리 자체의 효과와 연결 방식의 효과를 구별할 수 있습니다. 6. 실험은 어느 크기의 모델에서 수행했을까요? v1의 주 언어 모델 실험은 170M·340M·400M·760M 파라미터 규모를 설정했습니다. 앞의 세 규모는 FineWeb-Edu의 150억 토큰, 760M은 300억 토큰으로 학습했습니다. 주요 비교표인 Table 1에는 340M·400M·760M 결과가 실려 있습니다. 수치 비교는 같은 파라미터 수와 학습 토큰 수로 묶인 구간 안에서 해야 합니다. 학습 시퀀스 길이는 4,096토큰이고 Llama 2 토크나이저의 32K 어휘를 사용했습니다. AdamW, 학습률 0.0004, 코사인 학습률 조절, 50만 토큰 배치, 가중치 감쇠 0.1이 기본 조건입니다. 비교군에는 Transformer++, Mamba 계열, DeltaNet 계열, TTT와 어텐션을 결합한 모델들이 포함됩니다. 7. 언어 모델 결과: 평균과 개별 지표를 나누어 읽기 760M·300억 토큰 조건에서 논문 Table 1의 Avg 열은 Transformer++ 48.69, Gated DeltaNet 49.69, Samba 51.08, Gated DeltaNet-H2 51.49였습니다. Titans는 LMM 51.56, MAC 52.51, MAG 52.50, MAL 50.97을 보고했습니다. 이 조건에서는 MAC과 MAG의 평균이 비슷하고, MAL은 일부 비교 모델보다 낮습니다. 세 변형이 언제나 모두 우수하다고 읽어서는 안 됩니다. 같은 조건의 Wiki. perplexity는 MAC 19.93, MAG 18.61, MAL 19.07이며 Gated DeltaNet-H2는 19.88입니다. perplexity는 낮을수록 좋은 지표입니다. Avg가 조금 높은 MAC이 이 지표에서도 최고인 것은 아닙니다. 평균 정확도와 언어 예측의 불확실성을 따로 확인해야 구조별 장단점이 드러납니다. 400M·150억 토큰 조건에서도 Avg는 MAC 48.65, MAG 48.60으로 가깝습니다. 다만 이 수치는 표에 실린 평가 과제의 결과이지 모델의 모든 능력을 대표하는 점수가 아닙니다. 상용 대형 언어 모델 전체보다 우수하다는 결론으로 확대할 근거도 아닙니다. 8. 긴 문맥에서 필요한 정보를 찾는 능력 RULER의 S-NIAH는 긴 방해 문장 속에서 특정 정보를 찾아내는 과제입니다. 원문 Table 2는 PK·N·W 세 하위 과제를 2K·4K·8K·16K 길이에서 평가합니다. 긴 문서를 입력받는 데 그치지 않고 실제 정보를 회수하는지를 살피는 실험입니다. 표 1. 단일 정보 회수 과제의 길이별 결과입니다. 출처: Behrouz·Zhong·Mirrokni, arXiv:2501.00663v1, Table 2. CC BY 4.0. 표 영역 발췌. 16K에서 MAC의 PK·N·W 점수는 각각 98.4·97.4·95.2입니다. LMM은 96.2·80.2·80.6, TTT는 88.4·4.4·0.0을 기록했습니다. MAC은 세 과제에서 고르게 높은 결과를 보이지만, N에서는 MAG의 98.6이 MAC의 97.4보다 높습니다. 특정 구조가 모든 칸의 최고값을 차지한 것은 아닙니다. 별도의 BABILong 실험은 긴 문서에 흩어진 사실을 연결하는 능력을 평가합니다. 연구진은 이 결과를 바탕으로 200만 토큰을 넘는 문맥까지의 확장을 보고합니다. 그러나 여기에는 few-shot과 미세조정 설정, 서로 다른 모델 크기, RAG 사용 조건이 등장합니다. 이를 동일 조건에서의 GPT-4 일반 성능 우위나 모든 장문서 업무의 성공 보장으로 해석할 수는 없습니다. 9. 기억의 깊이, 계산비용, 적용 범위의 한계 메모리는 단일 행렬뿐 아니라 여러 층의 MLP로 구성할 수 있습니다. 연구진은 메모리 깊이를 1~4층으로 바꾸어 평가했고, 더 깊은 메모리가 좋은 perplexity를 보이는 대신 학습 처리량은 줄어드는 경향을 보고했습니다. 이 실험은 Pile의 일부 데이터로 메모리 모듈 자체를 평가한 것이므로 전체 Titans 결합형의 비용으로 그대로 옮길 수는 없습니다. 갱신을 한 토큰씩 직렬 실행하면 하드웨어를 충분히 활용하기 어렵습니다. 논문은 구간 단위의 기울기 계산을 행렬 연산으로 구성하고 모멘텀 계산의 병렬성을 활용합니다. 모든 비선형 갱신을 조건 없이 한 번의 병렬 연산으로 해결한다는 뜻은 아닙니다. 실제 처리량에서는 메모리 모듈이 Mamba2와 Gated DeltaNet보다 조금 느리다는 설명도 있습니다. 이 방식은 과거의 연관관계를 압축해 활용하는 기술입니다. 해설자의 관점에서 보면, 원문을 정확히 보존하고 출처를 돌려주는 데이터베이스와는 목적이 다릅니다. 기억의 갱신이 사실 확인이나 안전한 삭제까지 보장하지도 않습니다. v1의 최대 760M 언어 모델 결과를 더 큰 모델과 실제 업무에 적용할 때는 이러한 범위를 구분해야 합니다. 10. 변리사 관점에서 보는 구성과 입증된 효과 기술적 과제는 제한된 계산·기억 자원으로 긴 과거의 정보를 활용하는 것입니다. 해결수단은 키·값의 연관을 학습하는 신경 메모리, 최근 갱신을 이어 주는 모멘텀, 이전 상태의 잔존량을 조절하는 망각, 그리고 어텐션과의 결합입니다. ‘기억 기능을 추가했다’는 표현보다 어떤 정보를 어느 경로에서 읽고 갱신하는지 살피는 편이 기술을 더 정확히 설명합니다. 표 2. 구성요소를 하나씩 변경한 제거 실험입니다. 출처: Behrouz·Zhong·Mirrokni, arXiv:2501.00663v1, Table 5. CC BY 4.0. 표 영역 발췌. Table 5에서 기본 LMM의 Long Context 점수는 92.68입니다. 모멘텀을 빼면 87.12, 가중치 감쇠를 빼면 85.60, 깊은 메모리를 선형 메모리로 바꾸면 85.34였습니다. 이 결과는 해당 실험에서 각 구성이 기여했다는 근거입니다. 표의 Language Modeling perplexity는 Table 1의 Wiki. 열과 같은 지표라고 임의로 취급하지 않아야 합니다. 같은 표에서 어텐션을 결합한 Long Context 점수는 MAC 97.95, MAG 96.70, MAL 96.91입니다. 해설자의 해석으로는 메모리의 존재뿐 아니라 ‘어텐션이 과거 기억을 직접 문맥으로 받는가, 병렬 출력을 결합하는가, 압축 뒤에 처리하는가’라는 결합관계가 중요한 검토 지점입니다. 이러한 관찰은 논문이 제시한 구성과 실험 효과에 관한 기술적 설명입니다. 11. 마무리 Titans의 핵심은 긴 입력을 무조건 펼쳐 놓는 대신, 읽는 동안 수정되는 신경 메모리와 세부 관계를 살피는 어텐션을 함께 사용하는 데 있습니다. 놀라움에 따른 갱신, 최근 갱신의 연속성, 망각, 그리고 세 가지 연결 방식이 하나의 기억 시스템을 이룹니다. v1의 실험은 이 구성들이 정보 회수와 언어 모델 평가에 기여할 수 있음을 보여 줍니다. 동시에 좋은 기억은 모든 원문을 정확히 보존하는 것과 같지 않습니다. 모델 규모, 학습량, 문맥 과제와 계산비용을 함께 읽어야 결과의 의미가 분명해집니다. Titans는 AI의 기억을 단순한 저장 용량의 문제가 아니라, 무엇을 갱신하고 어떤 경로로 활용할지의 설계 문제로 바라보게 하는 연구입니다. 이 글의 수치와 구조 설명은 27쪽 분량의 arXiv v1을 기준으로 합니다. 후속 학회판이나 상용 제품의 성능·구현을 같은 것으로 단정하지 않습니다. 분석 대상: Titans, arXiv v1 (2024년 12월 31일) 도표 이용허락: CC BY 4.0 후속 학회판: NeurIPS 2025 아이피렉스의 AI 기술·특허 검토 업무를 확인해 보세요. AI 기술·특허 업무 살펴보기 이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다. 관련 업무 상담 ↗ 전체 글 보기 ON THIS PAGE 1. 논문 기본 정보와 이번 분석의 범위 2. 긴 입력을 받는 것과 오래 기억하는 것은 다릅니다 3. 기억을 학습한다는 말의 실제 의미 4. MAC: 과거 기억을 현재 문맥 앞으로 가져오기 5. MAG와 MAL: 같은 부품도 연결 방식에 따라 달라집니다 6. 실험은 어느 크기의 모델에서 수행했을까요? 7. 언어 모델 결과: 평균과 개별 지표를 나누어 읽기 8. 긴 문맥에서 필요한 정보를 찾는 능력 9. 기억의 깊이, 계산비용, 적용 범위의 한계 10. 변리사 관점에서 보는 구성과 입증된 효과 11. 마무리 TALK TO IPLEX 우리 기업에 맞는 IP 전략이 필요하다면 기술과 사업의 상황에 맞춰 필요한 업무를 함께 살펴봅니다. ↗ 상담 문의 최근 글 LED 전구 디자인 침해와 신규성 ↗ 이전 글 대동면옥 상표, 대동이 핵심인 이유 ↗ 함께 읽을 인사이트 인공지능 2026.11.19 마트료시카 임베딩 논문 쉽게 읽기｜벡터 앞부분으로 찾고 전체로 다시 비교하는 이미지 검색 NeurIPS 2022 마트료시카 표현 학습의 여러 길이 공동 학습과 단계별 이미지 검색, ImageNet-1K 실험의 정확도·계산량을 살펴봅니다. ↗ 본문 읽기 인공지능 2026.11.18 바이트댄스 AI 자동 자막 특허｜오디오 트랙별로 받아쓰고 겹치는 자막을 정리하는 원리 바이트댄스 US11837234B2의 트랙별 음성인식과 자막 시간 조정 원리를 살펴보고 CapCut의 공개 편집 절차와 구별합니다. ↗ 본문 읽기 인공지능 2026.11.17 애플 AI 문자 인식 특허｜사진 속 전화번호와 웹 주소를 선택하는 원리 Apple US12001642B2의 문자 위치·유형 감지와 선택 동작을 분석하고 Live Text 및 VisionKit의 공개 설명과 구별합니다. ↗ 본문 읽기

- https://www.iplexlaw.co.kr/
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4/category/ai
- https://arxiv.org/abs/2501.00663v1
- https://creativecommons.org/licenses/by/4.0/
- https://proceedings.neurips.cc/paper_files/paper/2025/hash/a4ca07aa108036f80cbb5b82285fd4b1-Abstract-Conference.html
- https://www.iplexlaw.co.kr/ko/ai-patents
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-0
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-1
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-2
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-3
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-4
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-5
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-6
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-7
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-8
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-9
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory#article-1938-ko-10
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1939
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1937
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ko/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ko/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ko/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ko/blog/apple-recognized-text-contextual-actions
