작업 기억 · AI의 역량과 한계

컨텍스트 윈도우가 생성형 AI 출력에 미치는 영향

작업 기억 · 6분

요약대본

AI가 주의를 기울이는 모든 것은 컨텍스트 윈도우라고 불리는 고정된 크기의 작업 공간 안에 존재합니다. AI는 그 안에 있는 것에는 주의를 기울일 수 있지만, 그 밖에 있는 것에는 주의를 기울일 수 없습니다. 이 제약은 다른 속성들과 달리 명확한 경계를 가지고 있습니다: 작동하다가 갑자기 작동하지 않게 됩니다.

한국어 대본

00:00안녕하세요. 저는 Matt이고 Anthropic의 사용자 리서치 팀에서 일하고 있습니다. 오늘 이 자리에서
00:12컨텍스트 창에 대해 이야기하려고 합니다. 컨텍스트 창은 AI 모델이 현재 주의를 기울이는 대상을 관리하는 방식입니다.
00:17바로 지금. 우리는 그 창 안에 실제로 무엇이 들어가는지, 창이 가득 차거나
00:23비워질 때 어떤 일이 일어나는지, 그리고 한계의 좋은 쪽에 머물 수 있도록 작업을 구성하는 방법도 살펴볼 것입니다. 정말 많습니다.
00:28이는 인간의 작업 기억이 작동하는 방식과는 다릅니다.
00:31AI와 작업할 때 모든 것은 하나의 고정된 크기의 작업 공간 안에 들어 있습니다.
00:36이를 컨텍스트 창이라고 합니다.
00:38지침, Claude의 이전 응답, 업로드한 문서,
00:42주고받는 대화, 이 모든 것이 하나의 유한한 컨테이너 안에 들어 있습니다.
00:47그리고 모델은 그 안에 있는 것에만 주의를 기울일 수 있습니다.
00:53중요한 점은 컨텍스트 창에는 엄격한 크기 제한이 있다는 것입니다.
00:56대화나 문서 집합이 창이 담을 수 있는 양을 초과하면 무언가가 떨어져 나갑니다.
01:02보통 가장 오래된 자료가 떨어져 나가며, 대개 조용히 일어납니다.
01:06모델은 멈춰 서서 처음 세 개의 메시지를 버렸다고 알려 주지 않습니다.
01:10그저 남은 것으로 계속 진행할 뿐입니다.
01:13기본적으로 창은 세션 사이에 비워집니다.
01:16채팅을 닫고 내일 새 채팅을 열면 처음부터 다시 시작하는 것입니다.
01:21어제의 대화는 사라집니다. 메모리나 claw.md 파일 같은 제품 기능이
01:26의도적으로 무언가를 앞으로 가져오지 않았다면 말이죠.
01:29AI 시스템의 다른 핵심 속성들과 마찬가지로,
01:32작업 기억은 연속체로 작동합니다.
01:35자료가 창에 여유 있게 들어맞을 때
01:37그리고 현재 세션 안에서 작업하고 있다면,
01:40기능 영역에 있는 것입니다.
01:42모델이 문서를 처리하고 있습니다,
01:44제약 조건, 컨텍스트.
01:46문서가 길어지고, 대화가 이어지면서,
01:49모델에게 기대하기 시작하면서,
01:51지난주 일을 기억하기를,
01:53한계 구간으로 미끄러져 들어갑니다.
01:56하지만 다른 세 가지 속성과 달리, 이 속성에는 절벽이 있습니다.
02:01다음 토큰 예측은 점차 저하됩니다.
02:04지식은 점차 얇아집니다.
02:06하지만 작업 기억은 멈추기 직전까지는 잘 작동하는 경향이 있습니다.
02:10항상 경고가 있는 것은 아닙니다.
02:12기능 구간에 있는 동안,
02:14컨텍스트는 진정한 레버리지입니다.
02:16제가 짧은 스타일 가이드를 업로드하고 Claude에게 초안 작성을 요청하면 어떤 일이 일어나는지 보세요.
02:21재학습도, 설정도 필요 없습니다.
02:23모델은 이 한 세션 안에서 제 자료에 즉시 적응합니다.
02:27그렇다면 도대체 왜 컨텍스트 창은 고정되어 있는 것입니까?
02:29모델이 응답을 생성할 때마다 전체 컨텍스트를 단일 블록으로 처리하기 때문입니다.
02:35모델은 다음에 쓸 내용을 결정하기 위해 처음부터 끝까지 모든 내용을 읽습니다.
02:39모델이 보유할 수 있고 여전히 일관된 응답을 생성할 수 있는 양에는 상한선이 있습니다.
02:44그리고 그 상한선 안에서도 어텐션은 완벽하게 균일하지 않습니다.
02:48긴 컨텍스트 동작에 대한 연구는 중간에서 길을 잃는 효과를 발견했습니다.
02:53매우 긴 입력의 중간 깊숙이 묻혀 있는 자료는 시작이나 끝에 있는 자료보다 영향력이 적은 경향이 있습니다.
03:02이것은 실제로 무엇을 의미합니까?
03:04세션 내 빠른 적응이 가능합니다.
03:08용어집, 음성 샘플, 제약 조건 세트를 제공하면 모델이 즉시 적용합니다.
03:13구체적으로 명시할수록 더 정밀한 결과를 얻을 수 있습니다.
03:14관련성 높은 컨텍스트를 많이 제공할수록 출력이 더 맞춤화됩니다.
03:19하지만 컨텍스트 창이 소진되면 경험이 저하됩니다.
03:23AI는 대화 시작 부분의 내용을 기억하지 못하고,
03:26또는 대화 중간의 내용이 흐릿해질 수 있습니다.
03:29제품은 기본 컨텍스트 창 위에 기능을 추가하여 이러한 한계를 완화합니다.
03:33메모리는 선택한 사실을 세션 간에 저장하여 매번 처음부터 시작하지 않게 해 줍니다.
03:39압축 또는 요약은 대화 기록을 압축합니다.
03:43이는 대화가 길어질 때 공간을 확보하기 위한 것입니다.
03:47Projects와 작업 공간은 재업로드 없이 상시 문서를 컨텍스트에 안정적으로 유지합니다.
03:53Skills는 특정 작업이 실제로 필요할 때까지 지침을 최소한으로 유지합니다.
03:58멀티 에이전트 워크플로는 여러 에이전트가 서로 다른 전문 분야와 각자의 컨텍스트 창을 가질 수 있게 하며,
04:04이로써 워크플로가 가질 수 있는 총 컨텍스트 양이 확장됩니다.
04:08더 큰 컨텍스트 창은 절벽을 더 멀리 밀어냅니다.
04:11다음은 컨텍스트 창의 가장자리에 가까워지고 있다는 신호입니다.
04:15품질이 저하되기 시작한 매우 긴 대화.
04:19중간 부분의 세부 내용이 응답에 나타나지 않는 매우 긴 문서.
04:24그리고 메모리 기능을 활성화하지 않은 상태에서 모델이 이전 세션의 내용을 기억할 것이라고 기대하는 경우.
04:30다음은 절벽의 안전한 쪽에 머물기 위한 몇 가지 기법입니다.
04:33중요한 것부터 시작하세요.
04:35긴 문서의 경우 가장 중요한 내용을 12페이지에 묻어 두지 말고 상단 근처에 두세요.
04:4012. 긴 작업을 여러 번에 나누어 처리하세요. 큰 문서를 한 번에 통째로 업로드하지 말고 섹션별로 처리하세요.
04:48컨텍스트를 저장하는 제품 기능을 사용하세요. Projects나 Skills처럼
04:53작업하고 싶은 일반적인 영역의 컨텍스트를 저장하는 것을 사용하세요. 대화가 길어지면서 품질이 저하되면,
04:59새로 시작하세요. 그 품질 저하는 종종 기능의 한계가 아니라 컨텍스트의 한계입니다.
05:05어디까지 왔는지에 대한 짧은 요약과 함께 새 채팅을 시작하는 것이 계속 진행하는 것보다 더 나은 결과를 낼 수 있습니다.
05:10작업 기억은 설명이 작동하게 하는 메커니즘입니다.
05:14AI에게 설명하는 모든 것은,
05:16지침, 제약 조건, 예시,
05:19이 창 안에 있어야만 어떤 효과를 발휘할 수 있습니다.
05:22창의 크기와 경계를 이해하는 것은,
05:25그리고 초기화 동작이 알려 주는 것은
05:27프롬프트를 구성하는 방법,
05:28중요한 컨텍스트를 다시 언급해야 하는 시점,
05:31그리고 실제로 업로드할 가치가 있는 것이 무엇인지
05:32생략할 수 있는 것과 대비하여.

Watch on YouTube

컨텍스트 윈도우: AI의 작업 기억

읽기 전에

AI에게 50페이지 분량의 계약서를 검토를 요청합니다. 결과를 얼마나 꼼꼼히 확인해야 할까요? 연속선 위에서 지점을 선택한 다음 추측을 확정하세요.

작업 메모리

AI는 지금 무엇에 주목하고 있을까요?

역량한계

신뢰하기표본 확인세부 사항 확인꼼꼼히 검증고위험

지점을 선택한 다음 추측을 확정하세요. 그러면 레슨이 열립니다.

내 추측 확정하기

핵심 요약

**작업 기억(Working Memory)**은 AI 모델이 주의를 기울일 수 있는 고정된 컨텍스트 윈도우를 가지고 있다는 사실을 의미합니다.
- 역량 영역: 자료가 충분히 들어맞고, 세션이 최신 상태이며, 관련 컨텍스트를 제공하고 있는 경우입니다.
- 한계 영역: 매우 긴 문서나 대화, 세션 간 연속성을 기대하는 경우, 긴 입력의 중간에 중요한 정보를 묻어두는 경우입니다.
- 이 속성은 점진적 변화가 아니라 절벽(cliff)을 가지고 있습니다. 조용한 잘림(silent truncation)이 실패 모드이며, 항상 경고를 받는 것은 아닙니다.
- 모델은 여러분의 수정 사항으로부터 학습하지 않습니다. 현재 컨텍스트에 있는 것에만 반응합니다.
- 메모리 기능, 압축(compaction), 프로젝트, 더 큰 윈도우, 멀티 에이전트 워크플로우는 모두 이 절벽을 더 멀리 밀어내기 위해 존재합니다.
4D 연결: 작업 기억은 Description이 작용하는 대상입니다. 윈도우가 어떻게 작동하는지 알면 컨텍스트를 어떻게 구성할지, 언제 앞에 배치할지, 언제 새로 시작할지를 알 수 있습니다.

연습

전과 후

왜 중요할까요? 컨텍스트는 레버리지입니다. 동일한 작업이라도 적절한 컨텍스트가 제공되면 평범한 초안에서 진정으로 유용한 결과물로 바뀔 수 있습니다. 이 연습은 그것을 구체적으로 보여줍니다.

여러분만이 가지고 있는 컨텍스트로부터 이점을 얻는 작업을 Lesson 1 목록에서 하나 선택하세요: 스타일 가이드, 과거의 좋은 작업 예시, 여러분의 역할이나 대상에 특화된 제약 조건 등이 있을 수 있습니다. 이 작업의 결과물이 어떤 모습이어야 "좋은" 것인지 두세 줄로 적어보세요. 낯선 사람도 평가할 수 있을 만큼 명확하게 설명해야 합니다.

이제 세 가지 테스트를 진행해 보세요:

테스트 1: 콜드 스타트 대 컨텍스트. 컨텍스트 없이 작업을 요청하세요. 단순한 요청만 하세요. 결과물을 저장하세요. 그런 다음 새로운 대화를 시작하고 동일한 작업을 실행하되, 이번에는 스타일 가이드, 과거 예시, 또는 제약 조건을 미리 제공하세요. 두 결과물을 여러분의 "좋은" 정의와 비교하세요. 그 차이를 측정하세요.
테스트 2: 중간에 묻힌 정보. 더 긴 문서를 준비하세요(또는 참고 자료 몇 단락을 붙여넣으세요). 그 중간에 구체적이고 중요한 지시 사항 하나를 묻어두세요. 정답이 그 묻힌 지시 사항에 의존하는 질문을 하세요. AI가 그것을 포착했나요? 이제 그 지시 사항을 맨 위로 옮기고 다시 질문하세요. 비교해 보세요.
테스트 3: 백지 상태. AI에게 여러분의 업무 맥락에 대한 구체적인 내용을 가르치거나, 잘못된 부분을 수정해 주는 짧은 대화를 나누세요. 그런 다음 완전히 새로운 대화를 열고, AI가 여러분이 가르쳐준 것을 기억한다고 가정하는 질문을 하세요. AI가 처음부터 다시 시작하는 것을 지켜보세요.

작업 목록으로 돌아가서 세 번째 주석을 추가하세요: 어떤 작업이 실행할 가치가 있으려면 상시 컨텍스트 설정(프로젝트, 저장된 지시 사항, 업로드된 참고 문서)이 필요한지, 그리고 어떤 작업이 컨텍스트 없이도 잘 작동하는지 표시하세요.

도전 과제: 사용 중인 도구에 메모리나 프로젝트 기능이 있다면, 테스트 1의 컨텍스트로 하나를 설정해 보세요. 작업을 다시 실행하세요. 콜드 스타트 버전과 비교하여 노력과 품질을 비교해 보세요.

레슨 돌아보기

컨텍스트를 앞에 배치하는 것이 결과물의 품질을 얼마나 바꾸었나요? 그 차이가 예상보다 더 컸나요?
이번 주에 반복 설명을 멈추기 위해 설정할 상시 컨텍스트는 무엇인가요?

다음 단계

마지막 속성: 조종 가능성(Steerability). 지시를 내릴 때 실제로 얼마나 통제할 수 있으며, 그 통제는 어디에서 무너지는가?