컨텍스트 윈도우가 생성형 AI 출력에 미치는 영향
작업 기억 · 6분
AI가 주의를 기울이는 모든 것은 컨텍스트 윈도우라고 불리는 고정된 크기의 작업 공간 안에 존재합니다. AI는 그 안에 있는 것에는 주의를 기울일 수 있지만, 그 밖에 있는 것에는 주의를 기울일 수 없습니다. 이 제약은 다른 속성들과 달리 명확한 경계를 가지고 있습니다: 작동하다가 갑자기 작동하지 않게 됩니다.
컨텍스트 윈도우: AI의 작업 기억
읽기 전에
AI에게 50페이지 분량의 계약서를 검토를 요청합니다. 결과를 얼마나 꼼꼼히 확인해야 할까요? 연속선 위에서 지점을 선택한 다음 추측을 확정하세요.

작업 메모리
AI는 지금 무엇에 주목하고 있을까요?
지점을 선택한 다음 추측을 확정하세요. 그러면 레슨이 열립니다.
핵심 요약
- **작업 기억(Working Memory)**은 AI 모델이 주의를 기울일 수 있는 고정된 컨텍스트 윈도우를 가지고 있다는 사실을 의미합니다.
- 역량 영역: 자료가 충분히 들어맞고, 세션이 최신 상태이며, 관련 컨텍스트를 제공하고 있는 경우입니다.
- 한계 영역: 매우 긴 문서나 대화, 세션 간 연속성을 기대하는 경우, 긴 입력의 중간에 중요한 정보를 묻어두는 경우입니다.
- 이 속성은 점진적 변화가 아니라 절벽(cliff)을 가지고 있습니다. 조용한 잘림(silent truncation)이 실패 모드이며, 항상 경고를 받는 것은 아닙니다.
- 모델은 여러분의 수정 사항으로부터 학습하지 않습니다. 현재 컨텍스트에 있는 것에만 반응합니다.
- 메모리 기능, 압축(compaction), 프로젝트, 더 큰 윈도우, 멀티 에이전트 워크플로우는 모두 이 절벽을 더 멀리 밀어내기 위해 존재합니다.
- 4D 연결: 작업 기억은 Description이 작용하는 대상입니다. 윈도우가 어떻게 작동하는지 알면 컨텍스트를 어떻게 구성할지, 언제 앞에 배치할지, 언제 새로 시작할지를 알 수 있습니다.
연습
전과 후
왜 중요할까요? 컨텍스트는 레버리지입니다. 동일한 작업이라도 적절한 컨텍스트가 제공되면 평범한 초안에서 진정으로 유용한 결과물로 바뀔 수 있습니다. 이 연습은 그것을 구체적으로 보여줍니다.
여러분만이 가지고 있는 컨텍스트로부터 이점을 얻는 작업을 Lesson 1 목록에서 하나 선택하세요: 스타일 가이드, 과거의 좋은 작업 예시, 여러분의 역할이나 대상에 특화된 제약 조건 등이 있을 수 있습니다. 이 작업의 결과물이 어떤 모습이어야 "좋은" 것인지 두세 줄로 적어보세요. 낯선 사람도 평가할 수 있을 만큼 명확하게 설명해야 합니다.
이제 세 가지 테스트를 진행해 보세요:
- 테스트 1: 콜드 스타트 대 컨텍스트. 컨텍스트 없이 작업을 요청하세요. 단순한 요청만 하세요. 결과물을 저장하세요. 그런 다음 새로운 대화를 시작하고 동일한 작업을 실행하되, 이번에는 스타일 가이드, 과거 예시, 또는 제약 조건을 미리 제공하세요. 두 결과물을 여러분의 "좋은" 정의와 비교하세요. 그 차이를 측정하세요.
- 테스트 2: 중간에 묻힌 정보. 더 긴 문서를 준비하세요(또는 참고 자료 몇 단락을 붙여넣으세요). 그 중간에 구체적이고 중요한 지시 사항 하나를 묻어두세요. 정답이 그 묻힌 지시 사항에 의존하는 질문을 하세요. AI가 그것을 포착했나요? 이제 그 지시 사항을 맨 위로 옮기고 다시 질문하세요. 비교해 보세요.
- 테스트 3: 백지 상태. AI에게 여러분의 업무 맥락에 대한 구체적인 내용을 가르치거나, 잘못된 부분을 수정해 주는 짧은 대화를 나누세요. 그런 다음 완전히 새로운 대화를 열고, AI가 여러분이 가르쳐준 것을 기억한다고 가정하는 질문을 하세요. AI가 처음부터 다시 시작하는 것을 지켜보세요.
작업 목록으로 돌아가서 세 번째 주석을 추가하세요: 어떤 작업이 실행할 가치가 있으려면 상시 컨텍스트 설정(프로젝트, 저장된 지시 사항, 업로드된 참고 문서)이 필요한지, 그리고 어떤 작업이 컨텍스트 없이도 잘 작동하는지 표시하세요.
도전 과제: 사용 중인 도구에 메모리나 프로젝트 기능이 있다면, 테스트 1의 컨텍스트로 하나를 설정해 보세요. 작업을 다시 실행하세요. 콜드 스타트 버전과 비교하여 노력과 품질을 비교해 보세요.
레슨 돌아보기
- 컨텍스트를 앞에 배치하는 것이 결과물의 품질을 얼마나 바꾸었나요? 그 차이가 예상보다 더 컸나요?
- 이번 주에 반복 설명을 멈추기 위해 설정할 상시 컨텍스트는 무엇인가요?
다음 단계
마지막 속성: 조종 가능성(Steerability). 지시를 내릴 때 실제로 얼마나 통제할 수 있으며, 그 통제는 어디에서 무너지는가?