프롬프트 캐싱은 이전 요청의 계산 작업을 재사용하여 Claude의 응답 속도를 높이고 텍스트 생성 비용을 줄이는 기능입니다. 각 요청 후 모든 처리 작업을 버리는 대신, Claude는 유사한 콘텐츠를 다시 보낼 때 이를 저장하고 재사용할 수 있습니다.
Claude가 일반적으로 요청을 처리하는 방식
프롬프트 캐싱을 이해하기 위해, 먼저 캐싱이 활성화되지 않은 일반적인 요청 중에 어떤 일이 일어나는지 살펴보겠습니다.
Claude에게 메시지를 보내면, Claude는 즉시 응답 생성을 시작하지 않습니다. 대신, Claude는 입력에 대해 광범위한 전처리 작업을 수행합니다:
- 프롬프트를 토큰화합니다(텍스트를 더 작은 단위로 분할)
- 각 토큰에 대한 임베딩을 생성합니다(수학적 표현)
- 주변 텍스트를 기반으로 컨텍스트를 추가합니다
- 그런 다음에야 실제 출력 텍스트를 생성합니다
응답을 보낸 후, Claude는 이 모든 계산 작업을 폐기합니다. 모든 것이 버려지고, Claude는 다음 요청을 위한 준비 상태를 선언합니다.
반복되는 콘텐츠의 문제점
여기서 비효율성이 발생합니다. Claude와 대화를 나누고 있다고 상상해 보세요. 그러면 후속 요청에는 다음이 포함됩니다:
- 이전의 동일한 원본 사용자 메시지
- Claude의 이전 응답
- 새로운 후속 메시지
Claude는 불과 몇 순간 전에 정확히 동일한 콘텐츠를 분석했음에도, 원본 메시지를 처음부터 다시 처리해야 합니다. Claude는 이렇게 생각할 수도 있습니다: "방금 그 메시지를 처리하고 내가 한 모든 작업을 버렸어. 재사용할 수 있었는데!"
프롬프트 캐싱이 이를 해결하는 방법
프롬프트 캐싱은 이러한 낭비적인 과정을 바꿉니다. 전처리 작업을 폐기하는 대신, Claude는 이를 캐시에 저장합니다.
작동 방식은 다음과 같습니다:
- 초기 요청: Claude는 메시지를 처리하고 계산 작업을 캐시에 기록합니다
- 후속 요청: Claude가 동일한 콘텐츠를 다시 보면, 처음부터 다시 시작하는 대신 캐시에서 이전에 처리된 작업을 읽어옵니다
캐시는 조회 테이블처럼 작동합니다: "이 메시지를 다시 보게 되면, 이미 수행한 이 작업을 재사용하겠다."
주요 이점과 제한 사항
프롬프트 캐싱은 다음과 같은 여러 이점을 제공합니다:
- 더 빠른 응답: 캐시된 콘텐츠를 사용하는 요청은 더 빠르게 실행됩니다
- 더 낮은 비용: 캐시된 작업을 재사용하는 처리에 대해 더 적은 비용을 지불합니다
- 자동 최적화: 초기 요청은 캐시에 기록하고, 후속 요청은 캐시에서 읽어옵니다
그러나 염두에 두어야 할 중요한 제한 사항이 있습니다:
- 짧은 수명: 캐시는 5분 동안만 유지됩니다
- 정확한 일치 필요: 동일한 콘텐츠를 반복적으로 보낼 때만 유용합니다
- 일반적인 사용 사례: 이는 대화형 애플리케이션과 문서 분석 워크플로우에서 매우 자주 발생합니다
프롬프트 캐싱은 사용자가 동일한 문서를 자주 참조하거나, 대화를 계속하거나, 짧은 시간 내에 유사한 프롬프트를 반복하는 애플리케이션에 특히 유용합니다.