AI 모델이 다음 토큰 예측을 사용하는 방법
다음 토큰 예측 · 4분
요약대본
생성형 AI는 검색 엔진보다는 매우 정교한 자동완성에 더 가깝습니다. 단어 다음에 어떤 단어가 오는 경향이 있는지를 기반으로 한 단어씩 답변을 작성합니다. 바로 이 하나의 특성이 유창함과 환각을 모두 만들어냅니다.
한국어 대본
- 00:00안녕하세요. 저는 David이고 여기 Anthropic의 안전 팀에서 일합니다.
- 00:10오늘은 다음 토큰 예측에 대해 이야기하겠습니다. 이는 핵심 속성으로
- 00:14AI 답변이 실제로 어디에서 비롯되는지를 결정합니다. AI가
- 00:19응답할 때 실제로 무슨 일이 일어나는지, 유창한 글을 만들어 내는 동일한 메커니즘이 어떻게 꾸며낸
- 00:24사실도 만들어 낼 수 있는지, 그리고 작업이 어느 영역에 해당하는지 살펴보겠습니다. 생성형
- 00:29AI가 작동하는 방식을 한 가지만 이해한다면, 이것만 기억하세요. 이 시스템의 핵심 작동은 예측입니다.
- 00:34지금까지 작성된 모든 내용을 바탕으로 다음에 올 내용을 한 조각씩
- 00:37예측합니다. 생성형 AI는 무엇 다음에 무엇이 오는 경향이 있는지를 바탕으로 답변을 단어 하나씩 조합해 생성합니다.
- 00:42무엇이 오는지에 따라 작동하며, 검색 엔진이라기보다 고도로 정교한 자동 완성에 가깝습니다.
- 00:47엔진입니다. 그리고 이 구분이 중요한 이유는, 진짜처럼 보이는 인용이
- 00:51하나의 패턴을 똑같이 충족할 수 있기 때문입니다.
- 00:56직접 실행되는 모습을 보여 드리겠습니다.
- 00:57Claude에게 잘 알려진 에세이의 주장을 요약해 달라고 요청하겠습니다.
- 01:00얼마나 빠르게 깔끔하고 일관된 문장을 만들어 내는지 주목하세요.
- 01:03이것은 충분히 익숙한 경로입니다.
- 01:04모델이 수천 번 접해 본 작업입니다.
- 01:07이제 경계에 있는 작업을 요청하면 어떻게 되는지 보겠습니다.
- 01:10중간 수준 연구자가 작성한 연구 논문 세 편을
- 01:13틈새 하위 분야에서 출판
- 01:17연도와 함께 나열해 달라고 요청한다고 해 보겠습니다.
- 01:19같은 자신감 있는 어조와 유창한 문장이지만,
- 01:21여기서는 경로가 희박하고 모델이
- 01:23그럴듯한 답변처럼 보이는 것을 생성하고 있습니다.
- 01:26일부는 실제일 수도 있고, 일부는 꾸며낸 것일 수도 있습니다.
- 01:28출력을 확인해야 합니다.
- 01:33동일한 생성 과정은 항상 작동합니다.
- 01:35AI와 작업할 때도 그렇습니다.
- 01:37달라지는 것은 그 경로가 얼마나 익숙한가입니다.
- 01:39모델이 수없이 다양한 형태로 접해 본 작업은
- 01:42기능 영역에 해당합니다.
- 01:43요약, 형식 변경, 일반적인 개념 설명,
- 01:46익숙한 스타일로 초안을 작성하는 작업입니다.
- 01:48다음 토큰 예측은 이 영역에서 강점을 보입니다.
- 01:50패턴이 촘촘하고 일관되기 때문입니다.
- 01:52경계로 다가갈수록 패턴은 희박해집니다.
- 01:55새로운 영역과 생소한 주제는 오른쪽으로 이동합니다.
- 01:58모델은 유창하게 계속 생성하지만,
- 01:59그 아래의 기반은 점점 불안정해집니다.
- 02:01강점과 약점은 같은 속성에서 비롯됩니다.
- 02:04폭넓게 관련된 개념을 유창하게 다루는 능력은
- 02:06다음 토큰 예측에서 나옵니다.
- 02:08환각도 다음 토큰 예측에서 나옵니다.
- 02:11둘 중 하나를 경험하게 되는데
- 02:12작업이 그 선의 어디에 해당하느냐에 따라 달라집니다.
- 02:18강점 측면에서는 어떤 화법에서도 유창한 텍스트를 볼 수 있고,
- 02:21분야를 넘나드는 빠른 종합과, 모델이 이전에 접한 것과 비슷한 모든 작업에서의
- 02:25강력한 성능, 그리고 맡긴 어떤 주제든 일관되게 이어 가는 능력이 있습니다.
- 02:29실패 측면에서는 환각, 불일치, 잘못된 자신감을 볼 수 있습니다.
- 02:34Frontier Labs는 이를 돕는 제품 기능을 구축했습니다.
- 02:36인용과 소스 기반 기능을 통해 무엇이 뒷받침되고 무엇이 생성되었는지 추적할 수 있습니다.
- 02:41모델이 '이 내용은 확신할 수 없습니다'라고 말하는 식으로 학습된 불확실성 신호는
- 02:45모델이 자신의 불안정성을 표시하는 데 도움이 됩니다.
- 02:47생성과 Skills는 날조가 끼어들 수 있는 공간을 좁힙니다.
- 02:51생성기-검증기 에이전트 루프는 외부
- 02:55소스의 검사를 통과하는 출력을 보장합니다. 이런 기능이 존재하는 이유는 기반 동작이
- 02:59항상 생성형 다음 토큰 예측이기 때문입니다.
- 03:03AI 출력물을 다룰 때는 다음 사항을 기억하세요. 자신감 있는 어조가
- 03:08정확성을 의미하지는 않습니다. 매끄러움과 정확성은 서로 독립적인 변수입니다. 구체성은
- 03:13날조가 집중되는 지점입니다. 이름, 날짜, 통계, 인용, 인용문, URL은
- 03:17주장이 구체적일수록 확인할 필요가 커집니다.
- 03:20출력물은 검증해야 할 초안으로 취급하세요. 특히 이해관계가 크거나 해당 분야가 익숙하지 않을 때는 더욱 그렇습니다.
- 03:25작업이 연속선상에서 어디에 위치하는지 물어보세요.
- 03:28익숙한 경로는 더 안전한 위임입니다.
- 03:30희박한 경로는 더 많은 검토가 필요합니다.
- 03:32제품 기능을 활용하세요.
- 03:33도구가 인용이나 소스 기반 기능을 제공한다면 사용하세요.
- 03:36모델은 근거가 있는 내용과 꾸며낸 내용을 신뢰성 있게 구분하지 못합니다.
- 03:39그 부분은 직접 해야 합니다.
- 03:41다음 토큰 예측을 이해하는 것은 4D 프레임워크에서 판별력의 핵심입니다.
- 03:46형태에 맞도록 생성되거나 조합된 출력이라는 점을 이해하지 못하면 출력을 제대로 평가할 수 없습니다.
- 03:52이는 위임에도 영향을 줍니다.
- 03:54기능 영역 깊숙한 곳에 있는 작업은 더 안전한 위임입니다.
- 03:57경계에 가까운 작업은 사후에 더 많은 주의를 기울여야 합니다.
- 04:00이 지식을 갖추면 AI가 놀라운 대상이 아니라 예측 가능한 대상이 됩니다.
대규모 자동완성
읽기 전에
AI에게 긴 보고서를 요약를 요청합니다. 결과를 얼마나 꼼꼼히 확인해야 할까요? 연속선 위에서 지점을 선택한 다음 추측을 확정하세요.
다음 토큰 예측
AI의 답변은 어디서 나올까요?
역량한계
지점을 선택한 다음 추측을 확정하세요. 그러면 레슨이 열립니다.
핵심 요약
- 다음 토큰 예측은 생성형 AI가 단어 다음에 어떤 단어가 오는 경향이 있는지를 기반으로 한 단어씩 답변을 작성한다는 사실을 의미합니다.
- 역량 영역: 모델이 여러 번 본 패턴과 유사한 작업(요약, 재구성, 일반적인 개념 설명).
- 한계 영역: 새롭거나 희소한 영역, 그리고 "참"과 "참처럼 들리는 것"을 구별해야 하는 모든 작업.
- 날조는 구체성에 집중됩니다: 이름, 날짜, 통계, 인용, URL, 인용문. 주장이 정밀할수록 검증이 더 필요합니다.
- 인용, 불확실성 신호, 제한된 생성, 생성자-검증자 루프와 같은 제품 기능은 바로 이 한계를 더 멀리 밀어내기 위해 존재합니다.
- 4D 연결: 다음 토큰 예측은 식별력(Discernment)의 기반입니다. 결과물이 생성되었다는 것을 아는 것만으로도 어떤 종류의 검토를 적용해야 하는지 정확히 알 수 있습니다.
연습
검증 테스트
왜? 이제 AI를 유창하게 만드는 바로 그 생성 과정이 AI가 날조하게 만드는 과정이기도 하다는 것을 알게 되었습니다. 이제 여러분이 직접 포착할 수 있는 영역에서, 자신의 전문 분야에서 이를 확인해볼 시간입니다.
작업 목록으로 돌아가서 자신의 전문 지식에 가장 자신 있는 작업을 선택하세요. 돌아온 결과를 검증할 수 있어야 하므로, 자신이 전문가인 주제가 필요합니다. 해당 분야에서 구체적이고 확인 가능한 사실 다섯 가지를 적어보세요: 어떤 사람의 직함, 발행일, 통계, 제품 사양, 직접 인용문, URL. 정확하다고 알고 있고 독립적으로 확인할 수 있는 것들이어야 합니다.
이제 세 가지 테스트를 실행해 보세요:
- 테스트 1: 역량 영역. AI에게 해당 분야에서 잘 알려진 개념을 설명하거나 요약해 달라고 요청하세요. 대중적이고 잘 문서화된 것이어야 합니다. 유창함을 주목하세요. 내용을 부분적으로 확인해 보세요. 이것이 역량 영역이 느껴지는 방식입니다: 매끄럽고, 자신감 있고, 대체로 정확합니다.
- 테스트 2: 압박 속의 구체성. AI에게 해당 분야에서 확인 가능한 구체적인 사항 다섯 가지를 제공해 달라고 요청하세요: 세 가지 출처를 인용하고, 저자 이름을 밝히고, 정확한 수치를 제시하고, URL을 제공하도록 하세요. 각각을 검증하세요. 5점 만점으로 점수를 매겨보세요: 몇 개가 완전히 정확했나요? 날조한 경우, 그것을 얼마나 자신 있게 말했는지 기록하세요.
- 테스트 3: 실제로 작동하는 샘플링. 새로운 대화에서 동일한 구체적 사실 요청을 실행하세요. 두 결과물을 비교하세요. 무엇이 일관되게 유지되었나요? 무엇이 바뀌었나요? 여러분이 보는 변화는 다음 토큰 예측의 샘플링이 작동하는 모습입니다.
심화 목표: 인용 기능이 활성화된 도구(예: Claude의 Research 모드)에서 테스트 2를 다시 실행해 보세요. 다시 점수를 매겨보세요. 확인할 출처가 있다는 것이 점수를 바꾸나요?
레슨 회고
- 잘 알지 못하는 분야였다면 날조를 포착할 수 있었을까요?
- 작업 목록을 살펴보세요: 어떤 작업이 주로 역량 영역에 속하고, 어떤 작업이 검증이 필요한 구체성으로 넘어가나요?
다음 단계
다음 토큰 예측은 AI가 어떻게 생성하는지를 설명합니다. 다음으로는 AI가 무엇을 바탕으로 생성하는지, 즉 Knowledge(지식) 속성을 살펴보겠습니다. 모델은 실제로 무엇을 알고 있으며, 그 지식은 어디에서 오고, 어디에 공백이 있을까요?