AI 모델의 지식 격차 이해하기
Knowledge · 5 min
요약대본
모델은 학습 과정에서 노출된 것만 알고 있으며, 그 이상은 알지 못합니다. 기본적으로 실시간 브라우징도 없고, 실제 경험도 없으며, 지식 컷오프 시점에서 완전히 멈춥니다. 실질적인 질문은 "AI가 이것을 아는가?"가 아니라 "이것이 AI가 읽은 자료에서 얼마나 잘 다루어졌는가?"입니다.
한국어 대본
- 00:00안녕하세요. 저는 David이고 Anthropic의 안전 팀에서 일합니다. 오늘은
- 00:11AI 모델이 실제로 무엇을 아는지, 그리고 그에 못지않게
- 00:14무엇을 모르는지 말씀드리겠습니다. AI의 지식이 어디에서 오는지 살펴보고,
- 00:17왜 뚜렷한 경계가 있는지, 어떤 주제가
- 00:20신뢰할 만하고 어떤 주제는 그렇지 않은지 예측하는 방법을 살펴봅니다. Claude 같은 모델은
- 00:25어떤 인간도 여러 생애 동안 소화할 수 없을 만큼 많은 데이터에 노출되었습니다. 그래서
- 00:29모든 것을 아는 것처럼 느껴지지만 그렇지 않습니다. 생성형 AI 모델에는 예측 가능한
- 00:34지식의 공백이 있습니다.
- 00:37AI 모델은 막대한 양의 텍스트를 읽으며 학습하고, 대부분
- 00:41인터넷, 공개 데이터 세트, 기타 문서에서 가져옵니다. 수십억 번의
- 00:45반복을 통해 지금까지 주어진 모든 것을 바탕으로 다음에 올 내용을 예측합니다. 모델은 개념, 관계, 사실에 대한 내부
- 00:49표현을 구축합니다. 이것이 모델이
- 00:53아는 방식입니다. 또한 이것이 아는 유일한 방식이기도 합니다. 모델에는
- 00:56경험이 없으며, 제품이 명시적으로
- 01:00검색 도구를 제공하지 않는 한 실시간으로 웹을 검색하지도 않습니다. 그리고 핵심적으로 학습은 특정 날짜에
- 01:05종료되며, 그 날짜를 지식 컷오프라고 합니다. 그 이후에 일어난 모든 일은
- 01:08단순히 존재하지 않습니다. 실제로 왜 중요한지 보여드리겠습니다. 이제
- 01:12Claude에 두 가지 질문을 하겠습니다. 첫째, 광합성이 어떻게 작동하는지 설명해 달라고 하겠습니다. 지켜보세요.
- 01:17응답은 상세하고 정확하며 자신감이 넘칩니다. 이 주제는
- 01:21학습 데이터에 수천 번 등장했고 일관되게 설명되어 왔으며,
- 01:25변하지 않았습니다.
- 01:26이제 두 번째 질문입니다.
- 01:28현재 Toledo 시장은 누구입니까?
- 01:30모델은 이름 하나를 제시할 수 있습니다.
- 01:31맞을 수도 있습니다.
- 01:322년 전에 그 직책을 맡았던 사람일 수도 있습니다.
- 01:35모델은 그 차이를 알 방법이 없습니다.
- 01:37모델의 지식을 연속체로 생각해 보세요.
- 01:39한쪽 끝에는 기능 영역이 있습니다. 주류 과학,
- 01:42인기 프로그래밍 언어, 문서화가 잘 된 역사,
- 01:46자주 일관되게 등장했고,
- 01:48컷오프 이전에 나타난 주제들입니다.
- 01:49여기서 모델은 놀라울 정도로 깊이 있습니다.
- 01:52다른 쪽 끝에는 희귀한 주제, 컷오프 이후 사건,
- 01:55틈새 영역, 지역 지식이 있습니다.
- 01:57이 경계 쪽으로 더 멀리 이동할수록
- 01:59답변을 덜 신뢰해야 합니다.
- 02:01물어야 할 질문은 'AI가 이것을 압니까?'가 아닙니다.
- 02:03'이 내용이 모델이 읽은 자료에 얼마나 잘 표현되어 있었습니까?'입니다.
- 02:07이 학습 과정은 진정한 강점도 만들어 냅니다.
- 02:09모델의 일반 지식은 놀라울 정도로 폭넓습니다.
- 02:13학습 데이터에 잘 표현된 영역에서는
- 02:15매우 뛰어난 역량을 발휘합니다.
- 02:17그리고 분야를 가로질러 연결을 만들어 냅니다.
- 02:18텍스트에서 함께 등장하는 개념이 모델의 내부 표현에서
- 02:21서로 가까이 위치하기 때문입니다. 여기서 임베딩이 등장합니다.
- 02:25단어와 아이디어가 광대한 수학적 공간의 점으로 매핑되고, 비슷한 의미가
- 02:29군집을 이루는 것입니다. 생물학 개념을 물으면 모델은 관련 화학, 역사,
- 02:35경제학을 별도 지시 없이 끌어올 수 있습니다. 하지만 같은 과정이 특유의 한계도 만듭니다.
- 02:40지식 컷오프입니다. 학습 이후의 어떤 것도 모델에게는 존재하지 않습니다.
- 02:44오래된 정보입니다. 학습 당시에는 사실이었던 정보가 바뀌었을 수 있지만 모델에는
- 02:48이를 알 방법이 없습니다. 편중된 범위입니다. 자주 등장하는 주제는 잘 처리하지만 드문 주제는
- 02:54잘 처리하지 못하고, 소수 언어, 틈새 영역, 최근 발전은 모두 어려움을 겪습니다. 물려받은 편향입니다. 모델이
- 03:01정상 또는 기본값이라고 여기는 감각은 학습 데이터의 사각지대를 반영합니다. 이는
- 03:06의사가 어떤 모습인지, 가족이 어떤 모습인지, 무엇이 전문가로 여겨지는지에 대한 가정으로 나타납니다.
- 03:11출처 기억상실입니다. 모델은 보통 지식의 출처를 알려주지 못합니다.
- 03:15'어디선가 읽었다'는 말은 인용이 아닙니다.
- 03:18이것이 현대 AI 제품이 이러한 한계를 우회하도록 설계된 기능과 함께 출시되는 이유입니다.
- 03:25웹 검색은 응답 시점에 최신 정보를 가져와 컷오프를 우회합니다.
- 03:30MCP는 회사 위키나 전문 데이터베이스처럼 모델이 학습하지 않은 문서에 연결합니다.
- 03:35도구를 사용하면 모델이 흡수된 패턴에 의존하는 대신 실시간 계산기나 데이터베이스를 호출할 수 있습니다.
- 03:41명시적인 컷오프 공개는 학습이 언제 끝났는지만 알려 주므로 다시 확인해야 할 시점을 알 수 있습니다.
- 03:46이런 기능을 사용하면 런타임에 모델의 지식을 확장하는 것입니다.
- 03:51사용하지 않으면 학습 중 흡수한 내용에 전적으로 의존합니다.
- 03:58지식의 공백은 주제가 시간에 민감하고 현재
- 04:02사건, 최신 연구, 직책 보유자, 비용 등일 때 가장 잘 나타납니다.
- 04:06영역이 틈새이거나 지역적이거나 덜 표현된 언어일 때도 그렇습니다.
- 04:10질문이 컷오프 이후에 생겼을 때도 그렇습니다.
- 04:12전형적이거나 정상적인 것에 대한 모델의 감각에 의존하거나 웹 검색이 꺼져 있을 때도 그렇습니다.
- 04:18보호하는 방법은 다음과 같습니다.
- 04:20시간에 민감한 내용은 무엇이든 확인하세요.
- 04:21모델의 정보가 오래되었을 수 있다고 가정하세요.
- 04:24새로운 영역에서는 신뢰하기 전에 테스트하세요.
- 04:26한 영역에서의 뛰어남이 바로 옆 영역으로 이어지지는 않습니다.
- 04:30현실이 아니라 학습 데이터를 반영한 기본 가정을 주의하세요.
- 04:34도구가 있다면 검색과 리트리벌을 사용하세요.
- 04:38특히 이런 공백을 메우기 위해 존재합니다.
- 04:40지식이라는 속성은 네 가지 AI Fluency 역량 중 두 가지를 직접 형성합니다.
- 04:45작업을 모델에 맡기기 전에 자문하세요. 이 영역은 모델이 잘 아는 영역인지,
- 04:50아니면 컨텍스트, 문서, 검색을 통해 직접 지식을 제공해야 하는 영역인지 말입니다.
- 04:54답변을 받으면 이제 어떤 주장에 독립적인 검증이 필요한지 알 수 있습니다.
- 05:00모델의 취약 영역에 있는 내용은 다시 살펴볼 가치가 있습니다. 모델의 지식은 폭넓고,
- 05:06깊고, 고정되어 있으며, 불완전하다는 특징을 동시에 가집니다. 경계가 어디인지 볼 수 있으면,
- 05:11그 경계에 더는 놀라지 않게 됩니다.
모델이 읽은 것, 그리고 읽기를 멈춘 시점
읽기 전에
AI에게 지난주 뉴스 사건을 설명를 요청합니다. 결과를 얼마나 꼼꼼히 확인해야 할까요? 연속선 위에서 지점을 선택한 다음 추측을 확정하세요.
지식
AI는 실제로 무엇을 알고 있을까요?
역량한계
지점을 선택한 다음 추측을 확정하세요. 그러면 레슨이 열립니다.
핵심 요약
- 생성형 AI가 아는 것은 전적으로 학습 데이터에서 비롯되며 지식 컷오프 시점에 고정됩니다. 도구가 없으면 그 날짜 이후의 어떤 정보에도 접근할 수 없습니다.
- 역량 영역: 학습 데이터에서 빈번하게, 최근에(학습 기간 내), 그리고 일관되게 등장한 주제.
- 한계 영역: 희귀하거나, 컷오프 이후이거나, 특수하거나, 지역적이거나, 논쟁적인 주제.
- 특징적인 실패: 오래된 정보, 불균등한 커버리지, 무엇이 "기본값" 또는 "정상"으로 간주되는지에 내재된 편향, 그리고 지식이 어디서 왔는지 밝히지 못하는 점.
- 웹 검색, 검색(RAG/MCP), 도구 사용은 모델이 전혀 학습하지 않은 정보에 접근할 수 있도록 함으로써 이러한 격차를 보완하기 위해 특별히 존재합니다.
- 4D 연결: 지식의 불균등함은 Delegation의 핵심입니다. 모델이 어디에서 풍부하고 어디에서 부족한지를 이해하면 언제 위임해야 하는지, 언제 직접 맥락을 제공해야 하는지, 언제 다른 곳을 찾아야 하는지를 알 수 있습니다.
연습
아웃사이더 테스트
왜 필요한가요? 모델의 지식이 넓지만 고정되어 있으며, 학습 데이터에 있던 것에 의해 형태가 결정된다는 것을 알고 있습니다. 이제 여러분의 특정 분야에서 모델이 어디에서 풍부하고 어디에서 부족한지를 정확히 파악해 볼 것입니다.
작업 목록으로 돌아가 작업 하나를 선택하세요. 해당 작업과 관련하여 다음을 적어보세요:
- 주류이고, 잘 문서화되어 있으며, 안정적인 주제 두 가지. 해당 분야에 정통한 동료라면 누구나 알 만한 것.
- 특수하거나, 지역적이거나, 최근의 것이거나, 빠르게 변화하는 주제 두 가지. 업계 전문 용어, 지역 규제, 지난 1년 사이에 바뀐 것 등.
- 여러분의 분야 외부인이 흔히 잘못 이해하는 "기본 가정" 하나. (일반적인 고객이 누구인지. "표준" 사례가 어떤 모습인지. 사람들이 실제로 사용하는 도구와 언론에 많이 노출되는 도구 중 어느 쪽인지.)
이제 세 가지 탐색을 진행하세요:
- 탐색 1: 커버리지. 목록에 있는 주류 주제 하나와 특수 주제 하나에 대해 질문하세요. 깊이와 정확성을 비교하세요. AI가 두 경우에서 불확실성을 다르게 표시하는지, 아니면 두 답변 모두 동일하게 자신감 있는 어조로 제시되는지 주의해서 살펴보세요.
- 탐색 2: 오래된 정보. 여러분의 분야에서 최근에 바뀐 것으로 알고 있는 것에 대해 질문하세요: 규제 업데이트, 도구 출시, 리더십 변경, 개정된 표준 등. AI가 컷오프를 인정하나요? 오래된 정보를 최신 정보처럼 제시하나요? 답변을 거부하나요? 어떤 일이 일어나는지 기록하세요.
- 탐색 3: 기본 가정. 여러분의 가정을 직접 언급하지 않은 채, AI가 외부인의 관점을 기본값으로 삼는지 드러낼 수 있는 질문을 하세요. 예를 들어, 여러분의 분야에서 "표준" 고객이 대부분의 사람들이 가정하는 것과 다르다면, AI에게 일반적인 고객을 설명해 달라고 요청하세요. AI가 무엇을 정상으로 취급하는지 기록하세요.
작업 목록으로 돌아가 두 번째 주석을 추가하세요: 각 작업에 대해 모델의 지식에 의존할 수 있는지, 아니면 맥락, 문서, 검색을 통해 직접 지식을 제공해야 하는지 표시하세요.
도전 목표: 웹 검색을 활성화한 상태로 오래된 정보 탐색을 다시 실행하세요. 무엇이 바뀌는지 비교하세요. 이것이 바로 검색(retrieval)이 작동하는 모습입니다.
레슨 되돌아보기
- 이제 모델이 맥락을 가지고 있다고 가정하기보다 직접 맥락을 제공해야 한다는 것을 깨달은 업무 영역은 어디인가요?
- 기본 가정 탐색에서 놀라운 점을 발견하셨나요?
다음 단계
지식은 모델이 학습 과정에서 흡수한 것을 다룹니다. Working Memory는 모델이 지금 이 순간 주의를 기울이고 있는 것, 즉 여러분의 프롬프트, 문서, 대화를 다룹니다. 이 속성은 네 가지 중 가장 까다로운 경계를 가지고 있습니다.