AI 실패 진단하기
When Properties Collide · 3 min
네 가지 속성은 독립적으로 작동하지 않습니다. 실제 실패의 대부분은 그중 두 가지가 교차하는 경우입니다. 어떤 두 가지인지 이름을 붙일 수 있게 되면, 어떤 수정 방법을 써야 할지 알게 됩니다.
한국어 대본
- 00:00지난 몇 개의 레슨에서 우리는 AI 시스템의 행동을 결정짓는 네 가지 속성을 다뤘습니다.
- 00:12다음 토큰 예측, 지식, 작업 기억, 조종 가능성입니다. 이제 네 가지 관점이 생겼지만,
- 00:19하지만 이들은 서로 분리되어 존재하지 않습니다. 서로 연결되어 있습니다. 실제 세계의 대부분의 AI 돌발 상황은
- 00:25단일 속성의 실패가 아닙니다.
- 00:27두 속성이 동시에 만나면서 발생합니다.
- 00:29그리고 어떤 두 속성인지 이름을 붙일 수 있다면 해결책은 분명해집니다.
- 00:35Claude에게 특정 분야의 주제를 물어보면,
- 00:37그리고 Claude가 논문 제목과 저자 이름을 알려줬고, 그럴듯해 보입니다.
- 00:40그런데 찾아보면 그런 논문은 존재하지 않습니다.
- 00:43이것은 다음 토큰 예측과 지식이 만나는 경우입니다.
- 00:46다음 토큰 예측은 항상 하던 대로,
- 00:49그럴듯한 답이 어떤 모습일지 생성합니다.
- 00:51좋은 인용은 적절한 운율의 제목을 갖고,
- 00:54운율, 실제로 있어 보이는 저널,
- 00:56그 분야에 맞는 이름을 갖습니다.
- 00:58한편, 그 밑에는 지식의 공백이 있습니다.
- 01:00그리고 모델은 그 공백이 있다는 것을 알지 못합니다.
- 01:03모델은 자신이 아는 것과
- 01:05자신이 생성하는 것의 차이를 구분하지 못합니다.
- 01:06이런 현상을 관찰하면, 구체적인 내용을 독립적으로 검증하세요.
- 01:09더 좋은 방법은 출처 기반 도구를 사용하세요.
- 01:12그러면 모델이 실제 문서를 검색하게 되어
- 01:14인용 형태의 텍스트를 생성하는 대신에 말입니다.
- 01:17긴 대화의 시작에서 신중한 제약 조건을
- 01:19설정합니다.
- 01:21메시지 20개가 지나면 Claude는 그중 절반을 무시하고 있습니다.
- 01:24이것이 작업 기억과 조종 가능성이 만나는 지점입니다.
- 01:27초반의 컨텍스트는 흐려졌고,
- 01:29컨텍스트 창 밖으로 밀려났거나,
- 01:31아니면 최근에 말한 내용보다
- 01:32단지 덜 주목받고 있습니다.
- 01:34그리고 조종 가능성은
- 01:36지금 가장 두드러지는 지침을
- 01:37따르는 방식으로 작동하기 때문에,
- 01:39나중에 보낸 메시지가 조용히
- 01:41이전 메시지를 덮어쓰고 있습니다.
- 01:42중요한 컨텍스트를 다시 공급하세요.
- 01:45또는 대화가 다루기 어려워졌다면,
- 01:47새 대화를 시작하고 핵심 내용을 앞부분에 넣으세요.
- 01:51AI와 대화를 시작하기 전에 먼저 물어보세요.
- 01:55내가 이루려는 작업에서 어떤 속성을 살펴보고 있는가?
- 01:59그 질문이 먼저 와야 하는 이유는 진단이 해결책을 결정하기 때문입니다.
- 02:03지식 문제와 작업 기억 문제는 표면적으로 비슷해 보이는 출력을 만들어낼 수 있지만,
- 02:08완전히 다른 대응이 필요합니다.
- 02:11'프롬프트를 어떻게 고칠까'로 바로 건너뛴다면, 추측하는 것입니다.
- 02:15속성을 먼저 짚어낸다면, 전략적으로 움직이는 것입니다.
- 02:18전략적으로. 이 진단 단계는 실전에서의 판별력입니다. 속성 수준의 실패를 짚어내는 것은
- 02:24바로 막연한 불만을 목표 지향적인 반복으로 바꾸는 것입니다. 다음에서 출발해,
- 02:30'그건 좀 맞지 않았어'에서 '이걸 소스에 다시 근거를 두어야 해' 또는 '반박을 요청해야 해'로 이동합니다.
- 02:37그리고 이는 위임으로 다시 이어집니다. 같은 복합 실패가 계속 보인다면
- 02:41같은 종류의 작업이라면 그것은 신호입니다. 어떤 작업 유형을 재구성해야 하는지, 어떤 것을
- 02:47더 작은 조각으로 나누어야 하는지, 어떤 것을 직접 해야 하는지 알려줍니다.
- 02:51오늘 진단하는 패턴이 내일 어떻게 위임할지를 결정합니다.
두 속성이 만날 때: 무엇이 잘못되었는지 진단하기
속성이 충돌할 때
대부분의 실제 AI 실패는 두 속성이 동시에 만나는 지점에서 발생합니다.
다음 토큰 예측그럴듯하게 들리는 것을 생성합니다
지식학습된 내용을 알고 있습니다
작업 메모리가까이 있는 것에 주의를 기울입니다
조종 가능성가장 강한 지시를 따릅니다모델은 인용문처럼 보이는 텍스트 — 그럴듯한 제목, 실제처럼 들리는 저널 — 를 생성하지만, 그 밑에는 지식의 공백이 있습니다. 모델은 자신이 알고 있는 것과 지어내고 있는 것의 차이를 구분하지 못합니다.
핵심 요점
- 실제 세계의 실패는 대개 하나가 아니라 두 속성이 상호작용하는 것입니다.
- 인식해야 할 진단 쌍:
- 다음 토큰 예측 + 지식 (환각으로 만들어진 구체적 내용)
- 작업 메모리 + 조종 가능성 (긴 대화에서의 표류)
- 작용하고 있는 속성에 이름을 붙이는 것은 바로 수정 방법으로 이어집니다: 구체적 내용을 검증하거나, 컨텍스트를 다시 제공하거나, 코드 실행에 맡기거나, 반박을 유도하는 것입니다.
- 이 진단 동작은 Discernment(분별력)를 적용한 것입니다. 어떤 종류의 오류를 보고 있는지 알면 더 잘 평가할 수 있습니다.
연습
실패 진단
왜일까요? 실제 세계의 AI 실패 대부분은 하나의 속성이 문제를 일으키는 것이 아닙니다. 두 속성이 동시에 만나는 것입니다. 어떤 두 가지인지 이름을 붙이면 수정 방법이 완전히 달라집니다.
AI와 함께한 경험을 되돌아보세요(이 과정에서 관찰한 것도 포함해서요). AI 출력이 여러분을 진정으로 실망시키거나 놀라게 했던 두세 번의 경우를 떠올려 보세요. 각각에 대해 한두 문장으로 설명해 보세요: 무엇을 요청했는지, 무엇을 받았는지, 무엇이 실망스럽거나 놀라웠는지.
- 각 사건을 AI와 함께 살펴보세요. 무슨 일이 있었는지 설명하고 물어보세요: "네 가지 속성(다음 토큰 예측, 지식, 작업 메모리, 조종 가능성)을 기준으로, 여기서 어떤 속성들이 작용했을 가능성이 있으며 그 이유는 무엇인가요?"
- 그 진단을 지금 알고 있는 것과 비교해 평가해 보세요. 동의하시나요? 그렇지 않다면 반박하세요. (3강의 아첨 지문을 기억하세요: AI는 여러분의 프레이밍에 너무 쉽게 동의할 수 있습니다. 틀렸다고 생각되면 그렇게 말하세요.)
- 각 진단에 대해 물어보세요: "그 진단을 전제로 할 때, 가장 타겟화된 수정 방법은 무엇인가요?" 가능하다면 지금 바로 비슷한 작업에서 그 조정을 테스트해 보세요.
이제 누적된 모든 주석(2강의 속성 태그, 4강의 검증 점수, 5강의 지식 플래그, 6강의 컨텍스트 필요 사항, 7강의 목표 진술)이 달린 1강의 작업 목록을 살펴보세요. 가장 애를 먹었던 작업들에 대해, 어떤 두 속성이 충돌했는지 이름을 붙여 보세요. 각 작업 옆에 진단을 적어 보세요.
레슨 돌아보기
- 속성 쌍에 이름을 붙이는 것이 여러분이 선택할 수정 방법을 바꾸었나요? 이 과정을 듣기 전이었다면 다른(덜 효과적인) 수정 방법을 시도했을까요?
- 일상 업무에서 어떤 속성 조합을 가장 자주 마주칠 것 같나요?
다음 단계
마지막 레슨에서는 지금까지 구축한 것을 통합하고, 이를 완전한 시스템으로서의 4D 프레임워크와 연결하며, 더 깊이 파고들 수 있는 방향을 안내합니다.