AI 실패 진단하기
When Properties Collide · 3 min
네 가지 속성은 독립적으로 작동하지 않습니다. 실제 실패의 대부분은 그중 두 가지가 교차하는 경우입니다. 어떤 두 가지인지 이름을 붙일 수 있게 되면, 어떤 수정 방법을 써야 할지 알게 됩니다.
두 속성이 만날 때: 무엇이 잘못되었는지 진단하기
속성이 충돌할 때
대부분의 실제 AI 실패는 두 속성이 동시에 만나는 지점에서 발생합니다.
모델은 인용문처럼 보이는 텍스트 — 그럴듯한 제목, 실제처럼 들리는 저널 — 를 생성하지만, 그 밑에는 지식의 공백이 있습니다. 모델은 자신이 알고 있는 것과 지어내고 있는 것의 차이를 구분하지 못합니다.
핵심 요점
- 실제 세계의 실패는 대개 하나가 아니라 두 속성이 상호작용하는 것입니다.
- 인식해야 할 진단 쌍:
- 다음 토큰 예측 + 지식 (환각으로 만들어진 구체적 내용)
- 작업 메모리 + 조종 가능성 (긴 대화에서의 표류)
- 작용하고 있는 속성에 이름을 붙이는 것은 바로 수정 방법으로 이어집니다: 구체적 내용을 검증하거나, 컨텍스트를 다시 제공하거나, 코드 실행에 맡기거나, 반박을 유도하는 것입니다.
- 이 진단 동작은 Discernment(분별력)를 적용한 것입니다. 어떤 종류의 오류를 보고 있는지 알면 더 잘 평가할 수 있습니다.
연습
실패 진단
왜일까요? 실제 세계의 AI 실패 대부분은 하나의 속성이 문제를 일으키는 것이 아닙니다. 두 속성이 동시에 만나는 것입니다. 어떤 두 가지인지 이름을 붙이면 수정 방법이 완전히 달라집니다.
AI와 함께한 경험을 되돌아보세요(이 과정에서 관찰한 것도 포함해서요). AI 출력이 여러분을 진정으로 실망시키거나 놀라게 했던 두세 번의 경우를 떠올려 보세요. 각각에 대해 한두 문장으로 설명해 보세요: 무엇을 요청했는지, 무엇을 받았는지, 무엇이 실망스럽거나 놀라웠는지.
- 각 사건을 AI와 함께 살펴보세요. 무슨 일이 있었는지 설명하고 물어보세요: "네 가지 속성(다음 토큰 예측, 지식, 작업 메모리, 조종 가능성)을 기준으로, 여기서 어떤 속성들이 작용했을 가능성이 있으며 그 이유는 무엇인가요?"
- 그 진단을 지금 알고 있는 것과 비교해 평가해 보세요. 동의하시나요? 그렇지 않다면 반박하세요. (3강의 아첨 지문을 기억하세요: AI는 여러분의 프레이밍에 너무 쉽게 동의할 수 있습니다. 틀렸다고 생각되면 그렇게 말하세요.)
- 각 진단에 대해 물어보세요: "그 진단을 전제로 할 때, 가장 타겟화된 수정 방법은 무엇인가요?" 가능하다면 지금 바로 비슷한 작업에서 그 조정을 테스트해 보세요.
이제 누적된 모든 주석(2강의 속성 태그, 4강의 검증 점수, 5강의 지식 플래그, 6강의 컨텍스트 필요 사항, 7강의 목표 진술)이 달린 1강의 작업 목록을 살펴보세요. 가장 애를 먹었던 작업들에 대해, 어떤 두 속성이 충돌했는지 이름을 붙여 보세요. 각 작업 옆에 진단을 적어 보세요.
레슨 돌아보기
- 속성 쌍에 이름을 붙이는 것이 여러분이 선택할 수정 방법을 바꾸었나요? 이 과정을 듣기 전이었다면 다른(덜 효과적인) 수정 방법을 시도했을까요?
- 일상 업무에서 어떤 속성 조합을 가장 자주 마주칠 것 같나요?
다음 단계
마지막 레슨에서는 지금까지 구축한 것을 통합하고, 이를 완전한 시스템으로서의 4D 프레임워크와 연결하며, 더 깊이 파고들 수 있는 방향을 안내합니다.