조종 가능성이 생성형 AI 출력에 미치는 영향
조종 가능성 · 5분
요약대본
모델은 다른 모든 것을 처리하는 것과 동일한 방식으로 지시를 따릅니다: 패턴을 이어가는 방식입니다. 이는 모델을 놀랍도록 조종 가능하게 만듭니다. 또한 의도한 것과 실제로 전달된 것 사이에는 항상 간극이 존재하며, 흥미로운 실패의 대부분은 바로 그 간극에서 발생한다는 것을 의미합니다.
한국어 대본
- 00:00안녕하세요. 저는 Matt이고 Anthropic의 사용자 리서치 팀에서 일하고 있습니다. 오늘 이 자리에서
- 00:13AI 모델의 조종 가능성에 대해 이야기하려고 합니다. 왜 지침이 대부분의 경우 그렇게 잘 작동하는지,
- 00:19왜 때로는 기술적으로는 정확하지만 전혀 쓸모없는 방식으로 적용되는지, 그리고
- 00:24모델이 실제로 원하는 바를 향하도록 유지하기 위해 무엇을 할 수 있는지 살펴볼 것입니다.
- 00:28AI에게 간결하게 하라고 말해 본 적이 있고, AI가 성실히 응답을 줄였지만
- 00:33신경 썼던 바로 그 부분을 잘라냈다면, 이미 이 주제를 접해 본 것입니다.
- 00:38조종 가능성은 모델이 지시를 따르는 능력입니다.
- 00:40'표로 응답해'라고 말하면, 표를 받습니다.
- 00:43'회의론자의 관점에서 이걸 써'라고 말하면, 모델은 관점을 바꿉니다.
- 00:48역할, 어조, 형식, 단어 수 제한, 일련의 규칙을 지정하면, 모델은 이를 적용하며,
- 00:54대개 첫 시도에 적용합니다.
- 00:55이것은 자동으로 일어난 것이 아닙니다.
- 00:57기본 상태의 사전 훈련된 모델은
- 00:59도움이라는 개념이 없는 문서 완성기입니다.
- 01:02미세 조정은 두 번째 훈련으로,
- 01:04모델이 좋은 어시스턴트 행동의 선별된 예시에서 배우는
- 01:06과정입니다.
- 01:08바로 이 과정에서 모델은
- 01:10사용자의 텍스트를 요청으로 취급하고,
- 01:12작업을 단계로 나누고, 설정한 규칙을 따르는 습관을 익힙니다.
- 01:16하지만 조종 가능성은 이해와 같은 것이 아닙니다.
- 01:20모델은 사용자의 지침을
- 01:22다른 모든 작업에 사용하는 것과 동일한 패턴 완성 엔진을 통해
- 01:24따릅니다.
- 01:26사용자가 입력한 단어와 실제 원하는 바 사이에는 항상 간격이 있습니다.
- 01:28그리고 염두에 두고 있던 의도,
- 01:30그리고 그 간극에는 흥미로운 AI 한계가 많이 있습니다.
- 01:34그 간극이 어떤 모습인지 보여드리겠습니다.
- 01:37Claude에게 이 보고서를 100단어 미만으로 요약하고
- 01:41임팩트 있게 만들어 달라고 요청하겠습니다.
- 01:44그래서 100단어에, 임팩트도 있습니다.
- 01:46지시는 문자 그대로 이행되었지만,
- 01:49제가 실제로 필요했던 조건이 붙은 발견 하나가
- 01:52요약의 임팩트를 떨어뜨렸기 때문에 잘려 나갔습니다.
- 01:55모델은 제가 말한 것은 지켰지만 제가 뜻한 것은 놓쳤습니다.
- 01:58지시를 하나의 스펙트럼으로 생각해 보면 도움이 됩니다.
- 02:01한쪽 끝에는 짧고
- 02:04구체적이며 확인하기 쉬운 지시가 있습니다.
- 02:06표로 응답하고, 100단어 미만으로 작성하세요.
- 02:10이 스키마를 정확히 사용하세요.
- 02:12이런 지시는 확실히 기능 영역에 속합니다.
- 02:15패턴이 단순해서 맞추기 쉽고
- 02:17한눈에 확인할 수 있습니다.
- 02:18반대쪽 끝으로 이동하면 통제가 약해지기 시작합니다.
- 02:222단계의 작은 실수가 3단계, 4단계, 5단계까지
- 02:25조용히 전파되는 긴 추론 사슬
- 02:29모델이 무슨 뜻인지 추측해야 하는
- 02:32'통찰력 있게' 같은 추상적인 지시
- 02:34그러니 스스로에게 던져야 할 질문은
- 02:36'좋은 프롬프트를 작성했는가'가 아닙니다.
- 02:37오히려, 얼마나 여지가 있는지가 중요합니다.
- 02:39내가 입력한 것과 실제로 원하는 것 사이의 여지 말입니다.
- 02:42능력 구간에 있을 때,
- 02:44조종 가능성은 많은 것을 제공합니다.
- 02:47형식과 스타일에 대한 엄격한 제어, 페르소나를 설정하고 모델이 대화 전체에서 이를 유지하게 하는 능력,
- 02:54여러 단계로 이어지는 작업 실행, 프로세스를 제시하면 모델이 그 과정을 수행하는 것,
- 02:58그리고 반복적 개선, 즉 '더 짧게', '더 공식적으로', '반대 각도로 시도' 같은 요청이 모두 들어맞는 것.
- 03:05경계 쪽으로 벗어나면 추론의 표류가 나타납니다.
- 03:08작은 오류가 긴 체인에서 누적되며 모델은 이를 인지하지 못합니다.
- 03:12문자 그대로의 이행이 정신을 압도합니다.
- 03:14방금 본 것처럼, 지시가 문자 그대로 이행되지만 쓸모없습니다.
- 03:18지시는 공격 표면이 됩니다.
- 03:21모델이 텍스트에 포함된 지시를 따르기 때문에,
- 03:24문서나 웹 페이지에 숨겨진 악성 지시도 따를 수 있습니다.
- 03:28이를 프롬프트 인젝션이라고 합니다.
- 03:30일상적인 문제라기보다 보안 문제에 가깝지만, 존재한다는 것을 알아 둘 가치가 있습니다.
- 03:34이러한 격차를 좁히기 위해 특별히 설계된 몇 가지 제품 기능이 있습니다.
- 03:38격차. 시스템 프롬프트와 사용자 지정 지침은 희석되지 않는 상시 지침을 제공합니다.
- 03:43대화가 길어져도. 가시적 추론을 통해 2단계에서 표류를 잡을 수 있습니다.
- 03:48최종 답변에서 발견하는 대신. 그리고 구조화된 출력 모드는,
- 03:53JSON 스키마, 함수 호출은 문자 그대로의 이행이 정신을 벗어나는 여지를 좁힙니다.
- 04:01목표를 단계와 함께 명시하세요. 저는 회의적인 청중을 설득하려고 합니다.
- 04:06모델이 형식 사양만으로 작업할 때보다 더 많은 정보를 제공합니다.
- 04:10긴 체인을 체크포인트로 나누세요.
- 04:12모델이 계속 진행하기 전에 검증할 수 있는 중간 결과를 요청하세요.
- 04:17지시가 문자 그대로 수행되지만 쓸모없을 때,
- 04:19지시를 다시 말하는 대신 목표를 다시 말하세요.
- 04:22'간결하게'라고 더 크게 반복한다고 해서 실제로는 의도 문제였던 간결성 문제가 해결되지는 않습니다.
- 04:28구체적이고 검증 가능한 지시를 작업 가까이에 두세요.
- 04:32짧고 확인 가능한 것이 길고 모호한 것보다 낫습니다.
- 04:354D 프레임워크에서 조종 가능성은 설명이 활용하는 대상이자 설명이 작동하는 제약 조건입니다.
- 04:41좋은 설명은 말과 의도 사이의 간격을 좁히고, 위임도 좌우합니다.
- 04:47긴 추론 과정이나 고유한 숫자 정밀도가 필요한 작업은 더 촘촘한 인간 검증 지점이나 완전히 다른 도구가 필요합니다.
- 04:54모델은 따를 것입니다.
- 04:56해야 할 일은 지시를 따르는 것과 실제로 필요한 일을 하는 것이 같은 방향을 가리키도록 하는 것입니다.
실제로 얼마나 제어하고 있나요?
읽기 전에
AI에게 정확히 100단어로 작성, 그 이상은 안 됨를 요청합니다. 결과를 얼마나 꼼꼼히 확인해야 할까요? 연속선 위에서 지점을 선택한 다음 추측을 확정하세요.
조종 가능성
내가 얼마나 통제할 수 있을까요?
역량한계
신뢰하기표본 확인세부 사항 확인꼼꼼히 검증고위험
지점을 선택한 다음 추측을 확정하세요. 그러면 레슨이 열립니다.
내 추측 확정하기핵심 요약
- **조종 가능성(Steerability)**은 모델이 다음 토큰 예측(Next Token Prediction)을 통해 지시를 따른다는 것을 의미합니다.
- 역량 영역(Capability zone): 짧고 구체적이며 검증 가능한 지시. 형식 사양, 길이 제한, 명시적 역할.
- 한계 영역(Limitation zone): 긴 추론 체인, 추상적이거나 모호한 지시, 고유한 수치적 또는 논리적 정밀도가 필요한 모든 것.
- 특징적인 실패: 추론 표류(작은 오류가 누적됨)와 문구 대 취지(지시는 지켰지만 의도는 지키지 못함).
- 시스템 프롬프트, 코드 실행, 가시적 추론, 구조화된 출력 모드는 여러분의 의도가 희석되지 않도록 존재합니다.
- 지시가 문자 그대로 따라졌지만 쓸모없을 때는 목표를 다시 진술하세요. 지시를 더 강하게 반복해도 간극은 좁혀지지 않습니다.
- 4D 연결: 조종 가능성은 Description을 강력하게 만드는 동시에 그것을 제한하는 요소입니다. 말과 의도 사이의 간극을 이해하면 프롬프트를 작성하는 방식과 체크포인트를 삽입하는 위치가 달라집니다.
연습
목표 재작성
왜 중요할까요? 말하는 것과 의미하는 것 사이의 간극이 바로 대부분의 조종 가능성 실패가 발생하는 곳입니다. 이 연습은 지시가 아니라 의도로부터 프롬프트를 작성하는 법을 가르쳐줍니다.
Lesson 1 목록에서 여러 단계 또는 특정 출력 형식이 포함된 작업을 하나 선택하세요. 목표를 한 문장으로 적어보세요: 출력이 어떤 모습이어야 하는지가 아니라, 실제로 달성하고자 하는 것이 무엇인지를 적으세요. ("이 일정이 현실적이라고 팀을 설득하기"는 목표입니다. "세 개의 글머리 기호"는 형식입니다.)
이제 세 가지 테스트를 실행해 보세요:
- 테스트 1: 엄격한 제어. 작업과 관련된 짧고 구체적이며 검증 가능한 지시를 내려보세요: "세 개의 열로 구성된 표로 응답하기," "정확히 다섯 개의 글머리 기호," "전체를 2인칭으로 작성하기." 정확히 지켜졌는지 확인하세요. 이것이 역량 영역입니다: 지시가 완벽하게 패턴 매칭될 만큼 단순합니다.
- 테스트 2: 추론 표류. 4~5개의 의존적인 단계가 필요한 작업 버전을 요청하세요. 출력을 단계별로 검토하세요. 초반의 작은 오류가 끝까지 이어졌나요? 이번에는 다시 시도하되, AI에게 계속하기 전에 2단계의 결과를 멈추고 보여달라고 요청하세요. 체크포인트를 삽입했을 때와 그냥 실행하게 했을 때의 결과를 비교하세요.
- 테스트 3: 문구 대 취지. 문자 그대로는 충족될 수 있지만 쓸모없는 지시를 내려보세요. 실제 문제가 구조에 있는 초안에 "더 짧게 만들어줘"라고 요청하기. 실제 문제가 요청 사항을 파묻고 있는 이메일에 "더 전문적으로 만들어줘"라고 요청하기. 결과를 확인하세요. 그런 다음 지시와 함께 목표를 명시적으로 진술하여 다시 프롬프트하세요: "더 짧게 만들어줘. 내 목표는 2페이지의 핵심 발견까지 경영진의 주의를 유지하는 것이야." 결과를 비교하세요.
작업 목록으로 돌아가세요. 여러 단계로 이루어진 작업의 경우, 체크포인트를 삽입할 위치를 적어두세요. 형식만으로 프롬프트를 작성해왔던 작업의 경우, 다음에 추가할 목표 진술을 작성해 보세요.
레슨 되돌아보기
- 목표는 말하지 않고 형식만 말한 적이 얼마나 자주 있었나요? 둘 다 포함하면 무엇이 달라지나요?
- 이번 주부터 중간 체크포인트를 추가할 반복적인 작업은 무엇인가요?
다음 단계
이제 네 가지 속성을 모두 개별적으로 살펴보았습니다. 다음 레슨에서는 이들이 어떻게 상호작용하는지 살펴볼 것입니다. 실제 세계의 실패 대부분은 두 속성이 만나는 지점에서 발생하기 때문입니다.