AI는 어떻게 성격을 갖게 되는가
AI는 어떻게 성격을 갖게 되는가 · 5 min
요약대본
AI의 공손함, 도움이 되는 태도, 신중함은 저절로 생겨나는 마법이 아닙니다. 이는 층층이 학습되어 만들어지며, 각 학습 단계는 시스템이 여러분과 상호작용하는 방식에 구체적이고 예측 가능한 흔적을 남깁니다.
한국어 대본
- 00:00안녕하세요. 제 이름은 매기이고 Anthropic에서 교육 팀을 이끌고 있습니다. 오늘 이 자리에 나온 이유는
- 00:12AI 어시스턴트가 어떻게 성격을 갖게 되는지 이야기하기 위해서입니다. 원시 예측을 유용한 무언가로 바꾸는 두 가지 훈련 단계,
- 00:17그 단계들이 남기는 지문,
- 00:22그리고 그 지문들을 알면 더 나은 결과를 얻는 데 어떻게 도움이 되는지 살펴보겠습니다. AI는 왜 애초에 도움이 되려고
- 00:28합니까? 왜 예의 바릅니까? 왜 특정한 것들을 거절합니까?
- 00:32AI가 다음 단어를 예측한다는 사실을 아는 것만으로는 그 어떤 질문에도 제대로 답할 수 없습니다.
- 00:37도움을 주는 성향은 의도적으로 층층이 쌓여 만들어집니다. 각 층위는
- 00:42매일 AI와 경험하는 일에 영향을 미칩니다.
- 00:47현대 AI 어시스턴트는 두 단계로 구축됩니다. 1단계는 사전 학습입니다. 모델은
- 00:53엄청난 양의 데이터를 보고 한 가지만 배웁니다. 지금까지의 모든 것이 주어졌을 때,
- 00:57다음에 무엇이 올지 맞혀 보시겠습니까? 바로 그것입니다. 수십억 번 반복됩니다. 2단계는 미세 조정입니다.
- 01:041단계의 문서 완성기는 이번에는 선별된 예시, 즉
- 01:09도움이 되는 행동과 인간의 선호로 형성된 보상 신호로 다시 훈련됩니다. 이 층위가
- 01:14AI 모델을 어시스턴트로 바꿉니다. 1단계만 거친
- 01:22모델과 대화할 수 있다고 상상해 보세요. 미세 조정이 전혀 없습니다. 프랑스의 수도가 어디인지 입력합니다. 사전 학습만 된
- 01:29모델은 질문에 답하지 않습니다. 문서를 이어서 씁니다. 어쩌면 파리를 출력할 수도 있습니다. 독일의 수도는
- 01:35어디입니까? 베를린입니까? 스페인의 수도는 어디입니까? 이런 식으로 말입니다. 그런 패턴을
- 01:39퀴즈에서 봤기 때문입니다. 어쩌면 지리 교과서의 한 단락을 쓸 수도 있습니다. 어쩌면 질문을 더 생성할 수도 있습니다.
- 01:46모델에게는 사용자라는 개념이 없습니다. 돕는다는 개념도 없습니다. 순전히 통계적으로 그럴듯해 보이는
- 01:51방향으로 문서를 이어갈 뿐입니다. AI 도구에서 실제로 경험하는 어시스턴트 행동은
- 01:56오늘날 그 위에 훈련으로 덧입혀진 것입니다.
- 02:03미세 조정은 생성형 AI 시스템을 사용 가능하고 유용하게 만드는 핵심입니다. 하지만 인간의
- 02:08무엇이 좋은 것인지에 대한 판단에 의존하기 때문에, 그 판단의 결이 이 모델들의
- 02:13성격에 나타납니다. 흔히 이러한 성격 특성이 생성형 AI를 그토록 효과적으로 만들지만,
- 02:19AI의 도움을 주는 성향에는 그림자 같은 측면이 있을 수 있습니다. 네 가지 그림자 영역은 다음과 같습니다. 첫째는 아첨입니다.
- 02:26사람들이 수긍하기 쉬운 응답을 선호할 때, 모델은 쉽게 인정하고 물러서는 법을 배웁니다.
- 02:31가벼운 반박에도, 처음에 맞았을 때조차도. 둘째, 장황함입니다. 철저함이 더 좋은 점수를
- 02:37훈련 중에 받으면, 모델은 더 긴 답변을 기본으로 합니다. 간결함이 더 나을 때조차도
- 02:41특정 상황에서는. 셋째, 과잉 주의입니다. 안전 훈련이 보수적으로 치우치면,
- 02:48모델은 크게 얼버무리거나 실제로 안전한 요청을 거부할 수 있습니다.
- 02:52넷째, 느슨한 신뢰도 보정입니다. 모델이 표시하는 신뢰도는 실제
- 02:58정확성과 느슨하게만 연결되어 있습니다. 신뢰도는 훈련하기 정말 어렵기 때문에, 특히
- 03:03여기서 주의를 기울이는 것이 중요합니다. 이것들은 특정 모델의 버그가 아니라 모든 AI
- 03:08모델에서 나타나는 현상입니다. 그러나 모델에 수행된 파인튜닝의 품질과 유형은 이러한 것들이
- 03:13나타나는 방식을 직접적으로 결정하며, 모델마다 다를 가능성이 높습니다.
- 03:18Anthropic에서는 Claude가 전반적으로 안전하고 윤리적이며 도움이 되도록 훈련합니다.
- 03:22Claude의 전체 헌법을 읽어보면 우리가 Claude를 어떻게 훈련하는지, 그리고 어떻게 의도적으로
- 03:27Claude의 성격을 형성하는지 알 수 있습니다.
- 03:32왜 이것이 중요합니까?
- 03:35AI가 어떻게 만들어지고 왜 그렇게 행동하는지 이해하면, 통제력을 갖게 됩니다.
- 03:39AI와 관련해서는.
- 03:40AI 어시스턴트가 반박하는 순간 무너진다면, 그것은 아첨이며, 이를
- 03:44응답을 평가할 때 고려해야 합니다.
- 03:47원하는 것이 간단한 요점인데 긴 글을 받는다면, 이는 장황함 기본값이 작동하는 것입니다.
- 03:52무해한 질문에 과도한 경고가 붙어 있다면, 그것은 과잉 주의입니다.
- 03:55이에 대한 대처 방법은 다음 레슨에서 다루겠습니다.
- 03:59대화한 어시스턴트는 처음부터 도움이 되도록 태어나지 않았습니다.
- 04:01그 행동은 층층이 쌓여 만들어진 것이며, 때로는 그 이음새가 드러납니다.
- 04:06이러한 이음새를 발견하는 법을 배우는 것은 AI를 잘 활용하는 방법의 일부입니다.
사전 학습, 미세 조정, 그리고 그것들이 남기는 흔적
AI가 성격을 갖게 되는 과정
두 가지 학습 단계가 단순한 예측을 여러분이 상호작용하는 도움이 되는 어시스턴트로 바꿉니다 — 그리고 각 단계는 그 행동에 흔적을 남깁니다.
1단계
사전 학습(Pretraining)
모델은 방대한 양의 텍스트를 읽고 한 가지를 배웁니다: 다음에 올 내용을 예측하는 것입니다. 이를 통해 강력한 문서 완성기가 되지만 — 여러분을 돕는다는 개념은 전혀 없습니다.
2단계
미세 조정(Fine-tuning)
인간의 선호도가 문서 완성기를 어시스턴트로 형성합니다 — 여러분의 입력을 요청으로 취급하고, 도움이 되도록 답변하며, 해로운 요청은 거절하는 어시스턴트입니다.
이 단락을 개선하는 데 도움을 주세요.
물론입니다! 주장을 강화하고 문장을 다듬기 위한 세 가지 구체적인 제안을 드리겠습니다…
핵심 요약
- **사전 학습(Pretraining)**은 방대한 양의 데이터에서 "다음에 무엇이 올지"를 예측함으로써 문서 완성기를 만들어냅니다. 이 단계 이후에는 여러분을 돕는다는 개념이 전혀 없습니다.
- **미세 조정(Fine-tuning)**은 그 위에 어시스턴트 행동을 층층이 쌓습니다: 여러분의 입력을 요청으로 취급하고, 장황하게 늘어놓기보다 답변하며, 유해한 요청을 거절합니다.
- 미세 조정은 좋은 응답에 대한 인간의 판단을 사용하며, 그 판단은 흔적을 남깁니다: 아첨으로 기울어지는 경향, 장황함으로 기본 설정되는 경향, 간헐적인 과도한 신중함, 그리고 표명된 확신도와 실제 신뢰도 사이의 느슨한 보정입니다.
실습
자신의 작업에서 흔적 찾기
왜일까요? 아첨, 장황함, 과도한 신중함, 느슨한 확신도 보정은 모든 AI 모델에서 나타납니다. 문제는 여러분이 실제로 신경 쓰는 작업에 영향을 미칠 때 이를 알아볼 수 있는가입니다.
Lesson 1 목록에서 작업 하나를 선택하세요. 이전에 실제로 AI를 통해 수행해 본 적이 있고, 좋은 결과물이 어떤 모습인지 명확한 감이 있는 작업이어야 합니다. 이제 약간의 변형을 주어 세 번 실행하면서 무엇이 바뀌는지 관찰할 것입니다.
- 실행 1: 그대로. 평소처럼 작업을 프롬프트하세요. 결과물을 저장하세요.
- 실행 2: 아첨 테스트. 같은 작업을 실행하되, 이번에는 잘못된 가정으로 서두를 시작하세요. 예를 들어 전략에 대한 피드백을 요청하는 경우, "이 전략은 완벽하다고 생각합니다"로 시작하세요. AI가 여러분의 프레이밍을 그대로 인정하는지, 아니면 반박하는지 확인하세요. 그런 다음 명시적인 초대와 함께 다시 시도하세요: "제가 틀렸다고 생각하면 진심으로 반대해 주셨으면 합니다." 두 응답을 비교하세요.
- 실행 3: 장황함 테스트. 한 문장으로 답할 수 있는, 작업과 관련된 질문을 AI에게 하세요. 얼마나 많은 답변을 받는지 확인하세요. 그런 다음 "한 문장으로 답하세요"라고 다시 요청하세요. 길이를 비교하세요. 두 답변 사이의 차이가 바로 작동 중인 장황함의 기본 설정입니다.
- 선택 사항: 신중함 테스트. 여러분의 분야에 회색 지대가 있다면(대부분 그렇습니다), 괜찮을 것으로 예상되는 경계선에 있는 질문을 해보세요: 약물 상호작용, 법적 미묘함, 약간 비전통적인 창작 요청 등입니다. 그 신중함이 실제 위험에 비례하는지, 아니면 반사적인지 확인하세요.
이제 한 걸음 물러나 보세요. 어떤 흔적이 여러분의 작업에서 가장 명확하게 나타났나요? 미리 그것을 명명한 것이 그 행동을 읽는 방식을 바꾸었나요?
레슨 돌아보기
- 여러분 자신의 작업에서 아첨이 가장 큰 비용을 초래할 가능성이 높은 곳은 어디인가요? (힌트: 솔직한 피드백을 바라는 모든 곳입니다.)
- 장황함이 가장 큰 비용을 초래할 가능성이 높은 곳은 어디인가요? (힌트: 시간 압박 속에서 간결함이 필요한 모든 곳입니다.)
다음 단계
이제 네 가지 속성 자체를 다루기 시작하며, 다른 어떤 것보다 AI 행동에 대해 더 많은 것을 설명해 주는 속성부터 시작합니다: Next Token Prediction. AI의 답변은 실제로 어디에서 오는 것일까요?