AI 역량과 한계 · 빌더를 위한 AI 유창성

생성형 AI란 무엇인가

What is generative AI · 12 min

이 비디오는 Claude와 같은 대규모 언어 모델이 어떻게 구축되고 학습되는지, 그리고 이것이 비즈니스에서 이를 활용할 때 모델이 안정적으로 할 수 있는 것과 할 수 없는 것에 대해 무엇을 의미하는지 다룹니다.

한국어 대본

00:00안녕하세요, 저는 Kyra이고 Anthropic의 교육 팀에서 일하고 있습니다.
00:12생성형 AI 탐구에 오신 것을 환영합니다.
00:15이 영상에서는 생성형 AI가 실제로 무엇인지, 그리고 이러한 시스템을 가능하게 만든 기술적 혁신에 대해 자세히 알아보겠습니다.
00:22그런 다음 생성형 AI가 잘하는 것과 부족한 점을 살펴보겠습니다.
00:26여러분은 무대 뒤에서 무슨 일이 일어나는지 완전히 이해하지 못한 채 매일 생성형 AI와 상호작용할 수도 있습니다.
00:29그 점을 바꿔 봅시다.
00:30그 점을 바꿔 봅시다.
00:32생성형 AI는 기존 데이터를 분석하는 것에 그치지 않고 새로운 콘텐츠를 만들 수 있는 인공지능 시스템을 말합니다.
00:36예를 들어, 전통적인 AI가 패턴에 따라 이메일을 스팸 또는 스팸 아님으로 분류할 수 있다면,
00:39생성형 AI는 완전히 새로운 이메일을 작성해 줄 수 있습니다.
00:45첫 번째 접근 방식은 분석하고 분류합니다.
00:48두 번째 접근 방식은 이전에 없던 새로운 것을 만듭니다.
00:51이는 AI 기능의 근본적인 변화를 의미합니다.
00:54Anthropic의 Cloud 모델과 같은 대규모 언어 모델(LLM)은 생성형 AI의 대표적인 유형입니다.
00:58언어 모델이라고 불리는 이유는 인간의 언어를 예측하고 생성하도록 훈련되었기 때문이며,
01:03대규모라고 불리는 이유는 수십억 개의 매개변수, 즉 모델이 정보를 처리하는 방식을 결정하는 수학적 값(뇌의 시냅스 연결과 다소 유사)을 포함하기 때문입니다.
01:04오늘날의 생성형 AI에 이르는 길은 갑작스럽지 않았습니다.
01:08세 가지 중요한 발전이 적절한 시기에 함께 이루어졌습니다. 첫째,
01:14AI 시스템이 학습하는 방식을 근본적으로 바꾼 알고리즘 및 아키텍처 혁신이 있습니다. 신경망은 개념적으로 수십 년 동안 존재해 왔지만,
01:222017년 트랜스포머 아키텍처의 개발은 판도를 바꾸는 사건이었습니다. 이 아키텍처는 텍스트 시퀀스를 처리하는 데 탁월합니다.
01:24세 가지 중요한 발전이 적절한 시기에 함께 이루어졌습니다. 첫째,
01:28AI 시스템이 학습하는 방식을 근본적으로 바꾼 알고리즘 및 아키텍처 혁신이 있습니다. 신경망은 개념적으로 수십 년 동안 존재해 왔지만,
01:332017년 트랜스포머 아키텍처의 개발은 판도를 바꾸는 사건이었습니다. 이 아키텍처는 텍스트 시퀀스를 처리하는 데 탁월합니다.
01:372017년 트랜스포머 아키텍처의 개발은 판도를 바꾸는 사건이었습니다. 이 아키텍처는 텍스트 시퀀스를 처리하는 데 탁월합니다.
01:412017년 트랜스포머 아키텍처의 개발은 판도를 바꾸는 사건이었습니다. 이 아키텍처는 텍스트 시퀀스를 처리하는 데 탁월합니다.
01:46긴 문단에 걸쳐 단어 간의 관계를 유지하는 것, 이는
01:50언어와 컨텍스트를 이해하는 데 중요합니다. 둘째, 디지털 데이터의 폭발은
01:55훈련에 필수적인 원자재를 제공했습니다. Claude와 같은 현대 LLM은
02:00웹사이트, 코드 저장소, 그리고 기타 텍스트와 같은 다양한 출처에서
02:04인간의 지식과 의사소통을 나타냅니다. 이 방대한
02:08정보는 모델이 폭넓고 미묘한 이해를 발전시키는 데 도움을 줍니다. 그 대상은 바로
02:11언어와 개념입니다. 셋째, 계산 능력의 대규모 증가는
02:17이러한 복잡한 모델을 그 모든 데이터로 훈련하는 것을 가능하게 했습니다.
02:21GPU(그래픽 처리 장치)와 TPU(텐서 처리 장치) 같은 특수 하드웨어와
02:27클러스터라고도 불리는 분산 컴퓨팅 네트워크는 처리를 가능하게 합니다. 그러한 처리는
02:32불과 몇 년 전만 해도 불가능했을 것입니다.
02:36이 세 가지 요인의 결합은 중요한 발견으로 이어졌습니다. 그 발견은 스케일링
02:40법칙으로 알려져 있습니다.
02:41이러한 경험적 발견은 모델이 더 커지고 더 많은 데이터와
02:46더 많은 계산 능력으로 훈련될수록 성능이 예측 가능한 방식으로 향상된다는 것을 보여줍니다.
02:51더 놀라운 것은, 연구자들은 완전히 새로운 기능이 나타나기 시작했다는 것을 발견했습니다.
02:56모델이 더 커짐에 따라 나타난, 아무도 명시적으로 프로그래밍하지 않은 능력들, 예를 들어
03:00문제를 단계별로 추론하거나 최소한의 지시로 새로운 작업에 적응하는 능력 같은 것들입니다.
03:08생성형 AI는 두 단계로 훈련됩니다.
03:11사전 훈련이라고도 불리는 첫 번째 단계에서 Claude와 같은 LLM은 패턴을 분석했습니다.
03:16그 패턴은 수십억 개의 텍스트 예시에 걸쳐 나타난 것입니다. 찾을 수 있는 모든 웹사이트와 텍스트를 읽는다고 상상해 보세요.
03:22정보를 흡수하기 위해서만이 아니라, 단어,
03:27구, 개념 사이의 통계적 관계를 이해하기 위해서입니다. 이 단계에서 모델은 본질적으로 복잡한 지도와 같은 것을 구축합니다. 그 지도는
03:32언어와 지식에 관한 것입니다. 이 사전 훈련 과정은 모델에게 텍스트를 보여주고
03:38다음에 올 것을 예측하도록 요청하는 것입니다. 많은 반복을 통해 모델은 점차
03:43예측, 언어를 일관되고 의미 있게 만드는 패턴을 학습하는 것입니다.
03:48사전 학습이 끝나면 모델은 매우 유능한,
03:51말 그대로 문서 완성기입니다. 사전 학습 후 모델은 추가 훈련을 거치는데, 이를
03:56파인튜닝, 여기서 모델은 지침을 따르고 유용한 응답을 제공하며,
04:01그리고 중요하게는 유해한 콘텐츠 생성을 피하는 것입니다. 여기에는 종종 인간의 피드백이
04:06모델의 성능을 개선하고, 보상을 사용하는 강화 학습도
04:10그리고 벌점을 사용하여 모델의 행동을 더 유용하고, 정직하며, 해롭지 않도록
04:15Anthropic 모델의 경우입니다.
04:20모델이 훈련되면 사용자가 상호작용할 수 있도록 배포됩니다.
04:24Claude나 다른 LLM과 상호작용할 때, 프롬프트를 제공하는 것입니다. 프롬프트는 텍스트로,
04:28모델이 읽고 훈련 중 학습한 패턴을 바탕으로 이어 나가는 텍스트입니다.
04:33모델은 데이터베이스에서 미리 작성된 답변을 검색하는 것이 아닙니다.
04:37대신, 모델은 사용자가 작성한 내용에서 통계적으로 이어지는 새로운 텍스트를 생성합니다.
04:42또한 LLM이 한 번에 고려할 수 있는 정보의 양에는 실질적인 한계가 있으며, 이를 컨텍스트 창이라고 합니다.
04:48이것을 AI의 작업 기억이라고 생각하면 됩니다.
04:51컨텍스트 창에는 사용자의 프롬프트, AI의 응답, 그리고 대화에서 공유한 다른 모든 정보가 포함됩니다.
04:58AI 기업들이 더 긴 문서와 대화를 허용하기 위해 컨텍스트 창을 계속 확장하고 있지만,
05:04이러한 한계는 이 시스템들이 정보에 무제한으로 접근할 수 없음을 상기시킵니다.
05:09그리고 웹 검색과 같은 특수 도구 없이는 현재 컨텍스트 창을 벗어난 콘텐츠를 사용할 수 없습니다.
05:18이를 종합하면, 세 가지 특성이 현대 생성형 AI를 그토록 강력하게 만듭니다.
05:23훈련 중 방대한 양의 정보를 처리하는 능력,
05:27프롬프트의 지침이나 예시를 통해 새로운 작업에 적응할 수 있게 해주는 컨텍스트 내 학습 능력,
05:32그리고 규모에서 비롯되어 때로는 창작자조차 놀라게 하는 창발적 능력입니다.
05:38이제 이러한 시스템이 어떻게 작동하는지 감을 잡았으니, 이것이 실제로 무엇을 의미하는지 살펴보겠습니다.
05:43이것을 새 동료를 알아가는 과정이라고 생각하면 됩니다.
05:46모델의 강점과 한계를 이해하면 더 효과적으로 협업할 수 있습니다.
05:53현대 언어 모델이 얼마나 다재다능한지 보고 놀랄 수도 있습니다.
05:57이들은 불과 몇 년 전만 해도 불가능해 보였던 방식으로 언어에 능숙합니다.
06:01당신의 어조를 담은 이메일 작성, 긴 보고서를 명확한 요약으로 압축하기,
06:06언어 간 번역, 미생물학부터 마케팅 전략까지 수많은 분야의 복잡한 주제를
06:11설명하는 일까지 가능합니다. 특히 주목할 만한 점은 이러한 모델들이
06:16추가 훈련 없이도 서로 다른 작업 사이를 전환할 수 있다는 것입니다.
06:19시를 쓰거나 생일 파티 아이디어를 브레인스토밍하는 데 도움을 주는 바로 그 시스템이
06:23양자 컴퓨팅 개념을 이해하거나 분기별 비즈니스 동향을 분석하는 데도
06:28도움을 줄 수 있습니다. 이 모든 것이
06:33단순한 대화를 통해 이루어집니다.
06:35이러한 모델들은 대화의 흐름을 유지할 수도 있으며, 이전에 논의한 내용을 기억하고
06:39그 위에 새로운 내용을 덧붙일 수 있습니다.
06:41대화 중에 프로젝트 마감일을 언급하고 나중에 다시 그 내용을 참조하면,
06:45AI는 마치 인간 대화 상대처럼
06:50당신이 무슨 말을 하는지 일반적으로 이해합니다.
06:51또한 많은 최신 LLM은 이제 외부 도구와 정보 소스에 연결하여 자신의 지식 범위를
06:55넘어설 수 있으며, 웹 검색, 파일 처리, 심지어
07:00다른 애플리케이션을 사용하여 기능을 향상시킬 수 있습니다.
07:04이로 인해 AI가 도움을 줄 수 있는 범위가 극적으로 확장됩니다.
07:08하지만 다른 기술과 마찬가지로 오늘날의 LLM에도 특정한 한계가 있으며,
07:15각 한계가 시스템 작동 방식과 어떻게 연결되는지 주목해 보세요.
07:19첫째, AI 모델은 훈련 데이터에 의해 제한됩니다.
07:22LLM에는 훈련 시점을 기준으로 한 지식 차단 날짜가 있으며, 그 이후의 세계에 대해서는
07:27선천적인 지식을 갖고 있지 않습니다.
07:29예를 들어, 지식 기준일이 2024년 11월인 모델은 그 이후의 어떤 데이터로도 학습되지 않았습니다.
07:34그 시점 이후의 데이터는 학습하지 못한 것입니다.
07:36특정 날짜에 인터넷 없이 수련회에 들어간 사람을 상상해 보세요.
07:41그들은 떠난 후에 일어난 사건들에 대해 알지 못할 것입니다.
07:44모델은 최근 발전 사항을 알기 위해 웹 검색과 같은 도구가 필요합니다.
07:47또한, 학습 과정은 학습 데이터의 모든 사실을 검증하지 않습니다.
07:52즉, 모델은 학습 데이터에 포함된 부정확한 내용을 학습하고 재현할 수 있습니다.
07:57그러한 오류를 그대로 재현할 수 있습니다.
07:58또한 학습한 정보를 조합하는 과정에서 실수를 저지를 수도 있습니다.
08:02이로 인해 흔히 '환각'이라고 불리는 현상이 발생합니다. AI가 그럴듯해 보이지만
08:08실제로는 틀린 내용을 자신 있게 말하는 것입니다.
08:11기존 문서를 단순히 검색하는 검색 엔진과 달리, LLM은 통계적 패턴을 기반으로 응답을 생성하며
08:16때로는 환각을 일으키기도 합니다.
08:21세부 내용이 완전히 틀렸음에도 절대적인 확신을 가지고 이야기하는 친구를 상상해 보세요.
08:25그런 친구처럼 말입니다.
08:26AI도 때때로 그럴 수 있습니다.
08:29앞서 논의한 컨텍스트 창 한계도 있습니다.
08:32대화나 문서가 그 한도를 초과하면, AI는 창 밖에 있는 정보를 고려할 수 없게 됩니다.
08:36보통 선입선출 방식으로 창 밖으로 밀려난 정보는 고려하지 못합니다.
08:41모델에 따라 이는 대용량 문서를 처리하거나 전체 대화를 기억하는 능력을 제한할 수 있습니다.
08:45전체 대화를 기억하는 능력도 제한될 수 있습니다.
08:47또한, 동일한 입력에 대해 동일한 출력을 생성하는 기존 소프트웨어와 달리,
08:51LLM은 기본적으로 다소 예측 불가능하며, 비결정적이라고도 합니다.
08:58같은 질문을 두 번 하면 매번 약간 다른 응답을 받을 수 있습니다.
09:02이러한 변동성은 이러한 모델이 텍스트를 생성하는 방식의 특성에서 비롯됩니다.
09:06패턴을 기반으로 다음에 올 텍스트가 무엇인지에 대해 확률적으로 결정을 내립니다.
09:10이는 훈련 데이터와 개발자가 조정할 수 있는 특정 설정에 기반합니다.
09:13이러한 창의적 변동성은 브레인스토밍과 다양한 아이디어 생성에 유용할 수 있지만,
09:18일관성이나 정확성이 중요한 경우에는 주의가 필요합니다.
09:23일부 LLM 인터페이스는 필요할 때 이러한 무작위성을 제어할 수 있는 설정을 제공하며, 이를 흔히
09:27온도라고 합니다.
09:29또한, 이러한 모델들이 빠르게 개선되고 있지만, 역사적으로 복잡한 추론 작업, 특히 여러 단계가 필요한
09:33수학적 또는 논리적 문제에서 한계를 보여 왔습니다.
09:38좋은 소식은 단계별로 사고하도록 특별히 설계된 최신 추론 또는 확장된 사고 모델이
09:40이러한 영역에서 강력한 진전을 보이고 있다는 것입니다.
09:44마지막으로, Claude와 같은 모델이 이제 외부 도구에 접근할 수 있지만, 여전히
09:48한계가 있을 수 있습니다.
09:53특정 작업에 필요한 특정 데이터 소스나 전문 도구에 접근하지 못할 수 있습니다.
09:58회사의 내부 데이터베이스에 접근할 수 없는 유능한 동료가 있는 것과 같습니다.
10:03아무리 똑똑해도 도움을 줄 수 있는 범위는 제한적입니다.
10:07모델이 질문에 답하는 데 필요한 데이터나 도구에 접근할 수 없다면,
10:10도움을 줄 수 없어도 놀라운 일이 아닙니다.
10:17생성형 AI 분야는 빠르게 진화하고 있습니다.
10:21연구자들은 검색 증강 생성과 같은 기법을 통해 현재의 한계를 해결하기 위해 노력하고 있습니다.
10:24검색 증강 생성은 모델을 외부 지식 및 데이터 소스에 연결하며,
10:29도구 사용 능력을 확장하고 추론 능력을 향상시키는 데에도 기여합니다.
10:34그렇다고 해도, 정확히 어떤 한계가 남을지 알 수 없더라도
10:39당분간은 일부 한계가 남아 있을 가능성이 높습니다.
10:42AI가 할 수 있는 것과 할 수 없는 것을 이해하는 것은 AI Fluency에 필수적이며, 업무와 일상생활에서
10:47이러한 시스템을 언제, 어떻게 가장 잘 활용할지 결정하는 데 도움이 됩니다.
10:52가장 효과적인 애플리케이션은 인간과 AI의 상호 보완적인 강점을 활용할 것입니다.
10:56AI는 우리가 재현하기 어려울 수 있는 비판적 사고, 판단력, 창의성, 윤리적 감독을 제공합니다.
10:57우리는 AI가 재현하기 어려울 수 있는 비판적 사고, 판단력, 창의성, 윤리적 감독을 제공합니다.
11:02AI는 속도, 규모, 패턴 인식, 방대한 정보 처리 능력을 제공합니다.
11:03이러한 상호 보완적인 강점은 기술이 발전함에 따라 진화할 것입니다.
11:10그래서 지속적인 학습과 실험이 매우 가치 있는 것입니다.
11:13이러한 변화를 따라잡고 새로운 가능성을 발견하는 데 도움이 됩니다.
11:17이 코스의 연습문제를 통해 AI와의 대화를 통해 이러한 개념을 직접 탐구할 기회를 갖게 됩니다.
11:21이러한 직접적인 경험은 생성형 AI가 할 수 있는 것과 할 수 없는 것, 그리고 AI와 가장 잘 협업하는 방법에 대한 직관을 개발하는 데 도움이 될 것입니다.
11:26이러한 직접적인 경험은 생성형 AI가 할 수 있는 것과 할 수 없는 것, 그리고 AI와 가장 잘 협업하는 방법에 대한 직관을 개발하는 데 도움이 될 것입니다.
11:31이러한 직접적인 경험은 생성형 AI가 할 수 있는 것과 할 수 없는 것, 그리고 AI와 가장 잘 협업하는 방법에 대한 직관을 개발하는 데 도움이 될 것입니다.

Watch on YouTube

핵심 요약

생성형 AI는 기존 데이터를 분석하는 것이 아니라 새로운 콘텐츠를 생성합니다.
세 가지 발전이 현대 LLM을 가능하게 했습니다: 트랜스포머 아키텍처, 방대한 학습 데이터, 그리고 막대한 컴퓨팅 자원입니다.
학습에는 두 단계가 있습니다. 사전 학습(pre-training)은 수십억 개의 예시로부터 패턴을 학습합니다. Fine-tuning은 모델이 도움이 되는 방식으로 지시를 따르도록 가르칩니다.
현재의 강점에는 작업 전반에 걸친 다재다능함, 대화의 유창함, 그리고 도구 사용이 포함됩니다.
현재의 한계에는 지식 컷오프, 환각, 그리고 신뢰할 수 없는 복잡한 추론이 포함됩니다.
최고의 활용법은 여러분의 판단력, 창의성, 감독을 AI의 속도와 규모와 결합하는 것입니다.

연습

한계 테스트하기

이 연습은 여러분이 이미 완벽하게 알고 있는 코딩 문제를 사용하여 생성형 AI가 잘하는 것과 부족한 부분에 대한 직접적인 증거를 제공합니다 — 그래서 AI에게 무엇을 맡길지 결정할 때, 여러분 자신의 관찰에서 나온 구체적인 직감 점검을 갖게 됩니다.

1부: 자기 성찰 (혼자서)

오류를 즉시 알아챌 수 있는, 잘 아는 코딩 영역을 하나 선택하세요. 다음을 적어보세요:

주제 (예: 여러분의 속도 제한 로직, 비동기 상태를 처리하는 방식, 지난 분기에 최적화한 DB 쿼리)
능숙한 엔지니어라면 반드시 제대로 알아야 할 두세 가지 사항
흔한 오해나 까다로운 구현 세부 사항 한 가지
최근에 바뀐 것 한 가지 — 라이브러리 업데이트, 지원 중단(deprecation), 또는 새로운 모범 사례

2부: 협업 (AI와 함께)

Claude(또는 선호하는 다른 AI 어시스턴트)와 대화를 시작하고 세 가지 짧은 채팅을 진행하세요. 각 채팅 후 알게 된 점을 적어보세요.

다재다능함 테스트. AI에게 한 번의 응답 안에서 여러분의 주제를 세 가지 다른 방식으로 설명하도록 요청하세요: 비기술직 PM을 위한 설명, 팀에 합류하는 중급 엔지니어를 위한 설명, 코드 리뷰를 하는 시니어 엔지니어를 위한 설명입니다. 깊이의 변화가 실제로 제대로 전달되었나요, 아니면 단순히 어휘만 바뀌었나요? 어느 버전이 가장 강력했나요?
환각 테스트. AI에게 여러분의 코딩 문제에 대해 특정 라이브러리, 패키지, 또는 문서를 추천하도록 요청하세요. 최소 하나는 직접 확인해보세요: 실제로 존재하나요? API가 정확한가요? 버전이 최신인가요?
지식 컷오프 및 추론 점검. 여러분의 영역에서 시간에 민감한 질문을 해보세요: 최근 프레임워크 업데이트, 지원 중단된 패턴, 또는 보안 패치 등입니다. AI가 자신의 정보가 오래되었을 수 있다고 표시하나요 — 아니면 오래된 정보를 최신 정보처럼 제시하나요? 그다음 1부에서 적어둔 까다로운 구현 세부 사항을 AI가 풀어보도록 요청하세요. 실제로 혼란을 해결했나요, 아니면 단순히 정답을 다시 말했을 뿐인가요?

3부: 성찰

비디오에서 다룬 역량 중 어느 것이 가장 명확하게 드러났나요? 어떤 한계가 드러났나요 — 그리고 이것이 여러분이 잘 아는 영역이 아니었다면 그것을 알아챘을까요? 이를 바탕으로, AI에게 맡겨도 괜찮다고 느끼는 작업 하나와 더 주의 깊게 지켜봐야 할 작업 하나는 무엇인가요?

도전 목표: 동일한 주제를 두 번째 AI 도구에 돌려보세요. 오류와 강점이 동일했나요?

레슨 성찰

이러한 시스템이 어떻게 학습되는지 아는 것이 여러분이 이들과 함께 작업하는 방식을 어떻게 바꾸나요?
생성형 AI가 작동하는 방식과 그것이 부족한 부분을 고려할 때 어떤 윤리적 고려사항이 떠오르나요?

다음 단계

이제 AI의 한계를 직접 테스트해보았으니, 다음 레슨에서는 첫 번째 D인 위임(Delegation)에 대해 깊이 다룹니다. 실제 문제를 구성하고, 이를 빌더의 툴킷 전반에 매핑하며, 코드를 한 줄도 작성하기 전에 AI가 어디에서 역할을 할지에 대해 신중한 선택을 하게 됩니다.