생성형 AI 기초
생성형 AI 기초
이 영상에서는 생성형 AI의 개념을 소개합니다. 기존 데이터를 분석하는 데 그치지 않고 새로운 콘텐츠를 창작하는 능력에 초점을 맞춥니다. Claude와 같은 대규모 언어 모델(LLM)이 실제로 어떻게 작동하는지, 그리고 트랜스포머 아키텍처와 같은 알고리즘의 혁신부터 방대한 학습 데이터셋과 강력한 컴퓨팅 파워에 이르기까지, 이를 가능하게 한 기술적 여정을 살펴봅니다. 또한 이러한 시스템이 사전 학습과 파인튜닝을 통해 어떻게 학습하는지 설명하고, 컨텍스트 윈도우와 창발적 능력 같은 개념도 다룹니다.
한국어 대본
- 00:00안녕하세요, 저는 Drew Bent입니다. 저는 교사이자 프로그래머이며 Anthropic의 기술 스태프로 일하고 있습니다.
- 00:17생성형 AI 탐구에 오신 것을 환영합니다. 이 영상에서는 생성형 AI가 실제로 무엇인지, 내부적으로 어떻게 작동하는지, 그리고 이러한 시스템을 가능하게 한 기술적 돌파구에 대해 자세히 살펴보겠습니다.
- 00:29생성형 AI와 매일 상호작용하면서도 그 배후에서 무슨 일이 일어나는지 완전히 이해하지 못할 수 있습니다.
- 00:36그 점을 바꿔 보겠습니다.
- 00:38생성형 AI는 기존 데이터를 분석하는 데 그치지 않고 새로운 콘텐츠를 만들 수 있는 인공지능 시스템을 말합니다.
- 00:46예를 들어, 전통적인 AI는 패턴에 따라 이메일을 스팸인지 아닌지 분류할 수 있지만,
- 00:52생성형 AI는 완전히 새로운 이메일을 작성할 수 있습니다.
- 00:55첫 번째 접근 방식은 분석하고 분류합니다.
- 00:58두 번째 접근 방식은 이전에 존재하지 않았던 새로운 무언가를 만듭니다.
- 01:02이는 AI 기능의 근본적인 변화를 의미합니다.
- 01:06대규모 언어 모델, 즉 LLM(예: Anthropic의 Claude 모델)은
- 01:10생성형 AI의 대표적인 유형입니다.
- 01:13언어 모델이라고 불리는 이유는 인간의 언어를 예측하고 생성하도록 훈련되기 때문입니다.
- 01:19그리고 대규모라고 불리는 이유는 수십억 개의 파라미터를 포함하기 때문입니다.
- 01:22파라미터는 모델이 정보를 처리하는 방식을 결정하는 수학적 값으로,
- 01:26이 정보는 뇌의 시냅스 연결과 다소 비슷합니다. 오늘날의 생성형 AI에 이르는 길은
- 01:32갑작스럽지 않았습니다. 여기에는 세 가지 중요한 발전이 적절한 시기에 함께 맞물려 있었습니다.
- 01:38첫째, 알고리즘 및 아키텍처 돌파구가 있었는데, 이는 AI가
- 01:44시스템이 학습하는 방식을 근본적으로 바꾸었습니다. 신경망은 개념적으로 수십 년 동안 존재해 왔지만, 그 발전은
- 01:502017년 Transformer 아키텍처의 개발이 판도를 바꾸는 사건이었습니다. 이 아키텍처는
- 01:56텍스트 시퀀스를 처리하는 데 뛰어나며, 긴 구절에 걸쳐 단어 간의 관계를 유지합니다. 이는
- 02:02컨텍스트 안에서 언어를 이해하는 데 중요합니다. 둘째, 디지털 데이터의 폭발적 증가는
- 02:08훈련에 필수적인 원료를 제공했습니다. Claude와 같은 현대 LLM은 다양한 출처에서 학습합니다.
- 02:13예를 들어 웹사이트, 코드 저장소, 그리고 인간의 지식과
- 02:18의사소통을 나타내는 기타 텍스트와 같은 출처입니다. 이 방대한 정보의 총체는 모델이 광범위하고 미묘한 이해를 발전시키는 데 도움을 줍니다.
- 02:25언어와 개념 모두에 대한 것이었습니다. 그리고 셋째, 계산 능력의 대규모 증가가 그것을 가능하게 했습니다.
- 02:32그 모든 데이터로 이러한 복잡한 모델을 훈련하는 것이었습니다. GPU나 그래픽 처리 장치와 같은 특수 하드웨어
- 02:39및 TPU나 텐서 처리 장치, 그리고 분산 컴퓨팅 네트워크와 함께, 흔히
- 02:45클러스터라고 불리는 것들은 불과 몇 년 전만 해도 불가능했던 처리를 가능하게 했습니다.
- 02:51이 세 가지 요인의 결합은 스케일링으로 알려진 중요한 발견으로 이어졌습니다.
- 02:56법칙.
- 02:57이러한 경험적 발견은 모델이 더 커지고 더 많은 데이터로 훈련되고
- 03:02더 많은 계산 능력을 갖춤에 따라, 그들의 성능은 예측 가능한 방식으로 향상되었습니다.
- 03:06더 놀라운 것은, 연구자들은 완전히 새로운 기능이 나타나기 시작했다는 것을 발견했습니다.
- 03:12이러한 모델이 더 커짐에 따라, 누구도 명시적으로 프로그래밍하지 않은 능력, 예를 들어 추론
- 03:17문제를 단계별로 추론하거나 최소한의 지시만으로 새로운 작업에 적응하는 것
- 03:22이 시스템들이 실제로 어떻게 작동하는지 내부를 살펴보겠습니다.
- 03:26초기 훈련(사전 훈련이라고도 함) 동안 Claude와 같은 LLM은 패턴을 분석했습니다.
- 03:31수십억 개의 텍스트 예시에 걸쳐.
- 03:33찾을 수 있는 모든 웹사이트와 텍스트를 읽는다고 상상해 보세요. 단지 정보를 흡수하기 위해서가 아니라,
- 03:38그보다는 단어, 구, 개념 사이의 통계적 관계를 이해하기 위해서입니다.
- 03:43이 단계에서 모델은 본질적으로 언어와
- 03:47지식의 복잡한 지도와 같은 것을 구축합니다.
- 03:48이 사전 훈련 과정은 모델에 텍스트를 보여주고 무엇이
- 03:53다음에 올지 예측하도록 요청하는 것을 포함합니다.
- 03:54많은 반복을 통해 모델은 점차 예측을 개선하며
- 03:59언어를 일관되고 의미 있게 만드는 패턴을 학습합니다.
- 04:02사전 훈련 후, 모델은 파인튜닝이라고 하는 추가 훈련을 거치며, 여기서 그들은
- 04:07지침을 따르고, 유용한 응답을 제공하며, 중요하게는 유해한 콘텐츠 생성을 피하는 것을 학습합니다.
- 04:14여기에는 종종 모델의 성능을 개선하기 위한 인간의 피드백과 강화
- 04:19학습은 보상과 벌칙을 사용하여 모델의 행동을 더욱
- 04:25유용하고, 정직하고, 해롭지 않게 만드는 것입니다. Anthropic 모델의 경우입니다. 모델이 훈련되면,
- 04:30그런 다음 사용자가 상호 작용할 수 있도록 배포됩니다. Claude 또는 다른 LLM과 상호 작용할 때,
- 04:35프롬프트를 제공하는 것입니다. 프롬프트는 모델이 읽고,
- 04:40훈련 중에 학습한 패턴에 기반하여 이어서 생성하는 텍스트입니다. 모델은 미리 작성된 답변을
- 04:44데이터베이스에서 검색하지 않습니다. 대신, 모델은 사용자가 작성한 내용에서 통계적으로 이어지는 새로운 텍스트를 생성합니다.
- 04:50또한 LLM이 한 번에 고려할 수 있는 정보의 양에는 실질적인 한계가 있습니다.
- 04:55이를 컨텍스트 창이라고 합니다. 이것을 AI의 작업 기억이라고 생각하세요. 컨텍스트 창은
- 05:01사용자의 프롬프트, AI 응답, 그리고 대화에서 공유한 다른 모든 정보를 포함합니다.
- 05:07AI 기업들이 더 긴 컨텍스트 문서와
- 05:13대화를 허용하기 위해 컨텍스트 창을 계속 확장하고 있지만, 이러한 한계는 이 시스템들이 정보에 무제한으로 접근할 수 없음을 상기시킵니다.
- 05:18그리고 웹 검색과 같은 특화된 도구 없이는 현재 컨텍스트 창을 벗어난 콘텐츠를 사용할 수 없습니다.
- 05:25이를 종합하면, 현대 생성형 AI를 그토록 강력하게 만드는 세 가지 특성이 있습니다. 첫째는 훈련 중에 방대한 양의 정보를 처리하여 언어와 지식의 복잡하고 미묘한 패턴을 학습할 수 있는 능력입니다.
- 05:41둘째, 컨텍스트 내 학습 능력입니다.
- 05:44LLM은 추가 훈련 없이도 프롬프트의 지침이나 예시를 바탕으로 새로운 작업에 적응할 수 있습니다.
- 05:51셋째, 규모에서 비롯되는 새로운 기능입니다.
- 05:54이러한 모델이 더 커짐에 따라, 명시적으로 설계되지 않은 능력을 개발하며, 때로는 창조자조차 놀라게 합니다.
- 06:02다음 영상에서는 이러한 시스템이 잘 할 수 있는 것과 잘하지 못하는 것, 그리고 가장 일반적이거나 가치 있는 활용 사례를 살펴보겠습니다.