생성형 AI란 무엇인가?
AI의 역량과 한계 · 12분
요약대본
이 영상은 생성형 AI가 무엇인지, 높은 수준에서 어떻게 작동하는지, 그리고 이것이 여러분이 AI를 사용하는 방식에 어떤 의미를 갖는지 소개합니다. AI가 거의 모든 주제에 대해 논의할 수 있는 이유, 때때로 틀렸을 때도 자신 있게 들리는 이유, 그리고 AI의 역량과 한계를 이해하는 것이 어떻게 여러분을 더 나은 협력자로 만드는지 알아보게 됩니다.
한국어 대본
- 00:00안녕하세요, 저는 Anthropic 교육 팀의 Kyra입니다.
- 00:12생성형 AI 탐구에 오신 것을 환영합니다.
- 00:15이 영상에서는 생성형 AI가 실제로 무엇인지, 그리고 이러한 시스템을 가능하게 한 기술적 돌파구를 자세히 살펴보겠습니다.
- 00:22그런 다음 생성형 AI가 잘하는 것과 어떤 점에서 부족한지 살펴보겠습니다.
- 00:26매일 생성형 AI와 상호작용하면서도 무슨 일이 일어나고 있는지 완전히 이해하지 못한 채
- 00:29뒤에서.
- 00:31그 점을 바꿔 봅시다.
- 00:32생성형 AI는 새로운 콘텐츠를 만들 수 있는 인공지능 시스템을 의미하며, 단지
- 00:36기존 데이터를 분석하는 대신입니다.
- 00:39예를 들어, 전통적인 AI는 패턴에 따라 이메일을 스팸인지 아닌지 분류할 수 있지만,
- 00:45생성형 AI는 완전히 새로운 이메일을 작성할 수 있습니다.
- 00:48첫 번째 접근 방식은 분석하고 분류합니다.
- 00:51두 번째 접근 방식은 이전에 없던 새로운 무언가를 만듭니다.
- 00:54이는 AI 기능의 근본적인 변화를 나타냅니다.
- 00:58대규모 언어 모델(LLM)은 Anthropic의 Cloud 모델과 같은 생성형
- 01:03AI의 대표적인 유형입니다.
- 01:04언어 모델이라고 불리는 이유는 인간의 언어를 예측하고 생성하도록 훈련되었기 때문이며,
- 01:08또한 수십억 개의 매개변수를 포함하기 때문에 대규모라고 불리며, 매개변수는
- 01:14모델이 정보를 처리하는 방식을 결정하는 수학적 값으로, 뇌의 시냅스 연결과 다소 유사합니다.
- 01:20오늘날의 생성형 AI에 이르는 길은 갑작스럽지 않았습니다.
- 01:24그 과정에는 적절한 시기에 함께 맞물린 세 가지 중요한 발전이 있었습니다.
- 01:28첫째, 알고리즘 및 아키텍처 돌파구가 있었는데, 이는
- 01:33AI 시스템이 학습하는 방식을 근본적으로 바꾸었습니다.
- 01:35신경망은 개념적으로 수십 년 동안 존재해 왔지만, Transformer
- 01:39아키텍처는 2017년에 판도를 바꾸는 사건이었습니다.
- 01:43이 아키텍처는 텍스트 시퀀스를 처리하면서 긴 구절에 걸친 단어들 사이의 관계를 유지하는 데 탁월하며,
- 01:47이는 언어와 컨텍스트를 이해하는 데 중요합니다.
- 01:53둘째, 디지털 데이터의 폭발적 증가는 학습에 필요한 필수 원료를 제공했습니다.
- 01:58Claude와 같은 현대 LLM은 웹사이트, 코드 저장소,
- 02:03그리고 인간의 지식과 의사소통을 나타내는 기타 텍스트와 같은 다양한 출처에서 학습합니다.
- 02:07이 방대한 정보의 보고는 모델이 폭넓고 미묘한 이해를 발전시키는 데 도움을 줍니다. 그 이해는
- 02:11언어와 개념 모두에 대한 것입니다.
- 02:14그리고 셋째, 계산 능력의 엄청난 증가는 그 모든 데이터로 이러한 복잡한
- 02:19모델을 학습시키는 것을 가능하게 했습니다.
- 02:21GPU(그래픽 처리 장치) 및 TPU(텐서 처리
- 02:27장치)와 같은 특수 하드웨어는 분산 컴퓨팅 네트워크(흔히 클러스터라고 함)와 함께
- 02:32불과 몇 년 전만 해도 불가능했을 처리를 가능하게 합니다.
- 02:36이 세 가지 요인의 결합은 스케일링
- 02:40법칙이라고 알려진 중요한 발견으로 이어졌습니다.
- 02:41이러한 경험적 발견은 모델이 더 커지고 더 많은 데이터와
- 02:46더 많은 계산 능력으로 학습함에 따라 성능이 예측 가능한 방식으로 향상된다는 것을 보여주었습니다.
- 02:51더 놀라운 것은, 연구자들은 모델이 커짐에 따라 완전히 새로운 기능이 나타나기 시작했다는 것을 발견했습니다.
- 02:56누구도 명시적으로 프로그래밍하지 않은 능력, 예를 들어
- 03:00문제를 단계별로 추론하거나 최소한의 지시만으로 새로운 작업에 적응하는 능력과 같은 것입니다.
- 03:08생성형 AI는 두 단계로 학습됩니다.
- 03:11사전 학습이라고도 하는 첫 번째 단계에서 Claude와 같은 LLM은 수십억 개의
- 03:17텍스트 예시에 걸친 패턴을 분석합니다.
- 03:18찾을 수 있는 모든 웹사이트와 텍스트를 읽는다고 상상해 보세요. 단순히 정보를 흡수하기 위해서가 아니라,
- 03:24단어, 구절, 개념 사이의 통계적 관계를 이해하기 위해서입니다.
- 03:29이 단계에서 모델은 본질적으로 언어와
- 03:33지식.
- 03:34이 사전 학습 과정에서는 모델에 텍스트를 보여 주고 무엇이 올지 예측하도록 요청합니다.
- 03:39다음에 올 내용을 맞히는 것입니다.
- 03:40수많은 반복을 통해 모델은 예측을 점차 정교하게 다듬으며, 언어를 일관성 있고 의미 있게 만드는
- 03:45패턴을 학습합니다.
- 03:48사전 학습이 끝나면 모델은 매우 유능한, 문자 그대로의 문서 완성기가 됩니다.
- 03:54사전 학습 후 모델은 미세 조정(fine-tuning)이라는 추가 훈련을 거치며, 여기서 지침을 따르고
- 03:58유용한 응답을 제공하며, 중요하게는 유해한 콘텐츠를 생성하지 않도록 학습합니다.
- 04:03콘텐츠 생성 방지가 여기에 포함됩니다.
- 04:04이 과정에는 모델의 성능을 개선하기 위한 인간의 피드백과 강화 학습이 자주 포함됩니다.
- 04:08강화 학습은 보상과 패널티를 사용하여 모델의 행동을 형성하며,
- 04:12Anthropic 모델의 경우 더 유용하고 정직하며 무해한 방향으로 형성됩니다.
- 04:20모델이 훈련되면 사용자가 상호 작용할 수 있도록 배포됩니다.
- 04:24Claude나 다른 LLM과 상호 작용할 때 사용자는 프롬프트를 제공합니다. 프롬프트는 텍스트이며,
- 04:28모델은 이 텍스트를 읽고 훈련 중 학습한 패턴에 따라 이어서 작성합니다.
- 04:33모델은 데이터베이스에서 미리 작성된 답변을 검색하는 것이 아닙니다.
- 04:37대신 사용자가 작성한 내용에서 통계적으로 이어지는 새로운 텍스트를 생성합니다.
- 04:42LLM이 한 번에 고려할 수 있는 정보의 양에는 실질적인 한계가 있으며, 이를
- 04:47컨텍스트 창이라고 합니다.
- 04:49이를 AI의 작업 기억으로 생각하면 됩니다.
- 04:51컨텍스트 창에는 사용자의 프롬프트, AI의 응답, 그리고 대화에서 공유한
- 04:56기타 정보가 포함됩니다.
- 04:59AI 기업들은 더 긴 문서와 대화를 지원하기 위해 컨텍스트 창을 계속 확장하고 있지만,
- 05:05이러한 한계는 이 시스템들이 정보에 무제한으로 접근할 수 없음을 상기시킵니다.
- 05:10또한 전문 도구 없이는 현재 컨텍스트 창을 벗어난 콘텐츠를 사용할 수 없습니다. 예를 들어
- 05:14웹 검색.
- 05:16이를 종합하면, 현대 생성형 AI를 그토록 강력하게 만드는 세 가지 특성이 있습니다.
- 05:23훈련 중 방대한 양의 정보를 처리하는 능력, 프롬프트의 지침이나 예시를 통해 새로운 작업에 적응하게 해주는 컨텍스트 내 학습 능력,
- 05:28그리고 규모에서 비롯되어
- 05:34때로는 창조자들조차 놀라게 하는 창발적 능력입니다.
- 05:38이제 이러한 시스템이 어떻게 작동하는지 감을 잡았으니, 이것이 의미하는 바를 살펴보고 연습해 보겠습니다.
- 05:43이를 새 동료를 알아가는 과정이라고 생각해 보세요.
- 05:47그 동료의 강점과 한계를 이해하면 더 효과적으로 협업할 수 있습니다.
- 05:54현대 언어 모델이 얼마나 다재다능한지 놀라게 될 수도 있습니다.
- 05:57이들은 불과 몇 년 전만 해도 불가능해 보였던 방식으로 언어에 능숙합니다.
- 06:02자신의 어조를 담은 이메일 작성, 긴 보고서를 명확한 요약으로 압축하기, 언어 간 번역,
- 06:08그리고 심지어 미생물학부터
- 06:14마케팅 전략까지 수많은 분야에 걸친 복잡한 주제를 설명하는 것.
- 06:15특히 주목할 만한 점은 이러한 모델이 서로 다른 작업 사이를 전환할 수 있다는 점,
- 06:20추가 훈련이 필요 없다는 점입니다.
- 06:21시를 쓰거나 생일 파티 아이디어를 브레인스토밍하는 데 도움을 주는 바로 그 시스템이
- 06:26이번에는 양자 컴퓨팅 개념을 이해하거나 분기별
- 06:31비즈니스 동향을 분석하는 데 도움을 줄 수 있습니다. 이 모든 것이 단순한 대화를 통해서 이루어집니다.
- 06:35이러한 모델은 대화의 흐름도 유지할 수 있습니다. 앞서 논의한 내용을 기억하고
- 06:39이를 바탕으로 이어 나갑니다.
- 06:41대화 중에 프로젝트 마감일을 가볍게 언급하고 나중에 다시 그 이야기를 꺼내도,
- 06:45AI는 일반적으로 인간 대화 상대가
- 06:50그렇듯 상대방의 말을 이해합니다.
- 06:51또한 많은 최신 LLM은 이제 외부
- 06:55도구와 정보 소스에 연결하여 자신의 지식 범위를 넘어설 수 있습니다. 이를 통해 웹을 검색하거나 파일을 처리하거나 심지어
- 07:00다른 애플리케이션을 사용하여 기능을 향상시킬 수 있습니다. 이를 통해 도움을 줄 수 있는 범위가 크게 확장됩니다.
- 07:10하지만 다른 기술과 마찬가지로 오늘날의 LLM에도 특정한 한계가 있습니다.
- 07:15그리고 각각의 한계가 시스템 작동 방식과 어떻게 연결되는지 주목하세요. 첫째, AI 모델은 자신의
- 07:21훈련 데이터에 의해 제한됩니다. LLM은 훈련된 시점을 기준으로 지식 컷오프 날짜가 있으며, 그 시점 이후
- 07:26로는 세상에 대한 타고난 지식이 전혀 없습니다. 예를 들어, 컷오프 날짜가 11월인 모델은
- 07:322024년 이후의 데이터로는 훈련되지 않았습니다. 인터넷 접속 없이 은둔처에 들어간 사람을 상상해 보세요.
- 07:38특정 날짜에, 그들은 떠난 후에
- 07:42일어난 사건들을 알지 못할 것입니다. 모델은 최근 발전 사항을 알기 위해 웹 검색과 같은 도구가 필요합니다. 또한,
- 07:48훈련 과정은 훈련 데이터의 모든 사실을 검증하지 않습니다. 이는 모델이 때때로
- 07:54훈련 데이터에 있던 부정확성을 학습하고 재현할 수 있음을 의미합니다.
- 07:58또한 학습한 정보를 조합하려 할 때 실수를 할 수 있습니다.
- 08:02이는 흔히 환각이라고 불리는 현상으로 이어집니다. AI가 그럴듯해 보이지만
- 08:08실제로는 틀린 내용을 자신 있게 말하는 것입니다.
- 08:11단순히 기존 문서를 검색하는 검색 엔진과 달리, LLM은 응답을 생성하며
- 08:16통계적 패턴에 기반하여, 때때로 환각을 만들어 냅니다.
- 08:21완전한 확신을 가지고 이야기를 하지만 세부 사항이 완전히
- 08:25틀린 친구를 상상해 보세요.
- 08:26AI는 때때로 그럴 수 있습니다.
- 08:29또한 앞서 논의한 컨텍스트 창 한계가 있습니다.
- 08:32대화나 문서가 이 한계를 초과하면, AI는 정보를 고려할 수 없습니다.
- 08:36창 밖에 있는 정보는 일반적으로 선입선출 방식으로 처리됩니다.
- 08:41모델에 따라 이는 대용량 문서를 처리하거나
- 08:45전체 대화를 기억하는 능력을 제한할 수 있습니다.
- 08:47또한, 동일한 입력에 대해 동일한 출력을 생성하는 전통적인 소프트웨어와 달리,
- 08:51LLM은 기본적으로 다소 예측 불가능하며, 비결정적이라고도 합니다.
- 08:58같은 질문을 두 번 하면 매번 약간 다른 응답을 받을 수 있습니다.
- 09:02이러한 변동성은 이 모델들이 텍스트를 생성하는 방식의 특성에서 비롯됩니다.
- 09:06그들은 다음에 올 텍스트를 확률적으로 결정합니다.
- 09:10이 결정은 훈련 데이터의 패턴과 개발자가 조정할 수 있는 특정 설정을 기반으로 합니다.
- 09:13이러한 창의적 변동성은 브레인스토밍과 다양한 아이디어 생성에 유용할 수 있지만,
- 09:18일관성이나 정확성이 중요한 경우에는 주의가 필요합니다.
- 09:23일부 LLM 인터페이스는 필요할 때 이 무작위성을 제어할 수 있는 설정을 제공하며, 이를 흔히
- 09:27온도라고 합니다.
- 09:29또한, 이러한 모델들이 빠르게 개선되고 있지만, 역사적으로 한계를 보여 왔습니다.
- 09:33특히 복잡한 추론 작업, 특히 여러 단계가 필요한 수학적 또는 논리적 문제에서
- 09:38두드러졌습니다.
- 09:40좋은 소식은 단계별로 사고하도록 특별히 설계된 최신 추론 또는 확장된 사고 모델들이
- 09:44이러한 영역에서 큰 진전을 보이고 있다는 것입니다.
- 09:48마지막으로, Claude와 같은 모델이 이제 외부 도구에 접근할 수 있지만, 여전히
- 09:53특정 작업에 필요한 특정 데이터 소스나 전문 도구에 접근하지 못할 수 있습니다.
- 09:58회사 내부 데이터베이스에 접근할 수 없는 유능한 동료가 있는 것과 같습니다.
- 10:03아무리 똑똑하더라도 그들이 도움을 줄 수 있는 능력은 제한적입니다.
- 10:06모델이 질문에 답하는 데 필요한 데이터나 도구에 접근할 수 없다면,
- 10:10그것이 도움을 줄 수 없다는 것은 놀라운 일이 아닙니다.
- 10:17생성형 AI 분야는 빠르게 진화하고 있습니다.
- 10:21연구자들은 검색 증강 생성과 같은 기술을 통해 현재의 한계를 해결하기 위해 노력하고 있습니다.
- 10:24검색 증강 생성은 모델을 외부 지식 및 데이터 소스에 연결하며,
- 10:29또한 도구 사용 능력을 확장하고 추론 능력을 개선합니다.
- 10:34그렇긴 하지만, 일부 한계는 가까운 미래에도 남아 있을 가능성이 높습니다. 우리가
- 10:39그 한계가 정확히 무엇일지 알지 못하더라도 말입니다.
- 10:42AI가 할 수 있는 것과 할 수 없는 것을 이해하는 것은 AI Fluency에 필수적이며, 다음을 판단하는 데 도움이 됩니다
- 10:47언제, 어떻게 이러한 시스템을 업무와 일상생활에 가장 잘 통합할지.
- 10:52가장 효과적인 애플리케이션은 인간과
- 10:56AI의 상호 보완적 강점을 활용할 것입니다.
- 10:57우리는 AI가 복제하는 데 어려움을 겪을 수 있는 비판적 사고, 판단력, 창의성, 윤리적 감독을
- 11:02제공합니다.
- 11:03AI는 속도, 규모, 패턴 인식, 그리고 방대한 양의 정보를 처리하는 능력을 제공합니다.
- 11:10이러한 상호 보완적 강점은 기술이 발전함에 따라 진화할 것입니다.
- 11:13그렇기 때문에 지속적인 학습과 실험이 매우 가치가 있습니다.
- 11:17이러한 변화를 따라잡고 새로운 가능성을 발견하는 데 도움이 됩니다.
- 11:21이 코스의 연습문제에서 이러한 개념을 직접 탐구할 기회를 갖게 됩니다
- 11:26AI와의 대화를 통해. 이러한 직접 경험은 직관적인
- 11:31감각, 즉 생성형 AI가 할 수 있는 것, 할 수 없는 것, 그리고 가장 잘 작업하는 방법에 대한 감각을 개발하는 데 도움이 될 것입니다.
핵심 요약
- 생성형 AI는 기존 데이터를 검색하거나 분석하는 것이 아니라 새로운 콘텐츠(텍스트, 이미지, 코드)를 생성합니다.
- AI는 방대한 양의 텍스트로 학습되고 지시를 따르도록 정제되었기 때문에, 거의 모든 주제에 대해 논의할 수 있지만 틀렸을 때도 자신 있게 들릴 수 있습니다.
- 현재 역량에는 작업 전반에 걸친 다재다능함, 대화 인식 능력, 외부 도구와 연결하는 능력이 포함됩니다.
- 현재 한계에는 지식 컷오프 날짜, 환각 발생 가능성, 컨텍스트 윈도우 제약, 복잡한 추론의 어려움이 포함됩니다.
- 가장 효과적인 활용은 인간과 AI의 강점을 결합합니다. 인간은 AI가 할 수 없는 비판적 사고, 판단력, 창의성, 윤리적 감독을 제공합니다.
연습 문제
한계 시험해보기
실제로 검증할 수 있는 주제를 가지고 AI가 잘하는 부분과 부족한 부분을 직접 체감해 보세요.
여러분이 완벽하게 알고 있는 주제—오류를 즉시 알아챌 수 있는 주제—를 하나 선택하고 Claude와 채팅을 시작하세요. 다음 세 가지 간단한 테스트를 진행하면서 간단히 메모해 보세요:
- 다재다능함. AI에게 한 번의 응답으로 여러분의 주제를 세 가지 방식으로 설명해 달라고 요청하세요: 2학년 학생, 7학년 학생, 신임 교사를 대상으로요. 대상에 맞춘 설명이 잘 전달되었나요? 주제 중 설명하기 가장 까다로운 부분에 대해 더 깊이 파고들어 보세요.
- 환각. 여러분의 주제를 가르치기 위한 구체적인 자료(책, 영상, 커리큘럼) 2~3개를 요청하세요. 최소 하나는 직접 확인해 보세요—실제로 존재하나요?
- 지식 컷오프 및 추론. 시기에 민감하거나 지역적인 내용(올해의 시험 기간, 최근 개정된 기준)을 물어보세요. AI가 단서를 붙이나요, 아니면 오래된 정보를 최신 정보처럼 제시하나요? 그다음 여러분의 주제에 대한 흔한 오해를 바로잡아 달라고 요청해 보세요—실제 혼란을 다루나요, 아니면 단순히 사실을 반복할 뿐인가요?
수업 돌아보기
- AI가 어떻게 작동하는지—학습 데이터부터 틀렸을 때도 자신 있게 들리는 경향까지—이해한 지금, 여러분이 맡길 작업 하나와 검증할 작업 하나를 말해 보세요.
다음 단계
다음 수업에서는 Description-Discernment 루프를 탐구하기 시작합니다.