AI를 활용한 데이터 분석
AI를 활용한 데이터 분석 · 7분
요약대본
이 영상은 비영리 단체 전문가들이 데이터 분석에 AI를 사용할 때 직면하는 중요한 질문을 다룹니다: 결과를 신뢰할 수 있다는 것을 어떻게 알 수 있을까요? Valley Veterans Services의 프로그램 디렉터인 Rio가 Delegation-Diligence 루프를 사용하여, 이미 답을 알고 있는 과거 데이터를 활용해 AI의 분석 능력을 체계적으로 검증하는 과정을 따라가 봅니다. 이 영상은 테스트를 통해 신뢰를 구축하고, 역량의 격차를 식별하며, 새로운 데이터에도 자신 있게 적용할 수 있는 접근 방식을 개발하는 방법을 보여줍니다.
한국어 대본
- 00:00지난 레슨에서는 데이터 개인정보 보호와 보안, 반드시 보호해야 하는 대상과
- 00:16그 방법을 다뤘습니다. 이제 AI를 데이터 분석에 사용하지 못하게 했을 법한
- 00:21질문을 이야기해 보겠습니다. 결과를 어떻게 신뢰할 수 있습니까? 오늘 레슨에서는
- 00:27위임-성실 루프, 특히 AI의 분석 기능에 대한 신뢰를 쌓는 방법을
- 00:33이미 이해하고 있는 데이터로 AI를 체계적으로 테스트하여 특정 업무에 대한 신뢰를 쌓습니다. 이렇게 하면
- 00:39각자의 상황에서 AI가 어떻게 지원할지 더 잘 이해할 수 있습니다.
- 00:44과정은 위임에서 시작합니다. 방법은 다음과 같습니다. 먼저 구체적인 분석
- 00:50정기적으로 수행하며 AI에 위임하고 싶은 작업을 파악하세요. 이미 분석을 완료한 과거 데이터를 찾고
- 00:55AI와 함께 자신이 했던 분석을 재현하면서 무엇이 효과가 있고 무엇이
- 01:01없는지 평가하세요. 접근 방식을 다듬고 다시 테스트하세요. AI가 알고 있는 결과와 일치하면 어떻게
- 01:06비슷한 향후 작업에서 AI를 사용하고 신뢰할지 알게 됩니다. 그렇지 않으면 이 작업은
- 01:11위임해서는 안 된다는 사실을 배웁니다. 이제 실제 사례를 보여드린 뒤
- 01:16처음부터 데이터를 잘 다루지 못하는 경우 어떻게 해야 하는지도 살펴보겠습니다. 프로그램 디렉터인
- 01:22Valley Veterans Services의 Rio를 만나 보겠습니다.
- 01:24Rio는 분기마다 프로그램 참석률과 고용 성과를 함께 분석하고 참여율을 계산하며
- 01:29월별 변화를 추적하고 참석률이
- 01:35취업 알선 성공과 상관관계가 있는지 판단합니다.
- 01:37이 분석에는 매번 몇 시간이 걸립니다.
- 01:40위임을 고려하면서 Rio는 이 분석 결과를 계속 활용해
- 01:44프로그램을 개선하고 싶어 합니다.
- 01:46결과는 직접 해석하고 싶지만 데이터 정리는 하지 않아도 됩니다.
- 01:50실제 분석을 하면서 늘 겪던 복잡한 수식 작업도 말입니다.
- 01:54이 상황에 AI가 적합한지 테스트하기 위해 Rio는
- 01:58지난 분기 데이터를 사용해 AI를 평가하려 합니다.
- 02:01AI 없이 분석한 뒤 이 데이터가 무엇을 보여 주었는지 정확히 알고 있으며
- 02:06시작하기 전의 정리되지 않은 원시 데이터도 가지고 있습니다.
- 02:09이것이 그의 테스트 케이스입니다.
- 02:11Rio는 데이터를 업로드하고 설명과 판별력을 사용해 AI와 함께
- 02:15분석을 수행하기 시작합니다.
- 02:17마지막으로 AI가 응답할 때마다 Rio는 결과를 자신이 사실이라고 알고 있는 내용과 대조하고
- 02:21AI의 추론에 있을 수 있는 차이를 적어 둡니다.
- 02:26때로는 추가 설명이 AI가 원하는 결과를 내는 데 도움이 됩니다.
- 02:30이런 경우 Rio는 향후 데이터 분석
- 02:34작업에 그런 종류의 정보를 포함해야 한다는 점을 압니다.
- 02:35다른 경우에는 정당한 기능 격차를 발견할 수도 있습니다.
- 02:39이것이 바로 위임-성실 루프를 실행하는 모습입니다.
- 02:42모델의 기능을 평가하는 Rio의 성실은 향후 AI에
- 02:46무엇을 위임할지 선택하는 데 영향을 줄 수 있습니다.
- 02:48첫 번째 시도는 다음과 같을 수 있습니다. 지난 분기 직업 훈련 프로그램의 참석 데이터와
- 02:53취업 결과 데이터를 공유합니다.
- 02:563개월 동안의 참여 패턴을 분석하고 상관관계를 그래프로 나타내 주세요.
- 03:00참석 수준과 취업 성공 간의
- 03:03상관관계를 특히 꾸준한 참석이 더 나은
- 03:07취업 알선 결과를 예측하는지 알고 싶습니다.
- 03:10AI가 요약으로 응답합니다.
- 03:13하지만 이를 사실이라고 가정하지 않고 Rio는 자신의 기록과 대조해
- 03:17잘된 점과 그렇지 않은 점을 기록합니다.
- 03:20AI는 프로그램 참석과 취업 알선 사이의 상관관계를 정확히 파악했지만
- 03:25주거 지원과 취업 알선이 결합된 프로그램에 관한 중요한 통찰을 놓쳤습니다.
- 03:30그래서 Rio는 설명을 다듬어 AI에 다시 시도해 달라고 요청하면서
- 03:36프로그램 유형에 특별히 주의를 기울이게 합니다.
- 03:39이번에는 AI가 자신의 실수를 알아챕니다.
- 03:42따라서 Rio는 향후 분기 분석에서는 AI에 프로그램 유형을 고려하라고
- 03:46구체적으로 요청해야 한다는 점을 기록합니다.
- 03:49그런 다음 더 어려운 것을 테스트합니다.
- 03:51참가자가 등록한 시점을 기준으로도 이 데이터를 살펴볼 수 있습니까?
- 03:55AI가 응답하고 Rio는 등록 데이터를 알지 못하더라도 AI가 이를
- 04:00추출하는 데 도움을 줄 수 있음을 확인합니다.
- 04:01나중에 이 결과를 교차 참조해야 한다고 메모합니다.
- 04:05이 과정을 거치며 Rio는 AI가 자신의
- 04:10분기별 보고에서 할 수 있는 일과 할 수 없는 일을 체계적으로 검증했습니다.
- 04:11적절한 설명을 사용하면 AI가 자신이
- 04:15수동으로 하던 분석을 정확히 재현할 수 있다는 점을 배웠습니다.
- 04:16하지만 명확한 한계와 후속 조치가 필요한 영역도 확인했습니다.
- 04:20코호트 분석을 하려면 데이터에 등록 날짜가 필요합니다. 그렇지 않으면 AI가 이를
- 04:25추론하려 할 텐데, Rio는 그런 방식을 원하지 않습니다.
- 04:28무엇보다 중요한 것은 이제 Rio가
- 04:32이번 분기 데이터에 자신 있게 사용할 수 있는 검증된 접근 방식과 포함해야 할 정보, 그리고
- 04:37직접 추가해야 할 컨텍스트에 관한 명확한 기록을 갖게 되었다는 점입니다.
- 04:39Rio가 이 검증된 접근 방식을 새로운 데이터에 사용할 때에도 성실은 계속됩니다.
- 04:44프로그램에 대해 알고 있는 내용을 바탕으로 숫자가 타당한지 확인하고
- 04:48최종 보고서에 책임을 지며 AI의 역할을
- 04:52질문을 받으면 투명하게 밝힐 것입니다.
- 04:53하지만 이제는 추측이 아니라 검증된 확신을 바탕으로 작업합니다.
- 04:58이제 이 프레임워크를 정리해 보겠습니다.
- 05:00위임하고 싶은 구체적인 분석 작업을 파악하세요.
- 05:03필요한 내용을 정확히 설명하세요.
- 05:06그런 다음 이미 해당 분석을 완료한 과거 데이터를 찾으세요.
- 05:10AI가 그 결과에 도달할 수 있는지 평가하려면 올바른 답이 필요합니다.
- 05:14AI와 함께 과거 분석을 재현하고 결과를 체계적으로 평가하세요.
- 05:20AI가 무엇을 산출했습니까? 작업에 어떻게 접근했습니까? 결과를 어떻게 전달했습니까?
- 05:26격차를 파악하고 위임 방식을 다듬은 다음 다시 테스트하세요.
- 05:29AI가 올바른 결과를 내놓는다는 사실을 검증할 수 있다면, 새 데이터에도 자신 있게 사용할 수 있는 접근 방식을 구축한 것입니다.
- 05:36하지만 여러 번 다듬은 뒤에도 그 수준에 도달하지 못한다면
- 05:38이 작업은 위임해서는 안 된다는 사실을 배운 것입니다.
- 05:41이 모든 과정이 훌륭하지만,
- 05:44처음부터 데이터를 다루는 데 익숙하지 않고 그런 과정상의 격차를 스스로 알아차릴 수 없다면
- 05:47어떻게 해야 합니까?
- 05:49AI는 혼자서는 생각하지 못했을 해결책을
- 05:52브레인스토밍하고 구현하는 데에도 유용한 도구가 될 수 있습니다.
- 05:55AI 모델은 코딩에 특히 뛰어나므로
- 05:57Excel 수식을 작성하는 등의 일을 도울 수 있고
- 05:59정리되지 않은 데이터를 다시 형식화하는 등의 작업도 가능합니다.
- 06:03이런 경우에는 질문을 AI에 가져가
- 06:06해결책이 어떤 모습일 수 있는지 이해하는 데 도움을 달라고 구체적으로 요청하면 됩니다.
- 06:11팀의 데이터 분석가와 함께 일하는 것과 같습니다.
- 06:14AI와 작업하면서 계속 명확한 설명과 해설을 요청하여
- 06:18과정을 따라가고 최종 출력을 이해할 수 있도록 하세요.
- 06:22기억하세요. 검증은 확신을 쌓지만 책임을 없애 주지는 않습니다.
- 06:26여전히 결과가 타당한지 확인하고 AI의 역할을 투명하게 밝힐
- 06:30책임이 있습니다.
- 06:34이 테스트는 고려 중인 어떤 분석 작업에도 적용됩니다.
- 06:37기부자 분석, 예산 예측, 설문 결과 종합, 성과 추적 등입니다.
- 06:42먼저 테스트하고 효과가 검증된 것을 적용한 다음 더 자신 있게 활용하세요.
- 06:47또는 아예 위임해서는 안 되는 작업인지 알아보세요.
- 06:50다음 레슨에서는 워크플로 보강과 이와 같은 원칙을 적용하는 방법을 살펴보겠습니다.
- 06:55AI가 대신 일상적인 작업을 처리할 때 말입니다.
핵심 요약
- 이미 이해하고 있는 데이터를 대상으로 AI를 테스트하세요: 새로운 분석에 AI를 신뢰하기 전에, 정답을 알고 있는 과거 데이터를 사용하여 검증하세요. AI가 적절한 가이드를 통해 이미 알고 있는 결과와 일치하는 결과를 낼 수 있다면, 유사한 향후 작업에도 자신 있게 사용할 수 있습니다
- Discernment를 사용하여 AI의 추론에서 격차를 식별하세요: 테스트하는 동안 AI가 중요한 맥락을 놓치는 부분과 추가로 제공해야 할 Description이 무엇인지 기록하세요
- 검증된 접근 방식을 구축하세요, 맹목적인 신뢰가 아니라: 각 테스트 라운드는 AI가 잘하는 것과 가이드가 필요한 부분을 알려줍니다. 효과가 있는 방법을 문서화하여 재현할 수 있도록 하세요
- 데이터에 능숙하지 않아도 AI가 도움이 될 수 있습니다: 데이터 분석에 스스로 익숙하지 않다면, AI는 해결책을 브레인스토밍하고, Excel 수식을 작성하고, 정리되지 않은 데이터를 재구성하는 데 도움을 줄 수 있습니다—과정을 이해할 수 있도록 계속 설명을 요청하세요
- 검증은 신뢰를 구축하지만 책임을 없애지는 않습니다: 결과가 타당한지 확인하고 AI의 역할에 대해 투명하게 밝히는 것은 여전히 본인의 책임입니다
실습
메시징 분석
이 실습은 데이터 분석을 위한 Description-Discernment 루프를 연습하기 위해 위험도가 낮은 데이터(자신의 공개 커뮤니케이션)를 사용합니다.
1부: 데이터 수집
조직의 커뮤니케이션 사례 10~20개를 수집하세요—소셜 미디어 게시물, 이메일 제목, 뉴스레터 헤드라인, 또는 행사 공지 등입니다. 성과가 높다고 생각하는 콘텐츠와 낮다고 생각하는 콘텐츠를 섞어서 포함하세요.
2부: AI로 분석하기
데이터셋을 AI와 공유하고 패턴을 식별하도록 요청하세요:
- 성과가 높은 콘텐츠에는 어떤 주제나 테마가 나타나나요?
- 어떤 언어, 어조, 또는 형식 패턴이 나타나나요?
- 전달하는 내용과 실제로 공감을 얻는 내용 사이에 격차가 있나요?
3부: Discernment 적용하기
AI의 분석을 평가하세요:
- 식별된 패턴이 효과가 있다고 생각하는 직관과 일치하나요?
- AI가 대상 고객이나 목표에 대해 놓치고 있는 맥락은 무엇인가요?
- AI가 식별한 패턴 중 놀라운 것이 있나요?
성찰:
- 데이터셋에서 무엇을 배우려고 하나요?
- 성과가 높은 콘텐츠는 조직의 진정한 목소리와 가치와 어떻게 일치하나요?
- 올바른 대상에게 도달하고 있나요?
도전 목표: AI를 사용하여 메시징이 조직의 명시된 미션 및 가치와 어떻게 비교되는지 점검하고, 불일치를 찾아내고, 분석을 바탕으로 메시징 가이드를 작성하세요.
레슨 성찰
- 이미 이해하고 있는 데이터를 대상으로 AI를 테스트한 것이 새로운 분석에 AI를 사용하는 데 대한 신뢰에 어떤 변화를 주었나요?
- 앞으로 데이터 분석 작업을 위임하는 방식을 형성할 어떤 격차나 한계를 식별했나요?
다음 단계
다음 레슨에서는 워크플로 자동화에 대해 살펴보겠습니다—AI가 여러분을 대신해 일상적인 작업을 처리할 때 이러한 동일한 원칙을 어떻게 적용하여 더 높은 영향력을 가진 업무에 시간을 할애할 수 있는지 알아봅니다.