4D를 어떻게 평가하나요?
4D를 어떻게 평가하나요?
요약대본
이 영상에서는 AI Fluency를 평가하는 세 가지 상호 보완적인 접근 방식을 살펴봅니다: 결과 기반(학생이 AI와의 협업을 통해 생산하는 것에 초점을 맞춤), 과정 기반(학생이 시간에 걸쳐 AI와 어떻게 작업하는지 검토함), 성찰 기반(메타인지적 인식을 평가함)입니다. 이 영상은 이 세 가지 접근 방식을 4D 각각에 적용하는 방법을 보여주며, 무엇을 살펴봐야 하는지와 학생의 발전을 어떻게 평가하는지에 대한 구체적인 예시를 제공합니다. Delegation의 경우 목표 설정, 작업 분해, 도구 선택을 평가하고, Description의 경우 대화 품질과 반복적 개선을 평가하며, Discernment의 경우 비판적 평가 능력을 살펴보고, Diligence의 경우 윤리적 의사결정과 책임성을 검토합니다. 이 영상은 세 가지 평가 접근 방식을 모두 결합하는 것이 학생의 AI Fluency 발전에 대한 가장 완전한 그림을 제공한다는 점을 강조합니다.
한국어 대본
- 00:00안녕하세요. 저는 Joe Feller입니다. AI Fluency를 가르칠 때 가장 까다로운 질문 중 하나를 살펴보겠습니다.
- 00:16실제로 이를 어떻게 평가합니까? 단지 몇 가지 영리한 프롬프트를 알아낸 학생과
- 00:21진정한 협업 역량을 개발하는 학생의 차이를 어떻게 구분합니까? 먼저 이해해야 합니다.
- 00:28AI Fluency가 실제로 어떻게 나타나는지, 겉으로 드러나는 AI 상호작용과
- 00:33깊이 있는 협업 역량을 구분해야 합니다. 서로 잘 맞는 세 가지 일반적인 접근법을 찾았습니다.
- 00:39결과 기반 평가는 학생이 AI 협업을 통해 만들어 내는 것에 초점을 둡니다.
- 00:44인간-AI 파트너십을 통해 학생이 명시한 목표를 달성하는지 평가합니다.
- 00:49과정 기반 평가는 시간이 지나면서 학생이 AI와 어떻게 작업하는지 살펴봅니다. 여기에는 반복
- 00:56패턴, 실패한 시도에서의 회복, 방법론적 정교함이 드러납니다.
- 01:01무엇을 만들어 내는지만이 아니라 협업 중에 어떤 일이 일어나는지에 관심이 있습니다.
- 01:06되짚기 기반 평가는 학생이 자신의 사고 과정을 생각할 때 나타나는 메타인지적 인식에 초점을 둡니다.
- 01:11학생이 자신의 사고 과정을 되짚을 때, 다음에 대한 결론을 살펴봅니다.
- 01:15특정 전략이 효과가 있었거나 없었던 이유, 배운 내용, 그리고 그 배움을 어떻게 적용할 수 있는지
- 01:20살펴봅니다. 가장 효과적인 AI Fluency 평가에는
- 01:26이 세 가지 접근법이 모두 통합됩니다.
- 01:28학생이 AI로 무엇을 만들어 낼 수 있는지만 평가하는 것이 아니라,
- 01:32AI 협업자로서 어떻게 생각하고 성장하는지도 평가합니다.
- 01:35네 가지 D를 각각
- 01:37이러한 관점에서 살펴보겠습니다.
- 01:39알다시피 위임은 목표를 설정하고
- 01:41AI와 협력할지, 언제 어떻게 협력할지 결정하는 일입니다.
- 01:45결과 기반 평가는 다음과 같이 물을 수 있습니다.
- 01:47위임 계획이 타당했습니까?
- 01:50목표가 현실적이었습니까?
- 01:51작업에 맞는 도구를 선택했습니까?
- 01:54과정 기반 평가는 학생이 AI 어시스턴트와 위임 과정을 진행하면서
- 01:59선택지를 탐색하고 결정을 내린 방식이 드러나는 주석이 달린 채팅 로그를 검토하는 방식일 수 있습니다.
- 02:06되짚기 기반 평가는 학생에게 선택을 설명하도록 요청할 수 있습니다.
- 02:11그 밖에 무엇을 고려했으며, 위임 결정이 이후의 모든 과정에 어떤 영향을 주었습니까?
- 02:17이번에는 설명과 학생이 효과적으로 소통하는 능력을 어떻게 평가할지 살펴보겠습니다.
- 02:22유용한 AI 행동과 출력을 이끌어 내도록 말입니다.
- 02:25결과 기반 평가는 작성된 프롬프트의 품질과 AI 응답을 살펴볼 수 있습니다.
- 02:31지침이 명확합니까? 충분한 컨텍스트를 제공합니까?
- 02:34초기 버전에서 최종 버전으로 프롬프트가 어떻게 발전했는지도 평가할 수 있습니다.
- 02:39과정 기반 평가는 루브릭을 활용해 대화 로그를 분석하는 방식으로,
- 02:44반복적인 개선과 실패한 접근법의 기록,
- 02:48돌파구로 이어지는 방향 전환, 그리고 공유 컨텍스트를 구축한 증거를 보여 줍니다.
- 02:54시간이 지나면서 말입니다. 되짚기 기반 평가는 어떤 설명
- 03:00기법이 가장 잘 작동하는지와 그 이유, 서로 다른 작업에 서로 다른 소통
- 03:06접근법이 필요하다는 인식, 설명 품질과 출력 품질의 관계에 대한 통찰을 살펴볼 수 있습니다.
- 03:13다음과 같은 질문으로 이러한 주제를 되짚어 보도록 명시적으로 요청할 수도 있습니다.
- 03:18어떤 소통 전략이 가장 효과적이었습니까?
- 03:21그리고 그 이유는 무엇입니까?
- 03:22서로 다른 작업에 맞춰 접근법을 어떻게 조정했습니까?
- 03:25판별력에서는 학생이
- 03:28AI 출력과 행동의 유용성을 정확하게 평가하는 능력에 초점을 둡니다.
- 03:32결과 기반 평가는 학생이 AI 출력에 주석을 달아
- 03:37강점과 개선이 필요한 부분을 표시하게 할 수 있습니다.
- 03:40학생이 의사 결정 로그를 작성하게 할 수도 있습니다.
- 03:43AI 출력의 어떤 부분을 유지했는지,
- 03:46수정했는지 또는 버렸는지 설명하게 합니다.
- 03:49과정 기반 평가는 채팅 로그 안의 인라인 평가 주석,
- 03:53AI 오류를 찾아 수정한 증거,
- 03:58여러 상호작용에 걸친 패턴 인식을 살펴봅니다.
- 04:02이를 통해 학생이 비판적인 시각을 발전시키는 모습을
- 04:05실시간으로 볼 수 있습니다.
- 04:06되짚기 기반 평가는 학생이 다음을 분석하는 데 초점을 둡니다.
- 04:10자신의 평가 기준과 그 기준이 어떻게 발전했는지,
- 04:14처음에는 놓쳤던 문제와
- 04:16배운 교훈에 대한 논의, 그리고
- 04:19서로 다른 작업 유형에서 판별력 전략을 어떻게 사용했는지 비교하는 것입니다.
- 04:23마지막으로 성실을 살펴보겠습니다.
- 04:26AI로 무엇을 하는지에 책임을 지고
- 04:29어떻게 하는지에도 책임을 지는 것입니다.
- 04:31결과 기반 평가는 다음과 같은 항목을 평가합니다.
- 04:33성실 진술의 품질과 완성도,
- 04:36적절한 귀속과 투명성 문서,
- 04:40사실 확인과 검증 과정의 증거 등입니다.
- 04:44다음과 같이 질문할 수 있습니다.
- 04:46작업에서 AI의 역할을 어떻게 밝혔습니까?
- 04:49또는 어떤 검증 과정을 사용했습니까?
- 04:52품질 문제의 오류를 잡는 데 효과적이었습니까?
- 04:56과정 기반 평가는
- 04:58채팅 로그에 드러나는 데이터 처리 관행을 살펴보고
- 05:02협업 전과 협업 중, 그리고
- 05:05협업 후의 윤리적 의사 결정,
- 05:07민감한 정보를 의도적으로 처리했는지,
- 05:10권한을 요청한 기록,
- 05:13또는 제약 조건을 확인한 기록을 검토합니다.
- 05:15되짚기 기반 평가는 학생이 다음을 논의한 내용을 살펴봅니다.
- 05:18마주한 윤리적 딜레마를 다뤘는지,
- 05:20자신의 책임을 어떻게 이해하는지,
- 05:23AI 협업의 범위 안에서 말입니다.
- 05:25어떤 윤리적 문제에 놀랐습니까?
- 05:28그리고 이러한 배움을 어떻게 활용할 계획입니까?
- 05:30향후 작업에서 책임감 있게 AI를 사용하도록 개선하기 위해서 말입니다.
- 05:34이 모든 개념을 종합해
- 05:37실제로 과제를 어떻게 평가할 수 있는지 살펴보겠습니다.
- 05:40학생에게 에세이를 작성하도록 요청한다고 생각해 보세요.
- 05:43주제는 Gen AI가 사회에 미치는 영향이고
- 05:46AI 어시스턴트의 도움을 받습니다.
- 05:49최종 에세이,
- 05:52AI와 상호작용한 링크,
- 05:54성실 진술,
- 05:56그리고 경험을 논의한 학습 일지를 제출하도록 했습니다.
- 05:59세 가지 관점 모두에서 작업을 평가하겠습니다.
- 06:02결과 기반 관점에서는
- 06:03에세이 자체와
- 06:05성실 진술을 살펴봅니다.
- 06:07그리고 다음과 같이 질문합니다.
- 06:08에세이가 과제 개요를 다룹니까?
- 06:10강력한 인간 감독의 분명한 흔적이
- 06:13최종 버전에 있습니까?
- 06:14AI 협업 과정이
- 06:16진술에 투명하게 제시되어 있습니까?
- 06:19과정 기반 관점에서는
- 06:21AI 상호작용 자체와
- 06:24그 이면에서 일어난 일을 살펴볼 수 있습니다.
- 06:26다음과 같이 질문합니다.
- 06:27학생이 공유 컨텍스트를 효과적으로 구축했습니까?
- 06:30AI와 함께 말입니다.
- 06:31시간이 지나면서 학생은 프롬프트를 어떻게 다듬었습니까?
- 06:34오류, 오해 또는 불명확함에 대응해 방향을 전환하고 과정을 수정한 증거가 있습니까?
- 06:42마지막으로 되짚기 기반 관점에서는 학습 일지를 살펴봅니다.
- 06:47다음과 같이 질문합니다. 학생이 무엇이 잘 되었고 무엇이 그렇지 않았는지 설명할 수 있습니까?
- 06:51향후 AI 협업을 개선하기 위해 배운 교훈을 말할 수 있습니까?
- 06:56AI Fluency를 평가하려면 최종 결과물만 보는 데서 벗어나
- 07:00학생이 AI와 협업 역량을 어떻게 보여 주는지 이해해야 합니다.
- 07:06잘 작동하는 몇 가지 원칙은 다음과 같습니다.
- 07:09전체적인 모습을 파악하려면 결과, 과정, 되짚기 접근법을 결합하세요.
- 07:14이해에 대한 추측보다 관찰 가능한 행동과 구체적인 결과물에 초점을 두세요.
- 07:20역량마다 서로 다른 평가 접근법이 도움이 될 수 있다는 점을 기억하세요.
- 07:25무엇보다 평가를 단순한 측정이 아니라 학습 기회로 만드세요.
- 07:29그러면 학생이 AI 협업에서 자신의 성장을 인식하고 그 가치를 찾는 데 도움이 됩니다.
- 07:36이제 네 가지 D를 어떻게 평가할 수 있는지 살펴보았으므로,
- 07:39다음으로 AI Fluency 프레임워크에 기반한 과제 설계를 살펴보겠습니다.
핵심 요점
- 효과적인 AI Fluency 평가는 완전한 그림을 위해 결과, 과정, 성찰 접근 방식을 결합합니다
- 4D 각각은 서로 다른 유형의 증거와 평가 전략을 필요로 합니다
- 결과 평가는 만들어진 산출물에 초점을 맞추고, 과정 평가는 여정을 검토하며, 성찰 평가는 메타인지적 인식을 평가합니다
- 관찰 가능한 행동과 구체적인 산출물이 이해에 대한 가정보다 더 신뢰할 수 있습니다
- 평가는 단순한 측정이 아니라 학습의 기회가 되어야 합니다
연습
이 연습은 특정 과목 맥락에서 AI Fluency를 평가하기 위한 실용적인 루브릭을 만드는 데 도움이 됩니다.
평가 기반 마련하기
예상 시간: 5분.
Claude와 새로운 대화를 시작하거나 Lesson 1의 대화를 계속하세요:
대화 설정하기:
- AI에게 두 강의 영상의 대화록을 제공하세요.
- 새로 시작하는 경우, 교육 맥락을 공유하고 AI Fluency 교육을 위한 평가 작업을 하고 있다고 설명하세요
- 계속하는 경우, 이제 과목의 평가 전략에 초점을 맞추고 있다는 것을 AI에게 알려주세요
- 학생들이 AI를 사용할 계획인 특정 과제나 프로젝트를 설명하세요
- 이 특정 과제에서 AI Fluency의 어떤 측면이 가장 중요한지 설명하세요
평가 우선순위 파악하기:
- 4D(및 하위 역량) 중 어떤 것이 과제 목표와 가장 관련이 있는지 AI와 논의하세요
- 이 특정 맥락에서 학생들에게 성공이 어떤 모습인지 탐구하세요
- 학생들이 겪을 것으로 예상되는 일반적인 어려움이나 오해를 고려하세요
- 학생들이 유창성을 개발했다고 확신할 수 있는 증거가 무엇인지 결정하세요
다음 단계
다음 강의에서는 학생들이 AI Fluency를 개발하고 입증하는 데 도움이 되는 과제를 설계하는 데 초점을 맞추겠습니다.