1. 작업 설명하기
Claude가 원고를 파싱하면서 동시에 원시 데이터에 대한 통계 분석을 실행할 수 있는 능력은 연구 방법을 평가하는 방법에 대한 더 깊은 이해를 발전시키고 경력 전반에 걸쳐 사용할 비판적 읽기 능력을 기르는 데 도움이 됩니다.
Claude에게 모든 통계적 주장을 추출하고 제공된 데이터 파일로 각 분석을 다시 실행하여 논문을 검토하도록 요청하세요. 이러한 실습 검증은 무엇을 주의해야 하는지 가르쳐주고 연구의 결론이 데이터로 뒷받침되는지 이해하는 데 도움이 됩니다.
저는 문헌 검토에서 핵심이 되는 이 논문을 읽고 있는데, 이를 광범위하게 인용하기 전에 더 깊이 이해하고 싶습니다. 발표된 원고와 그들의 보충 데이터 파일을 가지고 있습니다.
그들의 통계적 주장을 검증하는 것을 도와주실 수 있나요? 논문을 체계적으로 살펴보면서 그들이 보고한 모든 p-값, 평균, 표준 오차, 표본 크기, 검정 결과를 추출해 주세요. 그런 다음 그들의 실제 데이터를 사용하여 각 분석을 직접 실행해 주세요.
각 통계적 주장에 대해 세 가지를 보여주세요: 논문이 명시한 내용, 데이터로부터 계산한 내용, 그리고 이 둘이 일치하는지 여부입니다. 데이터 유형에 맞지 않는 검정 사용, 맞지 않는 표본 크기, 수학적으로 의심스러운 p-값 등 눈에 띄는 문제가 있다면 표시해 주세요.
그런 다음 제가 완전한 검증 내용을 볼 수 있는 상세한 Excel 워크북을 만들어 주세요. 각 분석에 대해 계산 과정을 단계별로 보여주는 별도의 시트를 만들고, 이 작업을 신뢰하기 전에 제가 이해해야 할 문제들을 강조하는 요약 시트도 추가해 주세요.
스프레드시트는 잘 설계되고 탐색하기 쉽게 만들어 주세요 - 전문적인 서식, 고정된 헤더, 필터링된 열, 그리고 발견한 내용을 설명하는 명확한 노트를 포함해 주세요.
2. Claude에게 컨텍스트 제공하기
발표된 원고와 그 기반이 되는 원시 데이터를 제공하면 Claude가 모든 통계적 주장을 검증하고 분석이 결론을 얼마나 철저하게 뒷받침하는지 이해하는 데 도움을 줄 수 있습니다.
필수 컨텍스트
채팅 바의 (+) 버튼을 클릭하여 파일을 탐색하거나, 원고와 분석하고자 하는 추가 데이터 파일을 채팅 박스 영역으로 드래그 앤 드롭하세요.
선택적 컨텍스트
더 철저한 통계 검증과 고품질 결과를 위해 확장 사고(opens in new tab)를 활성화하세요.
3. Claude가 만드는 것
Claude는 모든 통계 검사를 문서화하는 종합적인 감사 워크북을 만들어, 무엇을 주의해야 하는지 정확히 보여주고 연구 방법을 비판적으로 평가하는 능력을 키워줍니다.
통계적 재현성 검사 완료
"C57BL/6 마우스의 공간 기억 및 불안 유사 행동에 대한 만성 수면 부족의 영향"이라는 논문의 통계적 주장을 실험 데이터와 대조하여 검증했습니다. 다음은 발견한 내용입니다:
검증 요약:
- 31개의 통계적 주장 확인
- ✓ 22개 정확하게 검증됨
- ⚠ 3개 경미한 불일치
- ✗ 6개 주의 필요
이해해야 할 중요한 문제들:
1. 표본 크기 불일치 (원고 전반에 걸쳐)
- 원고 명시: 그룹당 n=12
- 데이터 표시: 대조군 n=11
- 영향: 이는 통계적 검정력과 모든 대조군 비교의 타당성에 영향을 미칩니다. 논문은 피험자 제외에 대해 설명해야 했습니다.
2. 단위 변환 오류 (Open Field - 총 이동 거리)
- 원고 보고: 2456 ± 234 cm (대조군), 1834 ± 187 cm (SD)
- 데이터 표시: 24.43 ± 1.8 미터 (대조군), 18.38 ± 1.1 미터 (SD)
- 문제: 값이 100배 차이 - 데이터는 미터로 저장되었지만 센티미터로 보고됨
- 중요한 이유: 이러한 유형의 오류는 부적절한 데이터 검사를 시사하며, 다른 결과에 대한 의문을 제기합니다
3. 부적절한 통계 검정 (코르티코스테론)
- 문제: 동일한 마우스의 전/후 측정값에 대해 비쌍체 t-검정 사용
- 사용해야 할 검정: 기준값을 고려한 쌍체 t-검정
- 원고의 p-값: 0.003
- 올바른 쌍체 검정: p<0.001
- 영향: 효과는 실제로 보고된 것보다 더 강하지만, 이러한 방법론적 선택은 제한적인 통계적 이해를 보여줍니다
4. P-값 정밀도 오류
- 목표 사분면 시간: p=0.004로 보고, 실제 p=0.0001
- 5일차 지연 시간: p=0.02로 보고, 실제 p=0.026
- 중요한 이유: 정확한 p-값은 메타분석과 효과 강도 이해에 중요합니다
5. 방법 설명 불일치
- 방법에서는 "그룹 간 비교를 위한 비쌍체 t-검정"이라고 명시
- 문제: 코르티코스테론 데이터는 쌍체 표본입니다 (동일한 마우스의 기준값과 최종값)
- 이는 불명확한 작성 또는 자신의 분석에 대한 오해를 시사합니다
통계 감사 워크북 보기
4. 후속 프롬프트
Claude와의 대화를 계속하여 다듬고, 확장하고, 더 깊이 탐구해 보세요.
숫자를 넘어 그림도 확인하기
시각적 표현이 기반 데이터와 일치하는지 확인하세요. Claude는 그래프, 차트, 표를 원시 데이터 값과 비교하여 잘못된 표현이나 오류를 찾아냅니다.
Figure 2의 모든 막대 높이, 오차 막대, 데이터 포인트가 실제 데이터 값과 일치하는지 확인해 주세요. 불일치가 있다면 보여주세요.
다음에 무엇을 주의해야 하는지 배우기
Claude는 원시 데이터에 접근할 수 없을 때 논문을 읽으면서 조사할 가치가 있는 위험 신호를 설명할 수 있습니다 - 방법론적 불일치, 의심스럽게 딱 맞는 숫자, 연구 설계와 맞지 않는 통계적 선택 등입니다.
여기서 발견한 내용을 바탕으로, 제 분야의 다른 논문을 읽을 때 찾아야 할 경고 신호를 가르쳐 주세요. 원시 데이터를 검증할 수 없을 때도 의심해야 할 패턴은 무엇인가요?
심사자 의견 작성하기
저자가 방어적으로 반응하지 않고 무엇을 고쳐야 하는지 이해할 수 있도록 통계적 또는 방법론적 문제를 건설적으로 구성하세요. Claude는 구체성과 격려의 균형을 맞추는 데 도움을 줄 수 있습니다.
이 통계적 문제들을 무엇을 수정해야 하는지 명확하면서도 고치는 방법에 대해 격려가 되는 유용한 심사자 의견으로 바꿔 주세요.
5. 팁, 노하우, 문제 해결
이미 전문 지식이 있는 분야에서 시작하기
자신의 분야에서 논문을 검증함으로써 Claude와 작업하는 모범 사례를 빠르게 파악할 수 있습니다. 전문 지식이 무엇이 타당한지 판단하는 데 도움이 되기 때문입니다. Claude가 문제를 표시할 때, 여러분의 분야 지식은 그것이 실제 오류인지 아니면 분야별 관행에 대한 오해인지 판단하는 데 도움이 됩니다. 반대로 Claude가 모든 것이 정상이라고 할 때, 올바른 가정을 검증했는지 평가할 수 있습니다.
실제 Excel 파일 열기
채팅의 미리보기는 구조를 보여주지만, 실제 워크북에는 작동하는 수식, 문제를 강조하는 조건부 서식, 결과를 탐색하기 위한 드롭다운 필터, 상세한 계산 노트가 포함되어 있습니다. 파일을 다운로드하고 열어서 검증이 어떻게 작동하는지 확인하고 다른 논문을 검토할 때 적용할 수 있는 기법을 배워보세요.
6. 직접 시도해 볼 준비가 되셨나요?
보충 데이터 파일이 있는 논문을 업로드하고, 왜 이를 검토하는지 설명한 다음("이것을 광범위하게 인용하려고 합니다" 또는 "이 결과가 놀라워서 더 잘 이해하고 싶습니다"), Claude가 연구를 강화하는 비판적 분석 능력을 기르는 데 도움을 주도록 하세요.
저는 문헌 검토에서 핵심이 되는 이 논문을 읽고 있는데, 이를 광범위하게 인용하기 전에 더 깊이 이해하고 싶습니다. 발표된 원고와 그들의 보충 데이터 파일을 가지고 있습니다.
그들의 통계적 주장을 검증하는 것을 도와주실 수 있나요? 논문을 체계적으로 살펴보면서 그들이 보고한 모든 p-값, 평균, 표준 오차, 표본 크기, 검정 결과를 추출해 주세요. 그런 다음 그들의 실제 데이터를 사용하여 각 분석을 직접 실행해 주세요.
각 통계적 주장에 대해 세 가지를 보여주세요: 논문이 명시한 내용, 데이터로부터 계산한 내용, 그리고 이 둘이 일치하는지 여부입니다. 데이터 유형에 맞지 않는 검정 사용, 맞지 않는 표본 크기, 수학적으로 의심스러운 p-값 등 눈에 띄는 문제가 있다면 표시해 주세요.
그런 다음 제가 완전한 검증 내용을 볼 수 있는 상세한 Excel 워크북을 만들어 주세요. 각 분석에 대해 계산 과정을 단계별로 보여주는 별도의 시트를 만들고, 이 작업을 신뢰하기 전에 제가 이해해야 할 문제들을 강조하는 요약 시트도 추가해 주세요.
스프레드시트는 잘 설계되고 탐색하기 쉽게 만들어 주세요 - 전문적인 서식, 고정된 헤더, 필터링된 열, 그리고 발견한 내용을 설명하는 명확한 노트를 포함해 주세요.