Claude의 computer use는 일반적인 도구 사용과 정확히 동일하게 작동합니다 - 이미 익숙한 동일한 기반 위에 구축되어 있습니다. 핵심적인 차이점은 날씨 API나 데이터베이스 함수를 호출하는 대신, Claude가 컴퓨터 인터페이스를 제어하기 위한 요청을 한다는 것입니다.
도구 사용 복습
Computer use를 자세히 살펴보기 전에, 표준 도구 사용이 어떻게 작동하는지 간단히 복습해 보겠습니다. Claude가 도구를 사용하도록 하려면, 사용자 메시지와 도구 스키마를 모두 포함하는 요청을 보냅니다. 도구 스키마는 Claude에게 노출하고자 하는 추가 기능을 설명합니다.
일반적인 흐름은 다음과 같습니다:
- 사용 가능한 도구 스키마와 함께 Claude에게 질문을 보냅니다
- Claude가 요청을 분석하고 도구를 사용해야 한다고 판단합니다
- Claude가 도구 이름과 필요한 입력값을 포함한 도구 사용 요청으로 응답합니다
- 서버가 도구 함수를 실행하고 결과를 반환합니다
- 도구 결과를 Claude에게 다시 보냅니다
예를 들어, 샌프란시스코의 날씨에 대해 질문하면, Claude는 위치 매개변수와 함께 get_weather 함수를 호출할 수 있으며, 서버가 날씨 데이터를 가져오고, 그 결과를 Claude에게 반환합니다.
Computer Use: 동일한 흐름, 다른 도구
Computer use는 이와 정확히 동일한 패턴을 따릅니다. 차이점은 "도구"가 실제로 무엇을 하는지에 있습니다 - 날씨 데이터를 가져오는 대신, 마우스 클릭과 키보드 입력 같은 컴퓨터 상호작용을 시뮬레이션합니다.
Computer use를 활성화하면, 뒤에서 자동으로 확장되는 특별한 도구 스키마를 Claude에게 보냅니다. 사용자 측에서는 단순한 스키마로 시작하지만, 이는 Claude에게 다음과 같은 작업을 수행할 수 있다고 알려주는 포괄적인 인터페이스가 됩니다:
- 마우스 이동 및 클릭
- 키보드 입력 및 키 조합
- 스크린샷 촬영
- 스크롤 및 기타 인터페이스 상호작용
사용자가 보내는 도구 스키마는 최소한이지만, Claude가 필요로 하는 모든 컴퓨터 상호작용 기능을 포함하는 상세한 명세로 자동 변환됩니다.
기술적 구현
Computer use가 작동하도록 하려면, Claude가 요청하는 작업을 프로그래밍 방식으로 실행할 수 있는 컴퓨팅 환경이 필요합니다. 참조 구현은 Firefox를 실행하는 Docker 컨테이너와, 키 입력 및 마우스 이동을 시뮬레이션할 수 있는 코드를 사용합니다.
Claude가 컴퓨터와 상호작용하기로 결정하면, 다른 도구와 마찬가지로 도구 사용 요청을 보냅니다. 서버는 이 요청을 받아 컨테이너화된 환경에서 해당 작업을 실행합니다 - 버튼을 클릭하든, 텍스트를 입력하든, 스크린샷을 찍든 말입니다.
이해해야 할 중요한 점은 Claude가 컴퓨터를 직접 제어하는 것이 아니라는 것입니다. Claude는 도구 요청을 하고, 사용자의 인프라가 그 요청을 실제 컴퓨터 상호작용으로 변환합니다.
시작하기
이 인프라를 처음부터 구축할 필요는 없습니다. Anthropic은 복잡한 부분을 모두 처리해 주는 참조 구현을 제공합니다.
Computer use를 설정하려면 다음이 필요합니다:
- 시스템에 설치된 Docker 런타임
- 로컬에 구성된 AWS 프로필(보통 "default")
- Anthropic quickstarts 저장소의 참조 구현
이러한 전제 조건을 갖추면, 단 하나의 명령으로 Docker 컨테이너를 시작할 수 있습니다. 이를 통해 시연에서 보여진 것과 동일한 인터페이스에 접근할 수 있습니다 - 왼쪽에는 Claude와 대화할 수 있는 채팅 인터페이스가 있고, 오른쪽에는 Claude가 웹 페이지 및 애플리케이션과 상호작용할 수 있는 브라우저 환경이 있습니다.
설정 과정은 간단하며, 전체 설정 가이드는 GitHub의 Anthropic quickstarts 저장소에서 확인할 수 있습니다. 이 참조 구현은 안전하고 격리된 환경에서 Claude의 computer use 기능을 실험해 보는 데 필요한 모든 것을 제공합니다.