Computer Use로 앱을 직접 조작하기

왜 여기까지 필요한가

플러그인으로 연결되는 도구는 이미 많다. 하지만 회사마다 플러그인이 없는 프로그램이 꼭 하나씩 있다. 사내 전용 클라이언트, 오래된 ERP 화면, 특정 부서만 쓰는 설계 도구처럼 API도 커넥터도 없는 것들이다. 이럴 때 남는 방법은 사람이 하던 대로 화면을 보고 클릭하는 것이다.

Computer Use는 바로 그 방법이다. 공식 용어집의 정의는 “ChatGPT가 다른 애플리케이션을 UI를 통해 조작하게 하는 데스크톱 기능”이다. ChatGPT가 macOS나 Windows의 그래픽 인터페이스를 보고 조작한다. 커맨드라인 도구나 구조화된 통합만으로는 부족한 작업에 쓴다.

ChatGPT가 다른 앱과 나란히 놓인 상태로 일하는 모습. Computer Use는 이 관계를 조작까지 확장한다 · 출처: OpenAI 공식 문서

마지막 수단으로 두어야 하는 이유

Computer Use는 강력하지만 가장 먼저 꺼낼 도구는 아니다. 같은 일을 할 수 있는 방법이 여러 개 있고, 아래 순서대로 검토하는 편이 안전하고 결과도 안정적이다.

AI 생성 교육용 도해. 정확한 기능 조건과 세부 절차는 이 챕터의 본문 및 공식 참고 자료를 함께 확인한다

공식 문서도 같은 순서를 권한다. 대상 앱에 전용 플러그인이나 MCP 서버가 있으면 데이터 접근과 반복 작업에는 그 구조화된 통합을 우선하고, ChatGPT가 앱을 시각적으로 확인하거나 조작해야 할 때 Computer Use를 고르라는 것이다. 로컬에서 만드는 웹 앱이라면 내장 브라우저를 먼저 쓴다.

방법	할 수 있는 일	한계
플러그인·커넥터	구조화된 데이터 읽기와 동작 실행	지원되는 서비스만 가능
내장 브라우저	웹 페이지 열기·클릭·검증, 주석	웹 화면에 한정. 파일 업로드 자동화 불가
Appshots	앞에 있는 창의 이미지와 텍스트 전달	읽기 전용. macOS 전용
Computer Use	데스크톱 앱을 보고 직접 조작	시스템 권한 필요. 앱·시스템 상태를 바꿈

설치와 권한

Computer Use는 지원 지역에서 macOS와 Windows의 ChatGPT 데스크톱 앱에서 ChatGPT Work와 Codex와 함께 제공된다. Windows 데스크톱 앱을 보고 클릭하고 입력하는 지원은 2026년 5월 마지막 주에 추가됐다.

설치 순서는 다음과 같다.

1. 데스크톱 앱에서 ChatGPT를 선택하고 스위처에서 Work로 전환하거나, Codex를 선택한다.
2. Plugins > Computer Use 를 열고 필요하면 Install plugin 을 선택한다. Enable 이 보이면 그것을 선택한다.
3. Computer Use 서버와 스킬 토글을 켜고 Try now 로 시작한다.
4. Settings > Computer use 에서 앱 접근 상태를 확인한다. 앞으로도 허용한 앱은 Always-allowed apps 섹션에 모인다.

macOS에서는 두 가지 시스템 권한이 필요하다.

• Screen Recording: ChatGPT가 대상 앱을 볼 수 있게 한다.
• Accessibility: ChatGPT가 클릭·입력·이동할 수 있게 한다.

이 시스템 권한은 ChatGPT 안의 앱 승인과 별개다. 시스템 권한이 “볼 수 있고 조작할 수 있다”를 정하고, 앱 승인이 “어떤 앱을 쓰게 할지”를 정한다. 파일 읽기·수정과 셸 명령은 여전히 해당 작업의 샌드박스·승인 설정을 따른다.

macOS와 Windows의 결정적 차이

항목	macOS	Windows
백그라운드 실행	범위를 좁힌 작업을 백그라운드로 돌리며 다른 일을 할 수 있다	불가. 활성 데스크톱에서 전면을 점유한다
작업 중 내 사용	가능	ChatGPT가 포인터를 움직이고 타이핑한다
잠긴 화면	잠금 사용(locked use)을 켜면 가능	전면 실행만 지원
자리를 비울 때	잠금 사용 + 모바일 Remote로 확인	기기를 잠기지 않게 두고 인터넷 연결 유지, 또는 Windows 가상 머신 안에서 실행

Windows에서 이 차이는 실무에 바로 영향을 준다. 작업이 도는 동안 그 세션에서 다른 일을 할 수 없으므로, 회의 직전에 긴 Computer Use 작업을 시작하면 안 된다. 공식 문서는 Windows에서 자리를 비운 채 작업을 이어 가려면 기기를 잠기지 않게 두고 인터넷에 연결한 뒤, 휴대폰에서 원격 제어로 진행 상황을 확인하거나, 데스크톱 앱을 Windows 가상 머신 안에서 돌려 Computer Use가 내 주 데스크톱 대신 가상 머신을 점유하게 하라고 안내한다.

작업 시작과 승인 화면

프롬프트에서 @Computer 또는 @앱이름 을 멘션하거나, Computer Use를 쓰라고 요청한다. 어떤 앱, 어떤 창, 어떤 흐름을 조작해야 하는지 구체적으로 말하는 것이 핵심이다.

작업 중에 ChatGPT는 내 컴퓨터의 앱을 쓰기 전에 매번 권한을 묻는다. 여기서 Always allow 를 선택하면 그 앱은 다음부터 묻지 않는다. 이 목록은 설정의 Computer Use 섹션에서 언제든 제거할 수 있다.

앱 단위로 권한을 묻는다. Always allow는 신뢰하는 앱에만 쓰세요 · 출처: OpenAI 공식 문서

민감하거나 되돌리기 어려운 동작 전에는 별도로 다시 확인한다.

해보기

@Computer 로 [앱 이름] 을 열고, [메뉴 경로] 에서 [기간] 리포트를 조회해 주세요.
화면에 보이는 값을 그대로 표로 옮기고, 숫자를 계산하거나 보정하지 마세요.
저장·전송·설정 변경은 하지 말고, 표 초안을 먼저 보여 주세요.
값을 읽을 수 없는 칸은 "판독 불가"로 남겨 주세요.

@Computer 로 [앱 이름] 을 열어 [재현 절차] 를 그대로 따라가며 오류가 나는지 확인해 주세요.
각 단계마다 무엇을 클릭했고 화면이 어떻게 바뀌었는지 기록해 주세요.
오류가 재현되면 그 시점의 화면과 정확한 재현 절차를 정리해 주세요.
로그인 화면이나 결제 화면이 나오면 그 자리에서 멈추고 저를 부르세요.

두 프롬프트의 공통점은 읽기만 하게 하고, 되돌리기 어려운 동작 앞에서 멈추라고 지시한 것이다. Computer Use는 앱과 시스템 상태를 프로젝트 폴더 밖에서도 바꿀 수 있으므로, 범위를 좁히고 승인 요청을 읽는 습관이 안전장치다.

잠금 사용(locked use)은 무엇이고 얼마나 좁은가

잠금 사용은 macOS 전용이며, 내가 직접 켠 뒤에만 동작한다. Mac이 잠긴 뒤에도 연결된 기기에서 시작한 작업이 데스크톱 앱을 계속 쓸 수 있게 해 준다. 켜면 ChatGPT가 macOS 잠금 해제 흐름에 참여하는 Apple 인증 플러그인을 설치한다.

의도적으로 좁게 설계돼 있다. 범용 원격 잠금 해제 경로가 아니고, 다른 앱이나 로컬 프로세스가 컴퓨터를 잠금 해제하게 해 주지도 않는다. 안전장치도 함께 있다. 인증 창은 짧게 유지되며 현재 잠금 해제 시도에만 한정되고, 자동 잠금 해제는 활성 Computer Use 턴 동안 ChatGPT에만 허용되며, 일시적으로 잠금이 풀린 동안 ChatGPT가 모든 디스플레이를 덮고, 로컬 키보드나 포인터 입력이 감지되면 Mac을 다시 잠그고 내가 수동으로 풀 때까지 자동 잠금 해제를 멈춘다.

Appshots: 조작이 필요 없다면 이쪽

앱의 정보를 보여 주기만 하면 되는 경우가 훨씬 많다. 에러 메시지, 설정 패널, 디자인 시안, 캘린더 화면처럼 말로 설명하기보다 보여 주는 게 빠른 것들이다. Appshots는 이럴 때 쓴다.

• macOS의 ChatGPT 데스크톱 앱에서 제공되며, 양쪽 Command 키를 동시에 누르거나 직접 지정한 Appshots 단축키를 누르면 찍힌다.
• 캡처 대상은 가장 앞에 있는 창 하나다. 보이는 창의 이미지와, 그 창에서 얻을 수 있는 텍스트(스크롤 밖의 텍스트를 앱이 제공하는 경우 포함)가 함께 들어간다.
• 대화에 추가되면 첨부 파일처럼 동작한다. 세션 파일에 로컬로 저장된다.
• 기본적으로 새 대화가 시작되지만, 최근 60초 안에 어떤 대화와 상호작용했다면 그 대화에 붙는다. 연속으로 찍으면 같은 대화에 모인다.

권한은 Screen & System Audio Recording (창 이미지 캡처)과 Accessibility (창의 텍스트 읽기)다. Computer Use와 뿌리가 같은 권한이다.

한 가지 알려진 한계가 있다. Google Docs, Gmail, Google Sheets, Google Slides 같은 일부 앱과 사이트에서는 보이는 스크린샷만 전달되고 문서 전체나 화면 밖 텍스트는 받지 못할 수 있다. 이 경우 ChatGPT Work나 Codex에서는 설치된 해당 플러그인을 써서 앱 내용에 접근하는 편이 낫다. 3번(Appshots)에서 막히면 1번 (플러그인)으로 돌아가라는 뜻이다.

주의점

• 작업을 좁게 잡으세요. 한 번에 하나의 대상 앱이나 흐름만 준다.
• 민감한 앱은 닫아 두세요. 작업에 필요하지 않은 앱은 열어 둘 이유가 없다.
• 비밀값이 필요한 작업은 곁에 있을 때만. 각 단계를 직접 승인할 수 있어야 한다.
• 계정·보안·개인정보·네트워크·결제·자격 증명 설정은 자리를 지키세요.
• 엉뚱한 창을 건드리기 시작하면 즉시 취소하세요. 언제든 작업을 멈추거나 컴퓨터를 다시 내가 쓸 수 있다.
• 못 하는 일도 있다. 터미널 앱과 ChatGPT 자체는 자동화하지 못한다. 그렇게 하면 ChatGPT의 보안 정책을 우회할 수 있기 때문이다. 관리자로 인증하거나 컴퓨터의 보안·개인정보 권한 요청을 승인하는 것도 할 수 없다.
• 데스크톱 앱에서 한 변경은 즉시 안 보일 수 있다. 디스크에 저장되고 프로젝트가 추적하기 전까지는 검토 화면에 나타나지 않는다.
• 가용성이 다르다. 기능은 플랜·플랫폼·지역·롤아웃·워크스페이스 설정에 따라 다르다. Computer Use는 지원 지역의 데스크톱 앱 한정이며, 관리자가 조직 정책으로 끌 수도 있다.

정리

• Computer Use는 ChatGPT가 데스크톱 앱을 UI로 보고 조작하게 하는 기능이다.
• 전용 플러그인, 내장 브라우저, Appshots를 먼저 검토하고 그다음에 고른다.
• macOS는 백그라운드 실행과 잠금 사용이 되고, Windows는 전면을 점유한다.
• 시스템 권한과 앱 승인은 별개이며, 앱 단위로 매번 묻는다.
• 조작이 아니라 맥락 전달이 목적이라면 Appshots가 더 가볍고 안전하다.

여기까지가 도구를 연결하는 이야기다. 다음 섹션에서는 연결한 도구를 쓰는 절차 자체를 재사용 가능한 형태로 굳히는 방법, 즉 스킬(skills)과 자동화를 다룬다.

이해도 점검

퀴즈를 불러오는 중…