Computer Use で GUI 操作を自動化する

これまで「Claude にコードを書かせる」はできても、「Claude にブラウザで動作確認させる」「Claude に Figma の数値を読ませる」は手作業でした。Computer Use がそれを変えます。

Computer Use とは

Claude が画面のスクリーンショットを認識し、マウスとキーボードで GUI を操作する機能。2026年3月末に Claude Code CLI でも利用可能になり、4月にはデスクトップアプリにも展開されました。

有効化

# Computer Use 機能を有効化
claude computer-use enable

# セッション開始時に明示
claude --with-computer-use

# 設定ファイルで永続化
# ~/.claude/config.json
{
  "tools": {
    "computer_use": {
      "enabled": true,
      "sandbox": true  # 必須：サンドボックス内でのみ動作
    }
  }
}

典型ユースケース

ユースケース1：SPA の動作確認

# SPA を起動して、Claude が動作確認
claude "localhost:3000 を開いて、ログインフローを試して、
        失敗ケース（パスワード間違い）も確認して、
        スクリーンショットで結果を残して"

ユースケース2：Figma からの数値抽出

claude "Figma の URL: https://figma.com/file/xyz の
        ヘッダーコンポーネントから、
        フォントサイズ・パディング・ボーダー半径を読み取って、
        TypeScript のスタイル定数として src/styles/header.ts に書いて"

ユースケース3：CMS の更新

claude "WordPress 管理画面にログインして、
        「お知らせ」カテゴリに新規記事を投稿。
        タイトルとコンテンツは draft.md から読み取って"

必須：サンドボックス運用

Computer Use は 絶対にサンドボックス内で動かしてください。本番マシンで直接動かすのは事故の温床。

推奨セットアップ

Docker サンドボックスの例

# Dockerfile.computer-use
FROM ubuntu:24.04

RUN apt-get update && apt-get install -y 
    chromium-browser 
    xvfb 
    x11vnc 
    fluxbox

# Claude CLI install
RUN curl -fsSL https://claude.ai/install.sh | sh

CMD ["xvfb-run", "-s", "-screen 0 1920x1080x24", "claude", "--computer-use"]

承認フローの組み込み

サンドボックス内でも、不可逆操作は人間承認を必須にしましょう。

# .claude/computer-use-rules.json
{
  "require_approval": [
    "click .*'削除'",
    "click .*'公開'",
    "type .*password",
    "navigate .*production"
  ],
  "audit_log": "/var/log/claude-computer-use.log"
}

失敗パターンと対処

このレッスンのまとめ

Computer Use は 「GUI でしか完結しない作業」を Claude に任せる強力な機能。ただし サンドボックス必須、承認フロー必須。次のレッスンでは Routines でスケジュール / イベント駆動の自動実行を学びます。