> ## Documentation Index
> Fetch the complete documentation index at: https://docs.devin.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# コンピュータ利用

> Devin がフル機能のデスクトップ環境を使って GUI を操作し、アプリケーションをテストし、変更を画面上で確認する方法

Devin はブラウザだけでなく、完全なデスクトップ環境にアクセスすることができます。マウスを動かしたり、UI 要素をクリックしたり、キーボードから文字を入力したり、スクリーンショットを撮ったり、デスクトップ上で動作するあらゆるアプリケーションを操作したりできます。この機能は **Computer Use** と呼ばれ、人間と同じように Devin があなたのソフトウェアをテストし、操作できるようにします。

Computer Use は **Linux** (デフォルトのセッションプラットフォーム)、**Windows**、**macOS** のセッション、およびグラフィカルデスクトップを備えた [Outposts](/ja/cloud/outposts/overview) マシンで動作します。詳しくは、[対応プラットフォーム](#supported-platforms)を参照してください。

<video controls className="w-full aspect-video" src="https://mintcdn.com/cognitionai/lQBZeyJhpcluxU_P/images/computer-use-demo.mp4?fit=max&auto=format&n=lQBZeyJhpcluxU_P&q=85&s=6d33a326a338483ad74eb9e05f4a9d71" data-path="images/computer-use-demo.mp4" />

<div id="what-is-computer-use">
  ## Computer Use とは？
</div>

Computer Use を使うと、Devin にマウスとキーボード付きのグラフィカルなデスクトップ環境へ直接アクセスさせることができます。これは単なるブラウザ自動化を超えており、画面に表示される **あらゆるアプリケーション** を操作できます。具体的には次のようなものが含まれます:

* Chrome 上の **Web アプリケーション** (ボタンをクリックする、フォームに入力する、ページを遷移する)
* セッションのプラットフォーム (Linux、Windows、または macOS) 上で動作する **デスクトップアプリケーション**。これには Electron アプリ、IDE、各プラットフォームネイティブの GUI が含まれます
* **ターミナルベースの UI** (TUI プログラム、対話型 CLI)
* デスクトップ上に表示できる **あらゆるビジュアルインターフェース**

Devin は画面を 1024×768 ピクセルのディスプレイとして認識し、人間がコンピュータの前に座っているのと同じように、クリック、入力、スクロール、ドラッグ、スクリーンショットの撮影といった操作を行えます。

<div id="supported-platforms">
  ## 対応プラットフォーム
</div>

| プラットフォーム         | Computer Use のサポート                                                                                                                                                       |
| ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| Linux (default)  | 対応 — セッションはフル Linux デスクトップ環境で実行されます                                                                                                                                      |
| Windows          | 対応 — [Windows 環境](/ja/onboard-devin/environment/windows-support)上のセッションはフル Windows デスクトップ環境で実行されます                                                                       |
| macOS            | 対応 — [macOS 環境](/ja/onboard-devin/environment/macos-support)上のセッションは、iOS シミュレータを含むフル macOS デスクトップで実行されます                                                                 |
| Outposts (Linux) | マシンで X セッションが実行中の場合に対応 (ワーカーに `DISPLAY` が設定されている場合。デスクトップセッションまたは Xvfb など) 。ヘッドレスマシンでは、代わりに明確なエラーが表示されます。[Outposts での Computer Use](#computer-use-on-outposts)を参照してください。 |
| Outposts (macOS) | 対応 — Devin はマシンの既存のデスクトップセッションを利用します。スクリーンショットには **画面収録** 権限が必要で、マウス/キーボード操作には追加で **アクセシビリティ** 権限が必要です。[Outposts での Computer Use](#computer-use-on-outposts)を参照してください。   |

Computer Use の使用感は、すべてのプラットフォームで同じです。Devin はマウスとキーボードを利用し、スクリーンショットを取得し、Web アプリには Chrome を実行し、テスト セッションを記録できます。Windows ではさらに、Devin は Windows ネイティブのデスクトップ アプリケーション (WPF、WinForms、その他 Windows でのみ実行されるアプリなど) もテストできます。macOS では、Mac アプリやシミュレータ上の iOS アプリをテストできます。別のプラットフォームでセッションを実行するには、[Windows サポート](/ja/onboard-devin/environment/windows-support)または [macOS サポート](/ja/onboard-devin/environment/macos-support)で説明されているとおり、ブループリントを設定してください。エンドツーエンドの使用例については、[Devin で iOS アプリを構築する](/ja/tutorial-library/ios-app)を参照してください。

macOS では、Devin はキーボード ショートカットに Control ではなく Command キー (⌘C、⌘V) を利用します。

<div id="how-to-enable-it">
  ## 有効化する方法
</div>

Computer Use は、組織のカスタマイズ設定にある **Enable desktop mode** トグルで制御されます。

1. [**Settings > Customization**](https://app.devin.ai/customization) に移動します
2. **Browser interaction** セクションで、**Enable desktop mode** トグルをオンにします
3. Devin はセッション中にデスクトップ環境を使用するようになります

<Info>Desktop モードはすべてのプランで利用できます。この設定を変更できるのは組織の管理者のみです。</Info>

<div id="when-computer-use-runs">
  ## コンピュータ操作が実行されるタイミング
</div>

Desktop モードを有効にすると、すべてのセッションでコンピュータ操作が利用可能になります。コンピュータ操作が実行されるケースは次の 3 つです。

<div id="after-creating-a-pr">
  ### PR を作成した後
</div>

Devin が PR を作成すると、**Test the app** ボタンが表示されます。これをクリックすると、[テストワークフロー](/ja/work-with-devin/testing-and-recordings) 全体がトリガーされます。Devin がアプリを起動し、Computer Use 機能を使ってデスクトップを操作し、変更をテストして、その録画を送信します。

<Frame>
  <img src="https://mintcdn.com/cognitionai/t3ELyAdF5CfeLLyT/images/test-the-app-button.png?fit=max&auto=format&n=t3ELyAdF5CfeLLyT&q=85&s=6e7cc949688beb051244c06844a7f509" alt="Test the app ボタン" width="276" height="96" data-path="images/test-the-app-button.png" />
</Frame>

<div id="on-request-during-a-session">
  ### セッション中にリクエストする場合
</div>

セッションの任意のタイミングで Devin にテストを依頼できます。特別な構文は不要で、自然な言葉で指示してください。例えば次のように言えます:

* 「今行った変更をテストして、録画を送って」
* 「ブラウザでアプリを開いて、ログインページが動作するか確認して」
* 「デスクトップアプリを起動して、新しいメニュー項目が表示されるかチェックして」

<div id="autonomously-when-appropriate">
  ### 適切な場合は自律的に実行
</div>

Devin は、デスクトップでの操作がそのタスクに最適な手段かどうかを自律的に判断します。タスクに UI 要素のクリック、アプリの操作、フォーム入力、あるいは画面上での目視確認が含まれる場合、Devin は明示的に指示しなくても Computer Use を使用します。Devin に画面上で「どう」操作するかを教える必要はなく、「何を」達成したいのかだけを伝えてください。

<div id="what-devin-can-do-with-computer-use">
  ## Devinがコンピュータを操作してできること
</div>

<div id="test-web-applications-end-to-end">
  ### Webアプリケーションをエンドツーエンドでテストする
</div>

Devinはローカル環境でアプリを起動し、Chromeで開いたうえで、ログイン、ナビゲーション、フォーム送信、チェックアウトといったユーザーフロー全体を順に操作し、すべてが期待どおりに動作しているかを検証できます。

<div id="test-desktop-applications">
  ### デスクトップアプリケーションのテスト
</div>

Devin のセッションプラットフォーム上で動作するアプリケーションは、どれでもテストできます。Linux セッションでは、Electron アプリ、Java Swing/AWT アプリケーション、GTK/Qt アプリなどがこれに含まれます。[Windows セッション](/ja/onboard-devin/environment/windows-support)では、WPF や WinForms アプリなどの Windows ネイティブアプリケーションもテストできます。Devin はアプリを起動し、GUI を操作して動作を検証します。

<div id="visual-verification">
  ### ビジュアル検証
</div>

Devin はテスト中の特定のタイミングでスクリーンショットをキャプチャし、レイアウト、スタイル、UI 要素が正しく表示されているかを検証できます。画面上の状態を期待される挙動と照合し、外観上の問題を検出してフラグ付けできます。

<div id="interact-with-complex-ui-flows">
  ### 複雑な UI フローを操作する
</div>

一部のテストシナリオでは、単純な API 呼び出しやブラウザ自動化だけでは対応できない、複数ステップの GUI 操作が必要になります。たとえばドラッグ＆ドロップ、コンテキストメニュー、キーボードショートカット、複数ウィンドウ間の移動などです。Computer Use はこれらすべてに対応します。

<div id="record-testing-sessions">
  ### テストセッションの記録
</div>

Devin はテスト中に画面を録画し、動画内の重要なタイミングに注釈を付けることができます。録画は処理された後に送信されるため、Devin がアプリとどのようにやり取りしているかを確認し、変更が正しく動作しているかを検証できます。録画ワークフローの詳細については、[Testing & Video Recordings](/ja/work-with-devin/testing-and-recordings) を参照してください。

<div id="how-computer-use-works">
  ## コンピュータ操作の仕組み
</div>

Devin がセッション中に Computer Use を使用する際は、次のプロセスに従います。

1. 現在の画面に何が表示されているかを把握するために、**スクリーンショットを撮る**
2. ボタン、テキストフィールド、メニュー、リンクなどの**操作可能な要素を特定**し、どれを操作するかを決める
3. **アクションを実行**する — クリック、入力、スクロール、またはキーボードショートカットの実行
4. **待機して観察する** — アクションの結果を確認するために、もう一度スクリーンショットを撮る
5. タスクが完了するまで**繰り返す**

この「スクリーンショットとアクション」のループにより、Devin は画面上のあらゆる状態に適応し、動的コンテンツ、読み込み中の状態、ポップアップ、予期しないダイアログなどを人間と同じように扱うことができます。

<div id="computer-use-and-testing">
  ## Computer Use とテスト
</div>

Computer Use は、Devin の[テストと記録](/ja/work-with-devin/testing-and-recordings)ワークフローの基盤となる機能です。Devin が PR を作成した後にあなたのアプリケーションをテストする際は、次のように進行します。

1. **セットアップ** — Devin が依存関係をインストールし、アプリを起動し、環境を準備する
2. **テスト計画** — Devin が差分を読み、要点を絞ったテスト計画を作成する
3. **Computer Use による実行** — Devin がデスクトップを使ってアプリと対話し、テスト計画に沿ってステップごとに実行する
4. **記録** — プロセス全体が注釈付きの動画として記録され、その後あなたにレビュー用として送信される

Computer Use と Testing & Recordings ワークフローの主な違いはスコープです。**Computer Use** は基盤となる機能 (デスクトップ操作) であり、**Testing & Recordings** は Computer Use を利用してあなたの PR をテストし、動画によるエビデンスを提供するための構造化されたワークフローです。

<div id="computer-use-on-outposts">
  ## Outposts での Computer Use
</div>

[Outposts](/ja/cloud/outposts/overview) では、セッションはお客様が管理するマシン上で実行されます。そのため、Devin は独自のデスクトップ環境をプロビジョニングするのではなく、マシンに既存のデスクトップ環境を利用します。`computer` ツールはすべてのデスクトップモードのセッションで利用できます。マシンがアクションに対応していない場合、ツールが表示されないままになるのではなく、明確で対処可能なエラーが表示されてアクションは失敗します。

<div id="requirements-by-platform">
  ### プラットフォーム別の要件
</div>

**Linux**: ワーカーは、グラフィカルセッションにアクセスできる状態で実行する必要があります。ワーカーの環境変数 `DISPLAY` を設定し、実行中の X サーバーを指定してください。ヘッドレスマシンでは、自分で X サーバーを起動できます (例: `Xvfb :0` とウィンドウマネージャー) 。ワーカーを起動する前に `DISPLAY` をエクスポートしてください。ディスプレイがない場合、コンピューター操作では、グラフィカルデスクトップを利用できないことと、その設定方法を示すエラーが返されます。

**macOS**: Devin はマシンの既存のデスクトップセッションを再利用します。Devin ワーカーを実行するプロセスには、2 種類の macOS 権限 (TCC) が必要です。

* **画面収録** — スクリーンショットに必要です。
* **アクセシビリティ** — 人工的なマウスおよびキーボード入力に必要です。

ワーカーを起動するプロセスに対して、**システム設定 > プライバシーとセキュリティ** で両方の権限を付与するか、管理対象フリートでは MDM PPPC プロファイルで事前承認してから、ワーカーを再起動してください。

**Windows**: Devin はマシンの既存の対話型デスクトップセッションを使用します。ワーカーが独自の Chrome インスタンスを起動・設定する Devin 管理の Windows 環境とは異なり、Windows Outpost では Chrome の管理をユーザーが行います。ブラウザー機能を使用するには、[マシンの依存関係](/ja/cloud/outposts/overview#machine-dependencies) の説明に従って Chrome をインストールしてください。Devin は既存のデスクトップをそのまま操作します。

<div id="partial-capability-is-expected">
  ### 一部の機能が利用できないことは想定されています
</div>

各機能は個別に確認されるため、Devin ではツール全体が使えなくなるのではなく、利用可能な機能に応じて動作が制限されます。

* 画面収録 は許可されていても アクセシビリティ が許可されていない場合 (よくあるデフォルト設定) 、**スクリーンショットは利用できます**が、クリック、入力、スクロールのアクションでは、付与すべき権限を具体的に示すエラーが返されます。
* ディスプレイをまったく利用できない場合、すべてのコンピューター操作で理由 (例: `DISPLAY` が設定されていない) と、変更すべき内容が返されます。

テストセッションの画面録画には、マシンに `ffmpeg` も必要です。詳細は[マシンの依存関係](/ja/cloud/outposts/overview#machine-dependencies)を参照してください。

<div id="tips-for-getting-the-best-results">
  ## 最良の結果を得るためのヒント
</div>

<CardGroup cols={2}>
  <Card title="テスト内容を具体的に伝える" icon="bullseye">
    * 「アプリを開き、右上のSettingsボタンをクリックし、ダークモードを切り替えても、すべてのテキストが引き続き読みやすいことを確認する」
    * 「Electronアプリを起動し、新しいドキュメントを作成してテキストを入力し、ウィンドウを閉じたときに保存されることを確認する」
  </Card>

  <Card title="成功のイメージをDevinに伝える" icon="check">
    * 「ダッシュボードには、エラーメッセージなしで3つのチャートが表示されていること」
    * 「フォーム送信後、ページ上部に緑色の成功バナーが表示されること」
  </Card>
</CardGroup>

<div id="pre-configure-access">
  ### アクセスを事前に設定する
</div>

アプリが認証を必要とする場合は、セッション中にあなたへ確認しなくても Devin がログインできるよう、事前に[Secrets](/ja/product-guides/secrets)を設定してください。また、[環境設定](/ja/onboard-devin/environment)を完了し、Devin が依存関係をインストールして問題なくアプリを起動できるようにしておきましょう。

<div id="create-testing-skills">
  ### テスト用 Skill を作成する
</div>

頻繁にテストを行うアプリ向けに、アプリケーションのセットアップ方法とテスト方法を Devin に正確に指示する [Skill](/ja/product-guides/skills) を作成します。これにより、繰り返しのセッションにかかる時間を短縮し、一貫したテストを実現できます。具体例については、[Testing & Video Recordings — Skill 提案](/ja/work-with-devin/testing-and-recordings#skill-suggestions) を参照してください。

<div id="scripted-browser-use-via-playwright">
  ## Playwright を使ったスクリプトによるブラウザ操作
</div>

Devin の Chrome ブラウザは、Playwright が接続できる **Chrome DevTools Protocol (CDP)** エンドポイントを公開しています。Devin は Playwright スクリプトを作成して実行し、ログインフローや定型的なデータ入力など、自身の実行中のブラウザに対する操作を自動化できます。これらのスクリプトは、ユーザー自身で作成してリポジトリにチェックインすることもできます。その他のほとんどのブラウザ操作では、Devin のネイティブな Computer Use またはブラウザツールの利用を推奨します。

<div id="how-it-works">
  ### 仕組み
</div>

Devin の Chrome インスタンスは、ポート **29229** で CDP 接続を待ち受けています。Playwright スクリプトはこのブラウザにアタッチし、操作を実行し (フォームへの入力、ボタンのクリック、リダイレクトの処理など) 、その後切断できます。スクリプトは新しいブラウザを起動するのではなく、*既存の* ブラウザに接続するため、Cookie、localStorage、auth token などの状態変更は、スクリプト終了後も保持されます。

つまり、Devin は認証済みのセッションをすぐに利用できます。ページを更新したり、ページ間を移動したり、通常どおりアプリを操作したりできます。

<div id="example-connecting-to-devins-browser">
  ### 例: Devinのブラウザに接続する
</div>

```python theme={null}
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.connect_over_cdp("http://localhost:29229")
    context = browser.contexts[0]
    page = context.pages[0] if context.pages else context.new_page()

    # 例: ページに移動してログインする
    page.goto("https://example.com/login")
    page.fill('input[name="email"]', "user@example.com")
    page.fill('input[name="password"]', "password")
    page.click('button[type="submit"]')
    page.wait_for_url("**/dashboard")
    print("ログイン成功!")
```

このスクリプトを実行すると、Devin のブラウザはログイン済みになり、すぐに利用できます — 手動で操作する必要はありません。

<div id="when-to-use-this">
  ### これを利用する場面
</div>

<CardGroup cols={2}>
  <Card title="SSO / OAuth フロー" icon="key">
    毎セッション手動で一つひとつクリックして進めるのが煩雑な、複数ステップのログインフロー (例: Okta、Auth0、Google SSO) を自動化します。
  </Card>

  <Card title="環境設定時の認証" icon="gear">
    [環境設定](/ja/onboard-devin/environment)にログインスクリプトを含めることで、Devin が各セッションを認証済みの状態で開始できるようになります。
  </Card>

  <Card title="Skill ベースの自動化" icon="wand-magic-sparkles">
    ログインスクリプトやデータ入力スクリプトを[Skill](/ja/product-guides/skills)に保存しておくと、必要なときに Devin が自動的に実行できます。
  </Card>

  <Card title="定型的なデータ入力" icon="table">
    ポイントアンドクリックでは時間がかかり、ミスも起きやすい反復的なフォーム送信や一括データ入力をスクリプト化します。
  </Card>
</CardGroup>

<div id="tips">
  ### ヒント
</div>

* ログインスクリプトは リポジトリ の `.agents/skills/` ディレクトリに保存し、セッションをまたいでも保持されるようにします
* 認証情報の保存には [Secrets](/ja/product-guides/secrets) を利用し、スクリプト内では環境変数経由で参照します
* CDP エンドポイントは常に `http://localhost:29229` です — Desktop モードの有効・無効にかかわらず、ポートは同じです
* スクリプトの実行後、Devin は Computer Use またはブラウザツールのいずれかを利用して、認証済みのセッションを操作できます

<Note>
  環境変数として公開された [Secrets](/ja/product-guides/secrets) と組み合わせることで、`.agents/skills/` 内のスクリプトは、クッキーに限らず、毎回のセッション開始時にブラウザレベルの**あらゆる**状態を注入できます。たとえば、スクリプトから `page.evaluate()` を呼び出して、環境変数から読み取った `localStorage` のキー (機能フラグ、API トークン、テナントの選択) を書き込むことで、Devin のブラウザを常にアプリが想定する状態で開始できます。スクリプト化せずに手動で取得した状態を保持する方法については、[Browser authentication](/ja/work-with-devin/browser-auth) を参照してください。
</Note>

<div id="troubleshooting">
  ## トラブルシューティング
</div>

<div id="devin-cant-find-a-ui-element">
  ### Devin が UI 要素を見つけられない
</div>

Devin が画面上のボタンや要素を見つけられない場合は、指示をより具体的にしてください。要素の位置やラベル、周囲のコンテキストなどを説明してください。たとえば、「モーダルの右下にある青い **Save** ボタンをクリックして」と指示する方が、「Save をクリックして」と指示するよりも明確です。

<div id="the-app-doesnt-render-on-devins-desktop">
  ### アプリがDevinのデスクトップ上で表示されない
</div>

DevinはデフォルトでLinux環境で動作します。アプリケーションがWindowsでしか動作しない場合は、Devinがその環境でテストできるように、セッションを[Windows環境](/ja/onboard-devin/environment/windows-support)で実行してください。macOS専用のアプリケーションには、デスクトップセッションを備えたmacOSの[Outpost](/ja/cloud/outposts/overview)マシンが必要です。WebアプリケーションはChrome上で動作するため、プラットフォームに関係なく動作します。デスクトップアプリの場合は、セッションの実行先プラットフォーム向けのビルドが用意されていることを確認してください。

<div id="devin-is-clicking-the-wrong-things">
  ### Devin が誤った場所をクリックしてしまう
</div>

Devin が UI 上で意図しない操作をしてしまう場合は、アプリ向けの具体的なナビゲーション手順を記載した [Skill](/ja/product-guides/skills) または [Knowledge](/ja/product-guides/knowledge) エントリを用意してください。あいまいさを減らすために、「画面左上のハンバーガーメニューをクリックし、表示されるドロップダウンから **Settings** をクリックする」のように、手順を正確に記述してください。