ステージング環境で毎晩E2Eテストを実行する

手動でのセットアップが面倒ですか？このページのリンクを Devin のセッションに貼り付けて、すべてのセットアップを依頼してください。

このガイドでは、v3 API を使用したスケジュール済み自動化の管理について説明します。これはInfrastructure as Codeワークフローに役立ちます。APIの設定なしに、自動化ページから直接作成・管理することもできます。

APIアクセス用のサービスユーザーをセットアップする

API 経由で作成された自動化には、適切な権限を持つサービスユーザーが必要です。最初に 1 つ設定しておけば、以降のすべての呼び出しでその APIキーを使用できます。

app.devin.ai > Settings > Devin API に移動し、Service users タブを開いて Provision service user をクリックします
ManageOrgAutomations 権限を含むロールを割り当てます
プロビジョニング後に表示される APIキーを保存しておきます。表示されるのは一度きりで、その後は Bearer トークンとして使用します

organization ID は Settings > Devin API ページの上部に表示されます。ViewOrganizations を含むロールを持つ Enterprise サービスユーザーは、自身のトークンを使って List Organizations エンドポイントを呼び出すこともできます。

curl "https://api.devin.ai/v3/enterprise/organizations" \
  -H "Authorization: Bearer $DEVIN_API_KEY"

このガイドに記載されているコマンドがそのまま動作するように、両方の値をエクスポートしてください:

export DEVIN_API_KEY="sk-your-service-user-key"
export ORG_ID="your-org-id"

サービスユーザーおよび権限の詳細については、API 認証に関するドキュメントを参照してください。

テスト実行のためのプレイブックを作成します

自動化を作成する前に、E2E スイートをどのように実行し、結果をどのように扱うかを Devin に正確に指示するプレイブックを用意します。Settings > Playbooks に移動して新しいプレイブックを作成するか、テストワークフローの説明から Devin に生成を依頼してください。以下は Playwright スイート向けの例です:保存後はプレイブック ID を控えておいてください。自動化のプロンプト内で参照することになります。プレイブックを表示しているときの URL (app.devin.ai/.../playbooks/{playbook_id}) から確認できます。

Devin がプレイブックの一部としてチケットを作成できるように、Linear integration をインストールしてください。Automations ページで自動化を編集する際に、チームに自動で通知が届くように Post to Slack 通知 (例: #qa-results) を追加することもできます。テストで必要な場合は、organization secrets を通じて、ステージング環境のシークレット (データベース URL、APIキーなど) への読み取り専用アクセスを Devin に付与してください。

API でナイトリー自動化を作成する

次に、POST /v3/organizations/{org_id}/automations エンドポイントを使って、schedule:recurring トリガーと start_session アクションを持つ自動化を登録します。プロンプト内では @playbook:{id} トークンでプレイブックを参照します。自動化によって開始されたセッションでは、付与したツールのみが利用できるため、tools ブロックで Linear のツールを有効にし、Devin が #qa-results チャンネルに投稿できるようにします (Slack のワークスペース ID とチャンネル ID は自分のものに置き換えてください)。次の例では、毎晩午前 2 時 (UTC) に実行されます。

curl -X POST "https://api.devin.ai/v3/organizations/$ORG_ID/automations" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "Nightly E2E — staging",
    "run_as": {"type": "organization"},
    "triggers": [{
      "event_type": "schedule:recurring",
      "conditions": {"any": [{"all": [{
        "field": "rrule",
        "operator": "recurrence",
        "value": "FREQ=DAILY;BYHOUR=2;BYMINUTE=0"
      }]}]}
    }],
    "actions": [{
      "type": "start_session",
      "prompt": "Run the nightly E2E test suite against staging. Follow @playbook:your-playbook-id exactly."
    }],
    "tools": {
      "linear_enabled": true,
      "slack_channels": [{"team_id": "T0123456789", "channel_id": "C0123456789"}]
    }
  }'

レスポンスには、この自動化を後で管理する際に使用する automation_id が含まれています。保存しておいてください:

export AUTOMATION_ID="a1b2c3d4e5f6789012345678"  # レスポンスから取得した automation_id

rrule 条件は、UTC で評価される iCalendar の RRULE を受け取ります。以下にいくつか便利な例を示します:

Pattern	When it runs
`FREQ=DAILY;BYHOUR=2;BYMINUTE=0`	毎日午前 2 時 (UTC)
`FREQ=WEEKLY;BYDAY=MO,TU,WE,TH,FR;BYHOUR=2;BYMINUTE=0`	平日のみ (月〜金)
`FREQ=WEEKLY;BYDAY=MO;BYHOUR=6;BYMINUTE=0`	毎週月曜日の午前 6 時 (UTC)

なぜ午前 2 時なのでしょうか？テストは、その日の最後のデプロイがステージング環境で安定した後で、かつエンジニアが業務を開始したときに不具合が見えるよう、十分早い時間に実行したいからです。チームのタイムゾーンとデプロイのサイクルに合わせて調整してください。利用可能なすべてのフィールドについては、Create automation エンドポイントのドキュメントを参照してください。

初回実行を検証し、プロンプトを最適化する

自動化が最初に実行されたら、セッションを確認して、Devin がテストを正しく実行し、出力が期待どおりになっていることを確かめます。

自動化ページで対象の自動化を開き、Activity タブのセッションリンクをたどります
Playwright のテストスイートは実行されましたか？実際の不具合 (フレークテストではないもの) に対して Linear チケットが作成されましたか？
#qa-results Slack チャンネルでサマリーメッセージを確認します

初回実行時によくある問題と、その対処方法:

Devin がステージングにアクセスできない: ステージング環境変数 (STAGING_API_KEY や DATABASE_URL など) を organization secrets として追加し、その自動化が開始するすべてのセッションで利用できるようにします
フレークテストからのチケットが多すぎる: プレイブックにリトライを追加します: 「チケットを起票する前に、失敗したテストはすべて 1 回再実行する。2 回失敗したテストに対してのみチケットを起票する。」
テストに時間がかかりすぎる: スイートの対象範囲を絞ります — 例: 「tests/critical/ と tests/smoke/ のテストだけを実行する」— またはセッションのタイムアウトを延長します

自動化をコードで管理する

ナイトリーの実行が安定したら、他の自動化と同様に管理したくなるはずです。デプロイフリーズ中は一時停止したり、テストスイートが変わったらプロンプトを更新したり、別の環境用に 2 つ目の自動化を作成したりできます。デプロイフリーズやメンテナンスウィンドウの間は、自動化を一時停止 します:

curl -X PATCH "https://api.devin.ai/v3/organizations/$ORG_ID/automations/$AUTOMATION_ID" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"enabled": false}'

凍結期間が終わったら、再度有効化してください:

curl -X PATCH "https://api.devin.ai/v3/organizations/$ORG_ID/automations/$AUTOMATION_ID" \
  -H "Authorization: Bearer $DEVIN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"enabled": true}'

稼働中のものを監査するには、すべての自動化を一覧表示します：

curl "https://api.devin.ai/v3/organizations/$ORG_ID/automations" \
  -H "Authorization: Bearer $DEVIN_API_KEY"

複数の自動化を管理しているチームは、YAML 設定ファイルから自動化の定義を同期する CLI の作成を Devin に依頼することで、テスト設定と同様に自動化もバージョン管理できます。

Get Started

Essential Guidelines

Onboarding Devin

Working with Devin

Product Guides

Integrations

Admin

Release Notes