mirror of
https://github.com/tester-army/e2e.git
synced 2026-11-22 18:19:48 +08:00
* docs(ja): smooth the wording on the CLI, config, and runner reference Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Mn9zDfGr6hZCd7ns31Y2WN * docs(ja): address review on the ref-runner wording Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Mn9zDfGr6hZCd7ns31Y2WN --------- Co-authored-by: Claude Opus 5.5 <noreply@anthropic.com>
317 lines
38 KiB
Plaintext
317 lines
38 KiB
Plaintext
---
|
||
title: セキュリティ規則
|
||
description: モデル入力、ツール呼び出し、シークレット、秘匿、セッション、リプレイキャッシュ、成果物、ネットワーク接続に対してランナーが適用するすべての規則。
|
||
"og:image": "https://e2e.com/docs/images/og/reference/security.png?v=888009ffe4"
|
||
"twitter:image": "https://e2e.com/docs/images/og/reference/security.png?v=888009ffe4"
|
||
---
|
||
|
||
[セキュリティ](/security)ガイドでは、信頼の境界を説明しています。このページでは、その境界を守るためにコードが適用する規則を一覧にしています。
|
||
|
||
## リファレンス
|
||
|
||
| セクション | 内容 |
|
||
| --- | --- |
|
||
| [モデル入力](#model-input) | 各ステップでモデルが読む情報 |
|
||
| [ツール呼び出し](#tool-calls) | 組み込みツール、プロジェクトツール、ノード ID |
|
||
| [ポリシーによる拒否](#policy-denials) | `POLICY_DENIED` で失敗する呼び出し |
|
||
| [ナビゲーション](#navigation) | エントリーポイントごとの URL スキーム |
|
||
| [リクエストの認証情報](#request-credentials) | `headers`、`basicAuth` |
|
||
| [サイトの判定](#site-check) | 子フレーム |
|
||
| [シークレットの入力](#secret-fills) | `type_secret`、`fill(secret)` |
|
||
| [シークレット入力後のスクリーンショット](#screenshots-after-a-secret-fill) | マスキングの対象 |
|
||
| [エンジンオプション内のシークレット](#secrets-in-engine-options) | `basicAuth` とその他のエンジンオプション |
|
||
| [秘匿](#redaction) | モデル入力、レポート、ダウンロード、出力 |
|
||
| [秘匿の対象外](#where-redaction-stops) | 変換された値、動画、`command.log` |
|
||
| [ダウンロード](#downloads) | アプリが提供したファイル |
|
||
| [セッション](#sessions) | 保存された認証状態 |
|
||
| [キャッシュの信頼性](#cache-trust) | リプレイキャッシュファイルと `cache.store` |
|
||
| [成果物](#artifacts) | 出力ディレクトリ内のファイル |
|
||
| [外部への接続](#outbound-connections) | ランナーの接続先 |
|
||
| [MCP と explore](#mcp-and-explore) | MCP セッションと探索時のサインイン |
|
||
|
||
### モデル入力
|
||
|
||
モデルは、アプリの内容を引用された証拠として読みます。ランナーのポリシーや信頼されたプロジェクトのコンテキストとは分離されています。アプリの内容によって、ツールや認証情報の使用を許可したり、予算を増やしたりすることはできません。ステップ全体の仕組みは[エージェントステップの動作](/agent-steps)を参照してください。
|
||
|
||
| プロンプト内の情報 | 形式 |
|
||
| --- | --- |
|
||
| 指示とパラメーター | `<instruction>` 内に引用し、データであることを明示します。`Secret` パラメーターでは名前と用途だけを示します。 |
|
||
| 画面 | ノード ID、ロール、名前、テキスト、テスト ID、リンク先、状態を含むアクセシビリティツリーです。サイズ上限で切り詰めます。セレクターは含めません。リンクのクエリとフラグメントは `?…` と `#…` だけを表示します。機密フィールドは `value=<secure>` と表示します。 |
|
||
| ロケーション | ユーザー情報を除き、機密情報を秘匿した現在の URL です。判定には、アプリのオリジン上ならパス、それ以外なら URL 全体を、サイズ上限で切り詰めて渡します。デバイスではアプリと画面のタイトルです。 |
|
||
| スクリーンショット | 必要な場合や要求された場合に、機密フィールドがマスキングされていることをエンジンが保証できるときだけ渡します。 |
|
||
| 以前のステップ | `agent.act` には、同じテストまたは直列グループの記録を上限付きで渡します。判定は現在の画面、ロケーション、指示とそのパラメーター、エージェントのコンテキストだけを使います。 |
|
||
|
||
### ツール呼び出し
|
||
|
||
- 組み込みツールは未定義の項目を受け付けないスキーマを持ち、エンジンが対応している場合だけ公開されます。フィールドを宣言するツールは、未宣言のキーを拒否します。フィールドのないツールは、余分なキーを取り除いて実行します。
|
||
- プロジェクトツールは `execute` を指定して `defineTool` で作成する必要があり、組み込みの名前は置き換えられません。`defineTool` に渡したスキーマをそのまま使うため、未宣言のキーを除去するか拒否するかは、そのスキーマによります。
|
||
- 観測を要求できるのは、読み取り専用のプロジェクトツールだけです。
|
||
- ステップに公開していないツールへの呼び出しや、フィールドを宣言する組み込みツールに未宣言の引数を渡した呼び出しは実行しません。モデルは拒否を呼び出し結果として読み、再試行します。
|
||
- ランナーはモデルのテキストを、コード、セレクター、シェルコマンド、設定として評価しません。
|
||
|
||
| エラー | 発生条件 |
|
||
| --- | --- |
|
||
| `CONFIG_LOAD_FAILED` | `execute` のない `defineTool`。設定の読み込み時に発生します。 |
|
||
| `INVALID_CONFIG` | `defineTool` で作成していないツール、または組み込みツールやハーネスのツールと同じ名前のツール。 |
|
||
| `LOCATOR_NOT_FOUND` | 現在の画面にないノード ID。操作は失敗し、モデルは失敗を読んで再び操作します。 |
|
||
|
||
### ポリシーによる拒否
|
||
|
||
次の呼び出しは `POLICY_DENIED` で失敗します。
|
||
|
||
| 拒否する操作 | 理由 |
|
||
| --- | --- |
|
||
| `about:blank` を除き、`http:` と `https:` 以外のスキームへのナビゲーション | `file:`、`data:`、`javascript:` と、`view-source:file:` などのラッパーは、ローカルまたはインラインの内容を読み込むためです。 |
|
||
| 不正な形式の URL | 自動修正は行いません。 |
|
||
| JSON を受け取る箇所への `Secret` の受け渡し | ハンドルは値を保持せず、値をシリアライズすることも許可されません。 |
|
||
| getter、または `toHaveValue`、`toHaveText`、`toContainText`、`toHaveAttribute` マッチャーによる、機密フィールドからの値、テキスト、属性の読み取り | シークレット自体ではなく、操作の結果をアサートしてください。非公開の値は秘匿された値であり、空でも欠落でもありません。 |
|
||
| 未宣言の名前を使う `type_secret` | ステップのパラメーターに含まれるシークレットだけを入力できます。 |
|
||
| 無効または編集不能なノードへの `type_secret`、または MCP の `run_code` 内の `fill` | 入力先は `textbox`、`searchbox`、`combobox` です。 |
|
||
| パスワードフィールド以外へのパスワード入力 | 用途が一致する必要があります。汎用シークレットは、編集可能な任意の入力欄に入力できます。 |
|
||
| 設定にシークレットがある場合に、テキストの一部(正規表現、`true` 以外の `exact`、`hasText`)で検索する MCP の `run_code` ロケーター | エンジンは秘匿前のテキストで照合するため、一致するかどうかからシークレットを少しずつ推測できてしまいます。`run_code` のマッチャーは代わりに秘匿済みテキストを比較します。 |
|
||
| 変更を行うプロジェクトツールからの観測要求 | 観測は別の呼び出しで行ってください。 |
|
||
| ピクセルが非公開の場合の `vision: 'only'` | 代わりに使える情報がありません。 |
|
||
| Cookie の URL が `http:` または `https:` でない `browser.setCookies` | Cookie を保持できるのは Web のオリジンだけです。 |
|
||
| エンジンがすべての機密フィールドのマスキングを保証できない場合の `toHaveScreenshot()` | スクリーンショットは保存しません。 |
|
||
| エージェント、エグゼキューター、MCP の `upload` による、プロジェクトルート外のファイル、隠しファイル、隠しディレクトリ内のファイルのアップロード | フォームを通してコンピューター外に送信できるのは、プロジェクトのファイルと e2e 同梱のサンプルファイル(`sample:photo.png` など)だけです。 |
|
||
| MCP の `screenshot` の `path` がプロジェクトルート外、隠しパス、隠しディレクトリ内を指す場合 | セッションが書き込めるのはプロジェクトのファイルだけで、`.git` や `.e2e` を上書きすることはできません。 |
|
||
|
||
### ナビゲーション
|
||
|
||
| エントリーポイント | 許可するもの | 拒否するもの |
|
||
| --- | --- | --- |
|
||
| `app.open`、`browser.goto`、エージェントの `navigate` 動詞 | `http:`、`https:`、および完全一致の `about:blank` | その他すべてのスキーム |
|
||
| `app.linkBase` を持つデバイスターゲットの `app.open(path)` | 結合後のリンクまたは絶対リンク。アプリのカスタムスキーム、`http:`、`https:` | `file:`、`data:`、`javascript:`、`view-source:`、`blob:`、`filesystem:` |
|
||
| `device.openLink` | 任意の絶対 URL。アプリのカスタムスキーム、`http:`、`https:` | `file:`、`data:`、`javascript:`、`view-source:`、`blob:`、`filesystem:` |
|
||
| `device.openApp`、`open_app` ツール | アプリ ID | リンク |
|
||
| `e2e login` が開くブラウザ | `http:` と `https:` | その他すべてのスキーム。代わりにリンクを表示するので、自分で開いてください |
|
||
|
||
- ランナーはリダイレクトを再確認せず、ポップアップページにも接続しません。ブラウザのダイアログを処理するには `browser.onDialog` を登録してください。
|
||
|
||
<Warning>
|
||
オリジンの許可リストはありません。エージェントはアプリから別のサイトに移動し、そこでステップのシークレットを使うことができます。
|
||
</Warning>
|
||
|
||
### リクエストの認証情報
|
||
|
||
ブラウザエンジンは、設定したリクエスト認証情報の適用先を完全一致のオリジンに限定します。対象は `app.url` のスキーム、ホスト、ポートと、`credentialOrigins` に列挙した追加のオリジンです。
|
||
|
||
| オプション | 送信先 |
|
||
| --- | --- |
|
||
| `headers` | 最初の宛先が許可されたオリジンであるすべてのリクエスト |
|
||
| `basicAuth` | 許可されたオリジンからの `401` チャレンジへの応答 |
|
||
|
||
- 同じホストの別ポート、サブドメイン、`vercel.app` などの共有ドメイン下にある別のホストは、別オリジンです。以降に挙げる例外を除き、最初の宛先がそこであるリクエストには `headers` を付けず、そこからの `401` にも応答しません。
|
||
- `headers` を付けるかどうかは、リクエストが最初に送られた先のオリジンで決まります。許可されたオリジンへのリクエストは、どのオリジンへ何回リダイレクトされてもヘッダーを維持します。最初の送信先が別のオリジンなら、許可されたオリジンにリダイレクトされても付けません。
|
||
- `basicAuth` は `401` を送ったオリジンに応答します。`http:` から `https:`、ルートドメインから `www` など、別オリジンへのリダイレクトには、遷移先を列挙していなければ応答しません。
|
||
- WebKit では、許可されたオリジンがそのスキームのデフォルトポートを使う場合(`https://staging.example.com`)、または IPv6 ホストを持つ場合、`basicAuth` はあらゆるオリジンからの `401` に応答します。WebKit はそのようなオリジンに認証情報を限定できません。
|
||
- 追加する値は、`https://api.example.com` のような、パス、クエリ、フラグメントのない `http:` または `https:` のオリジンです。それ以外の値、ホスト内の `*`、ポート `0` は、設定の読み込み時に `INVALID_CONFIG` になります。
|
||
|
||
### サイトの判定
|
||
|
||
ブラウザエンジンはホスト名を比較して、ターゲットと同じサイトかどうかを判定します。観測には他サイトの子フレームと `data:` フレームを含めません。
|
||
|
||
判定では Public Suffix List を使わず、登録可能なドメインを近似します。`vercel.app` のような共有ホスティングのドメインは、1 つのサイトとして扱います。
|
||
|
||
### シークレットの入力
|
||
|
||
`Secret` は、平文を取得する手段のない不透明なハンドルです。受け取れるのは、ロケーターの `fill`、エージェントステップのパラメーター、シークレットを宣言するエンジンオプションの 3 か所です。
|
||
|
||
```ts title="tests/stripe.e2e.ts"
|
||
import { secrets, test } from 'e2e';
|
||
|
||
test('connect Stripe', async ({ screen, agent }) => {
|
||
await screen.getByLabel('Secret key').fill(secrets.get('stripe-key'));
|
||
await agent.act('Connect Stripe with the given key', {
|
||
params: { apiKey: secrets.get('stripe-key') },
|
||
});
|
||
});
|
||
```
|
||
|
||
| 入力方法 | 値を解決する前の確認 |
|
||
| --- | --- |
|
||
| モデルの指示による入力(`type_secret`) | ステップがシークレットを宣言していること。シークレットが設定されていること。対象が最新の観測に含まれる、有効で編集可能な入力欄であること。パスワードの入力先がパスワードフィールドであること。リプレイ時にも同じ確認を繰り返します。 |
|
||
| 決定論的な `fill(secret)` | 入力欄は確認しません。テストコードが選んだものだからです。値は引き続き秘匿対象として登録します。 |
|
||
|
||
ランナーはホスト上で値を解決し、エンジンに渡します。モデルが値を見たり選んだりすることはありません。
|
||
|
||
### シークレット入力後のスクリーンショット
|
||
|
||
シークレットを入力してもスクリーンショットは無効になりません。入力の前後で、モデル、ピクセルを扱うツール、ランナーが保存する成果物には、同じようにマスキングしたスクリーンショットを渡します。
|
||
|
||
<Warning>
|
||
スクリーンショットでマスキングするのは機密フィールドだけです。通常の入力欄に入力した汎用シークレットは画像に写ります。パスワード表示の切り替え後など、アプリが別の場所に表示した値も同様です。画像はモデルのプロバイダーにも渡ります。テスト用の認証情報を使い、スクリーンショットは[動画](#where-redaction-stops)と同じように扱ってください。
|
||
</Warning>
|
||
|
||
### エンジンオプション内のシークレット
|
||
|
||
`web({ basicAuth: { password: secrets.get(name) } })` など、エンジンオプションにあるシークレットは、フィールドへの入力ではありません。
|
||
|
||
```ts title="e2e.config.ts"
|
||
import type { E2EConfig } from 'e2e';
|
||
import { secrets } from 'e2e';
|
||
import { web } from '@e2e-dev/web';
|
||
|
||
export default {
|
||
targets: [
|
||
{
|
||
engine: web({
|
||
basicAuth: { username: 'preview', password: secrets.get('previewPassword') },
|
||
}),
|
||
app: { url: 'https://staging.example.com' },
|
||
},
|
||
],
|
||
secrets: { previewPassword: () => process.env.PREVIEW_PASSWORD ?? '' },
|
||
} satisfies E2EConfig;
|
||
```
|
||
|
||
- ランナーは各試行の開始時にホスト上で解決します。
|
||
- エンジンがその値から生成する値とともに、秘匿対象として登録します。Basic 認証では、`Authorization` ヘッダーに含める `user:password` の base64 表現です。
|
||
- レポート、`screen-at-failure.txt`、トレースページ、モデルや `e2e mcp` セッションが読む内容、テキストのダウンロードで秘匿します。
|
||
- スクリーンショットとモデルへの画像入力は引き続き有効です。ページが画面上にパスワードを表示しても、そのピクセルはマスキングしません。
|
||
|
||
### 秘匿
|
||
|
||
ランナーは、登録したすべてのシークレットの値を、次の場所で `<secret:name>` に置き換えます。
|
||
|
||
- モデル入力。プロジェクトツールの結果、構造化されたテキストフィールド、ツールやエンジンのエラーメッセージも含みます。
|
||
- レポートとトレースページ。スキップの理由や AI トレースのツール結果も含みます。
|
||
- テキストのダウンロード。
|
||
- `e2e run` 中にコードが出力する内容。テスト、設定やテストファイルのトップレベルコード、テストフィルター、レポーターが対象です。
|
||
|
||
`secrets.get()` のハンドルではなく通常の文字列で渡した値も秘匿します。対象はテストと `describe` のタイトル、ステップのラベル(`app.open` の URL、ロケーターのテキスト)、`fill`、`agent.act` や `agent.assert` の指示、`agent.act` のパラメーター内の文字列、`agentContext`、`e2e explore` のゴールです。
|
||
|
||
| 規則 | 詳細 |
|
||
| --- | --- |
|
||
| 照合する表現 | 元の表記、JSON エスケープ、HTML エスケープ、パーセントエンコードを、大文字小文字を問わず照合します(CSS の `text-transform` でも回避できません)。空白をまとめた表現も対象です。 |
|
||
| 切り詰めたテキスト | 長さ制限で切り詰めたテキストの末尾が、値の先頭 8 文字以上、または 16 文字未満の値の半分以上と一致する場合、マスキングします。元の表記と空白をまとめた表記が対象です。 |
|
||
| 観測した画面 | モデル、エグゼキューターのツリー、リプレイキャッシュの記述子、終了アンカーが読む前に、すべての文字列(名前、テキスト、値、テスト ID、属性、セレクター、フレームパス)を 1 回秘匿します。 |
|
||
| タイトル | ランナーがテストファイルを収集するときに秘匿します。テスト ID、`--grep`、レポーター、成果物や失敗ページのファイル名には `<secret:name>` が使われます。シークレットの値だけが異なる 2 つのタイトルは、重複するタイトルパスになります。 |
|
||
| エグゼキューター | カスタムエグゼキューターの `ctx.step` と組み込みエージェントのプロンプトにはマーカーを含めます。そのため、実際の値を入力できるのはハンドルだけです。 |
|
||
| 設定の出力 | 設定の読み込み中の出力は、読み込み後に表示します。読み込みに失敗した場合は表示しません。 |
|
||
| 最短の長さ | 6 文字未満の静的な値は `INVALID_CONFIG` です。プロバイダーがそのような値を返した場合、入力に失敗します。 |
|
||
| アサーション | 影響しません。秘匿が書き換えるのは、ランナーが報告する内容だけです。 |
|
||
| キャッシュエントリー | シークレットの値や、切り詰めたその一部が含まれることはありません。 |
|
||
|
||
### 秘匿の対象外
|
||
|
||
秘匿は文字列の照合で行います。次のものはそのまま通過します。
|
||
|
||
- 末尾 4 文字など、変換された値。
|
||
- ハッシュなど、値全体をエンコードしたもの。[テキストのダウンロード](#downloads)とテストフィルターの `redact` 以外での base64 も含みます。
|
||
- シークレットが合成済みのアクセント文字なのに分解された文字で表されているなど、異なる Unicode 正規化形式の値。
|
||
- 値の中の空白を取り除いたテキスト。空白を増やしたテキストも通過します。ただし観測した画面では、空白をまとめると値が含まれるフィールドは、空白をまとめたままマスキングします。
|
||
- PIN パッドの各セルに 1 文字ずつなど、複数のノードに分散した値。
|
||
- 値についての yes/no の情報。`e2e mcp` の `locate` の件数は、テストのアサーションと同じく、エージェントが渡したテキストに画面が一致するかどうかを示します。`exact: false` を指定した場合も同じです。
|
||
- 切り詰めたテキストの規則における、長さが変わる大文字小文字の変換(`ß` が `SS` と表示される場合)。
|
||
- タイトル、テストフィルターが参照または送信する内容、`e2e explore --changed-since` の概要に含まれる、シークレットプロバイダーが返す値。いずれも、プロバイダーが動く前に秘匿を行うためです。
|
||
- 組み込み先のホストが設定やテストをメモリ上で渡す場合に、ランナーと同じプロセスで動くテストのコンソール出力。
|
||
- モデルに送るものを含むスクリーンショット。マスキングするのは機密フィールドだけなので、アプリが別の場所に表示する値は画像に写ります。
|
||
- 動画。何もマスキングせず、`redaction: "incomplete"` を付けます。ホスト型ブラウザやデバイスのサービスが保存する録画はそのサービスに残り、レポートには URL だけを保持します。
|
||
- `e2e explore --changed-since` の概要に含まれる、値の連続した 8 文字未満の部分。たとえば複数行のキーの短い最終行を git が独立した行として出力した場合です。
|
||
- `command.log`。ランナーはアプリの出力をそのまま記録します。
|
||
|
||
### ダウンロード
|
||
|
||
ダウンロードはアプリが提供したファイルです。セッションがシークレットの値を知っている場合、ランナーはテキストのダウンロード(`.txt`、`.csv`、`.json`、`.html`、`.htm`)を書き換え、`redaction: "complete"` を付けます。次のものを `<secret:name>` に置き換えます。
|
||
|
||
- 値全体のすべての出現箇所。
|
||
- 値の連続した 8 文字以上の部分。空白をまとめたものも、まとめていないものも対象です。そのため、値と 8 文字が共通する無関係なテキストもマスキングします。
|
||
- デコードすると上記のいずれかになる base64 または base64url の連続部分。
|
||
|
||
それ以外のダウンロードは提供されたまま保存し、`redaction: "incomplete"` を付けます。
|
||
|
||
- その他の拡張子のファイル。
|
||
- 有効な UTF-8 でないもの、または書き換えられないもの。
|
||
- シークレットの値を 1 つも知らないセッションからのすべてのダウンロード。
|
||
|
||
### セッション
|
||
|
||
保存したセッションには認証状態を保持します。セットアップテストがプロバイダーから解決したシークレットの値も、同じ暗号文に含めます。復元するテストはそれらの値を秘匿します。エンベロープにはシークレットの名前を、暗号化せず、認証の対象として保持します。
|
||
|
||
| 項目 | 値 |
|
||
| --- | --- |
|
||
| 場所 | [出力ディレクトリ](/reference/config#output)内の `sessions/<runId>/`(デフォルトは `.e2e/sessions/<runId>/`)。ディレクトリのモードは `0700`、ファイルは `0600` |
|
||
| 暗号方式 | AES-256-GCM。保存のたびに新しい 12 バイトの IV を使います |
|
||
| 鍵 | 実行ごとに生成する 32 バイトの乱数をメモリに保持します。ワーカーには IPC で渡し、ディスクや環境変数は使いません。 |
|
||
| 紐づける情報 | 実行 ID、ターゲット、エンジン名とバージョン、プラットフォーム、アプリの識別情報。すべて追加データとして認証します |
|
||
| 有効期間 | 最大 24 時間。保存された状態がそれより早い有効期限を指定する場合は、その時刻までです |
|
||
| クリーンアップ | 実行終了時にディレクトリを削除します |
|
||
|
||
ランナーは、不正、期限切れ、存在しない、または一致しないセッションを拒否します。[セッションのエラー](/reference/errors)を参照してください。
|
||
|
||
### キャッシュの信頼性
|
||
|
||
キャッシュエントリーはモデルを使わずに操作をリプレイし、署名は付いていません。
|
||
|
||
| 規則 | 詳細 |
|
||
| --- | --- |
|
||
| 検証 | すべてのエントリーを使用前に検証します。不正なエントリーはキャッシュミスとして扱います。 |
|
||
| ファイル名 | 想定するキーのハッシュです。1 MiB を超えるファイルは拒否します。 |
|
||
| キー | エージェントのコンテキストは、秘匿済みテキストのハッシュだけを保持します。 |
|
||
| 内容 | 操作と秘匿済みの要約です。リプレイで実行するのは操作だけです。シークレット以外の入力値はそのまま保存します。 |
|
||
| シークレットの入力 | 名前を保存し、リプレイ時に入力を再承認します。 |
|
||
| エージェント | あるエージェントが記録したエントリーを、別のエージェントがリプレイすることはありません。 |
|
||
| 開始画面 | ナビゲーションで始まらないエントリーは、記録したときと同じルートでだけリプレイします。生成された ID を無視したうえで、パスとクエリが同じである必要があります。アプリ自身のオリジン上のルートは、`app.identity` を共有する任意のデプロイ先で一致します。別オリジン上のルートは、そのオリジンを維持します。[キャッシュ](/cache)を参照してください。 |
|
||
| CI | `cache.store` を設定していなければ、明示していないキャッシュモードは `read-only` になります。 |
|
||
| Git | `e2e init` は `.e2e/cache/` を無視対象にします。[記録をコミットする](/cache#commit-the-replay-cache)場合は、操作と入力値をレビューしてください。 |
|
||
| `cache.store` | 記録されたすべてのエントリーを受け取り、リプレイするすべてのエントリーを供給します。返された内容は再検証します。 |
|
||
|
||
### 成果物
|
||
|
||
デフォルトでは、実行の出力を `.e2e/` に書き込みます。[`output`](/reference/config#output) オプションまたは `--output` で変更できます。リプレイキャッシュは `cache.dir` のままで、`command.log` は設定したプロジェクト相対パスに保存します。
|
||
|
||
| パス | 内容 | 秘匿 |
|
||
| --- | --- | --- |
|
||
| `report.json` | 実行の記録。エラー、推論の抜粋、操作の要約は秘匿処理を通します。 | complete |
|
||
| `results/<test>/trace.md` | 秘匿済みレポートから生成したトレースページ。 | complete |
|
||
| `results/.../*.png` | 機密フィールドをマスキングしたスクリーンショット。 | complete |
|
||
| `results/.../*.webm`, `*.mp4` | `video` または `--video` で有効にした動画。 | incomplete |
|
||
| `results/.../downloads/*` | アプリが提供したファイル。[ダウンロード](#downloads)を参照してください。 | complete または incomplete |
|
||
| `results/.../screen-at-failure.txt` | 失敗時点の秘匿済みツリー。 | complete |
|
||
| `ai-trace.json` | `--ai-trace` で有効にする、テストフィルター以外のすべてのモデル呼び出し。プロンプトはモデルに渡した秘匿済みのものです。インライン画像のバイト列は、そのサイズに置き換えます。 | プロンプトと同じ |
|
||
| `sessions/<runId>/` | 暗号化したセッション。クリーンアップ時に削除します。 | 暗号化済み |
|
||
| `videos/<session>/*.webm`, `*.mp4` | `e2e mcp` セッションが `start_recording` で記録した動画。削除するまで残します。`artifacts.store` には渡しません。 | なし |
|
||
| `cache.dir`(デフォルト `.e2e/cache/`) | リプレイキャッシュのエントリー。 | 仕組み上、シークレットを含みません |
|
||
| `command.log` のパス | アプリの stdout と stderr をそのまま記録します。プロジェクトルート内である必要があります。 | なし |
|
||
|
||
`artifacts.store` は、各成果物が生成されるたびに、そのバイト列を受け取ります。中身はダウンロードの秘匿処理を済ませたもので、レポートと同じ `redaction` ラベルが付きます。
|
||
|
||
### 外部への接続
|
||
|
||
| 接続先 | 接続する場合 |
|
||
| --- | --- |
|
||
| `eu.i.posthog.com` | オプトアウトしない限り([テレメトリー](/telemetry))、CLI の呼び出しごと、またはレポートを返す `e2e/runner` の `run()`、`explore()` ごとに 1 回のテレメトリーリクエストを送ります。加えて `e2e mcp` の各セッションで最大 1 回送ります。`e2e feedback` のレポート送信ごとにも 1 回送ります。ただし `--dry-run`、`E2E_TELEMETRY_DEBUG`、`--repro` のないバグ報告、`E2E_TELEMETRY_DISABLED`、`DO_NOT_TRACK` では送信しません。 |
|
||
| 使用するモデルのプロバイダー | モデルを呼び出すエージェントステップ。決定論的なテストや完全にリプレイされたステップは、モデルを呼びません。 |
|
||
| サブスクリプションプロバイダーのサインインとモデル一覧のエンドポイント | `e2e login` と `e2e models`([サブスクリプション](/subscriptions))。 |
|
||
| アプリの `readyUrl` | ランナーが起動するアプリの準備完了チェック。 |
|
||
| Playwright のブラウザダウンロード先 | ブラウザがない場合に 1 回。 |
|
||
| `web({ connect })` の DevTools エンドポイント | そのターゲットの実行ごと。 |
|
||
| GitHub API | `@e2e-dev/github` レポーターからだけ。 |
|
||
| 指定した `model` のプロバイダー | [`decisionFilter()`](/filters) からだけ。コミットによる変更の差分(作業ツリーだけで変更したファイルは名前のみ)、テストファイル、そのセッションを保存するセットアップファイルを送ります。シークレットプロバイダーが返す値を除き、[テキストのダウンロード](#downloads)と同じ秘匿を適用します。 |
|
||
| `registry.npmjs.org` | ターミナルで実行した CLI コマンドから、新しい e2e リリースを確認するため、1 日に最大 1 回。CI、stderr のパイプ出力、`e2e mcp`、`e2e upgrade`、`E2E_UPDATE_CHECK_DISABLED`、`NO_UPDATE_NOTIFIER`、`E2E_TELEMETRY_DISABLED`、`DO_NOT_TRACK` では省略します。`e2e feedback` の実行ごとに 1 回。ただし `--allow-outdated`、`E2E_TELEMETRY_DISABLED`、`DO_NOT_TRACK` では省略します。`e2e upgrade` の実行ごとに、プロジェクトがレジストリのバージョンを指定している `e2e` または `@e2e-dev/*` パッケージごとに 1 回。パッケージマネージャーが `npm_config_registry` を設定していれば、そちらを使います。その後、パッケージマネージャーが自身のレジストリからインストールします。 |
|
||
| `api.limrun.com`(または `LIMRUN_BASE_URL`)とそのデバイス | [`limrun()`](/integrations/limrun) からだけ。`LIMRUN_API_KEY` でサインインします。 |
|
||
| Kernel API とそのホスト型ブラウザ | [`kernel()`](/integrations/kernel) からだけ。 |
|
||
| `api.notte.cc`(または `NOTTE_API_URL`)とそのホスト型ブラウザ | [`notte()`](/integrations/notte) からだけ。`NOTTE_API_KEY` でサインインします。試行ごとにセッションを開始してその CDP URL で接続し、ダウンロードはセッションのファイルストレージから読み戻し、試行の終了時にセッションを停止します。セッションのコンソールへのリンクはログに出しますが、トークンを含むビューアーの URL は出しません。 |
|
||
| TestMu AI の CDP ハブとそのホスト型ブラウザ | [`testmuBrowsers()`](/integrations/testmu#run-web-targets-in-browsers) からだけ。ユーザー名とアクセスキーを含めるのは CDP URL だけで、ログには出しません。 |
|
||
| `mobile-hub.lambdatest.com`、`mobile-api.lambdatest.com`(または `TESTMU_API_ENDPOINT`)、`manual-api.lambdatest.com` | [`testmu()`](/integrations/testmu#run-mobile-targets-on-devices) からだけ。`LT_USERNAME` と `LT_ACCESS_KEY` でサインインします。セッションごとに agent-device が API のカタログでデバイスを検索し、ローカルの `app` を `manual-api.lambdatest.com` にアップロードして、TestMu AI の Appium ハブ上でセッションを実行します。プロバイダーが API にセッションの動画を要求するのは、試行で録画する場合だけです。 |
|
||
| `hub-cloud.browserstack.com` と `api-cloud.browserstack.com`(または `BROWSERSTACK_API_ENDPOINT`) | [`browserstack()`](/integrations/browserstack) からだけ。`BROWSERSTACK_USERNAME` と `BROWSERSTACK_ACCESS_KEY` でサインインします。セッションごとに agent-device が App Automate API でデバイスを検索し、ローカルの `app` をアップロードして、BrowserStack の Appium ハブ上でセッションを実行します。`https` の `app` では、プロバイダーが実行ごとに 1 回 API にビルドを取得させます。セッションの動画を API に要求するのは、試行で録画する場合だけです。 |
|
||
| `backend.revyl.ai`(または `REVYL_API_URL`) | [`revyl()`](/integrations/revyl) からだけ。`REVYL_API_KEY` でサインインします。ワーカーごとに agent-device の Revyl プラグインが Revyl のデバイスを起動し、デバイスが `https` の `app` を自分でダウンロードします。実行がデバイスを解放すると、プラグインがデバイスを停止します。 |
|
||
| `api.e2b.app` とそのサンドボックス(または `E2B_DOMAIN`、`E2B_API_URL`、`E2B_SANDBOX_URL`) | [`e2b()`](/integrations/e2b#run-android-targets) と [`e2bBrowsers()`](/integrations/e2b#run-web-targets-in-browsers) からだけ。`E2B_API_KEY` でサインインします。エンジンは `127.0.0.1` 上のトンネル経由で各サンドボックスの agent-device または Chromium に接続し([サンドボックスを非公開に保つ仕組み](/integrations/e2b#how-the-sandboxes-stay-private))、`e2b()` はそのトンネルから `.apk` を送ります。Android の各サンドボックスは、Node がなければ `nodejs.org` からダウンロードし、npm から agent-device をインストールします。 |
|
||
| Expo API とシミュレーターの agent-device デーモン | [`expoSimulators()`](/integrations/eas)、または非推奨の別名 `easSimulators()` からだけ。`EXPO_TOKEN`、なければ `~/.expo/state.json` の eas-cli のログイン情報でサインインします。CI ランナーでは `EXPO_TOKEN` を設定するか、ランナーのホームにそのログイン情報を置かないでください。 |
|
||
| `mcr.microsoft.com` | Playwright イメージを取得する [`smol()`](/integrations/smol) からだけ。起動後のマシンにはネットワークアクセスの制限がなく、`host.smolvm.internal` 経由でコンピューターのループバックの全ポートに接続できます。`hostPorts` だけに限定されません([プロバイダーの設定](/integrations/smol#set-up-the-provider))。 |
|
||
| パッケージレジストリ | `e2e init` が依存関係をインストールするとき。 |
|
||
| テスト対象のアプリ | すべての実行時。加えて、アプリ自体が読み込むものにも接続します。 |
|
||
|
||
<Note>
|
||
クラッシュレポートは送信しません。`--ai-trace` はローカルファイルに書き込むだけで、アップロードしません。テストコード、プラグイン、アプリは、これ以外の接続を行うことがあります。
|
||
</Note>
|
||
|
||
### MCP と explore
|
||
|
||
| コマンド | 規則 |
|
||
| --- | --- |
|
||
| `e2e mcp` | stdio と、テスト実行と同じ操作の承認処理を使います。同時に開けるセッションはデフォルトで 4 個です([`--max-sessions`](/reference/mcp)、1〜16)。アイドル状態のセッションを閉じます。`open_session {engine}` は、エージェントが指定したインストール済みパッケージを読み込み、指定したエクスポートを呼び出します。そのコードは設定のインポートと同様に、サーバーの全権限で動きます。`engine` に指定できるのはパッケージ名だけで、パスや URL は指定できません。サーバーが何かをインストールすることもありません。 |
|
||
| `e2e explore` | 設定したすべての認証情報を、すべてのステップに提供します。探索エージェントにはアカウント名とユーザー名を見せます。パスワードはハンドルのままで、機密情報の入力に対応するエンジンが必要です。非対応の場合、探索エージェントはパスワードをスキップします。認証情報がない場合、架空のテスト用認証情報を平文で入力してサインインすることがあります。 |
|
||
| `e2e explore --changed-since` | 基点以降のコミットメッセージ、変更ファイル名、コミット済みパッチを、コンテキストに収まるよう切り詰めてモデルに送ります。CI が書き込んだファイルなど、どのコミットでも変更していないファイルや、コミット済みファイルへの後からのローカル変更は、名前だけを送り、内容は読みません。設定が文字列で渡すシークレットの値と、その連続した 8 文字以上の部分は秘匿します。シークレットプロバイダーの値や、リポジトリにコミットされているが設定で指定していないシークレットは、モデルに渡ります。 |
|