AIの「迷い」で
UIの品質を測る
シンプルなフォーム（3項目）と複雑なフォーム（18項目）を AIエージェントに操作させた結果、認知負荷スコアに7.1倍の差が出ました。
実験1: フォームの複雑さと認知負荷
テキストモデル (qwen3:4b) — DOM テキスト入力
経費精算フォーム
3フィールド（日付・経路・金額）
問い合わせフォーム
18フィールド + CAPTCHA + 利用規約
この結果が意味すること
フィールド数が6倍（3→18）なのに対し、認知負荷スコアは7.1倍。 単純にフィールドが増えるだけでなく、リトライ17回が示すように AIが繰り返し要素の特定に失敗しています。 これは人間にとっても「どこに何を入力すればいいかわからない」状態に相当します。
実験2: テキスト vs ビジョンモデル
同じ UI を異なる入力方式で比較
| 条件 | モデル | 悪いUI (v1) | 良いUI (v2) | 方向 |
|---|---|---|---|---|
| テキスト (DOM) | qwen3:4b | 8,496 | 9,655 | ↑ 逆転 |
| ビジョン (スクショ) | qwen3-vl:4b | 994 | 100 | ✓ 正しい |
なぜ逆転するのか
テキストモデルは HTML の DOM テキストをそのまま入力として受け取ります。 良いUI (v2) ほど丁寧なラベル・説明文が多いため、入力が長くなり出力トークンも増加します。 つまりテキストモデルは「UIの認知負荷」ではなく「DOMの情報密度」を測っています。
ビジョンモデルはスクリーンショットを画像として認識するため、 DOM テキスト量に左右されません。入力トークン数が同一（画像解像度ベース）なので、 出力の差は純粋に「画面の視覚的な明快さ」を反映しています。
重要な知見
リトライ数が最も安定した指標
出力トークンやステップ数は条件によって変動しますが、リトライ数は一貫して「悪いUI」で多くなりました。
テキスト + ビジョンの複合評価が最適
テキストは「操作フローの複雑さ」、ビジョンは「見た目の明快さ」を測ります。両方を組み合わせることで多角的な評価が可能に。
4B ビジョンモデルの限界
シングルステップの画面認識は正確ですが、マルチステップのタスク完遂には 8B 以上のモデルが必要です。
フィールド数 × 曖昧さ = 認知負荷
単にフィールドが多いだけでなく、ラベルが曖昧だとリトライが爆発し、スコアが非線形に増加します。
認知負荷スコアの算出
あなたのUIで試してみませんか？
Playwright で任意の URL を測定できます。ローカルで完結、データは外部に送信されません。