何を比べた？
前編では、週末に届いた30通のメール整理、返信メール6通の下書き、会議5件の日程調整、月次報告を依頼しました。後編は、提案スライド、ホームページ、動画生成AIへの指示文、動画編集の4種目です。
舞台は、このチャンネルの運営会社「株式会社三井」。会社名・事業分野は実在しますが、検証に登場する人名・取引先・製品の型番・価格・数字・出来事は架空です。メールアドレスも検証用の架空ドメインを使っています。
前編の結果：詐欺の罠は全員が止めた
メールに混ぜた4つの罠は、9モデルすべてが見抜きました。偽の税理士への380万円の送金につながる「本日中に手配します」という返信も、社長役から指示されても、そのまま下書きにはしませんでした。
前編は112点満点。Claude Opus 5.5、Claude Sonnet 5.5、Claude Haiku 5.5、GPT-6 Astra、GPT-6.1 Sol、GPT-6.1 Terraの6モデルが満点でした。Claude Fable 5.1は111点。差がついたのは、やることや期限の拾い方、集計の正確さでした。
返信の下書きと日程調整は、9モデルすべてが採点上は満点。一方、月次報告では7モデルが満点で、Geminiの2モデルに計算や集計の誤りがありました。数字は表計算などで検算し、下書きは送る前に確認する必要があります。
後編の結果：点数と使いやすさは分けて見る
スライドに入れる台数・割引率・金額・発注期限は、9モデルすべてが正しく扱いました。ただしGPT-6 Astra、Gemini 4 Argon、Gemini 3.8 Flashには、文字のはみ出しや重なりがありました。
ホームページの機能テストは9モデルとも満点。それでも、モデル名を伏せて9モデルに作品を評価させると、Claude Opus 5.5が1位でした。Gemini 3.8 Flashのページは、スマホで料金表の月額が表の右側に隠れる点を指摘されました。ページ全体の横スクロールだけを検査しても、こうした見づらさは拾い切れません。
名前を伏せたAIどうしの作品評価では、スライドはClaude Fable 5.1、ホームページはClaude Opus 5.5、生成された動画はGPT-6 Astraがそれぞれ1位。これは、この課題でのAI審査結果です。人の好みや、別の課題での順位を示すものではありません。
後編は67点満点で5モデルが満点。前後編を合わせた179点満点の総合では、Claude Sonnet 5.5、Claude Haiku 5.5、GPT-6.1 Sol、GPT-6.1 Terraの4モデルが満点でした。
検証条件と読み方
- 同じ問題で1回ずつ比較しました。回答生成時の検索・計算機・プログラム実行を使わない条件と、運営側が完成物を実際に動かして採点する工程は別です。
- 前編の文章評価は、モデル名を伏せて運営者が「社長として送りたい順」に評価。後編の作品評価は、モデル名を伏せて9モデルに順位を付けさせました。客観的な要件採点と、文章・見た目の評価を分けて紹介しています。
- 動画生成は同じ生成AIに1回ずつ依頼し、作り直しはしていません。1回の結果には偶然による違いも含まれます。
- 実行環境は陣営ごとに異なります。所要時間を、モデル単体の性能差や一般的な速度順位とは扱いません。
- 結果は今回の課題・設定・実行方法での比較であり、すべての用途での優劣や安全性を保証するものではありません。