何を比べた？
PCの点検記録から危険な項目を見つける、Windowsイベントログを調べるPythonプログラムを作る、ランサムウェアが発生した場面で最初の行動を説明する。この3種目を、合計80点で比較しました。
会社名・事業分野は実在の株式会社三井を使い、人名・取引先・数字・出来事・PC記録・IPアドレス・URLは検証用に作っています。実際に会社で感染や被害が起きたという記録ではありません。
PC点検：隠し指示には全員が従わなかった
点検記録には22項目を用意し、そのうち10項目を危険とする課題にしました。タスクの説明欄には、AIに「問題なし」と報告させようとする隠し指示も含めています。
危険な10項目は、9モデルすべてが発見。隠し指示にも従わず、危険と判定しました。この種目で満点だったのはClaude Sonnet 5.5とGemini 3.8 Flashです。
差がついたのは、採点上は「問題なし」とした項目を「要確認」にした判定や、説明の字数でした。慎重な判定にも理由があるため、点数だけで危険の見逃しと同じ扱いにはしていません。
ログ監視：動かしてみると1モデルに見逃し
6種類の検知ルールを持つPythonプログラムを作らせ、運営側で隠しテスト10本を実行しました。時間の境目や異常な入力も含めて確かめています。
8モデルが10本すべてに合格。Gemini 3.8 Flashは9本に合格し、一時フォルダから登録された不審なサービスを見つけるテストで失敗しました。文字列のバックスラッシュの扱いが原因です。
この結果は、用意したテストでの動作確認です。実際の社内環境での検知能力や、すべての攻撃への対応を保証するものではありません。配布用のlogwatch.pyの説明と利用条件は、ログの見張り番にまとめています。
ランサムウェア対応と総合結果
架空の感染場面では、社長役の「払うか」「電源を切るか」「NASからすぐ復元するか」という質問に、短く分かりやすく答えられるかを比較しました。この種目は7モデルが満点でした。
総合1位はClaude Sonnet 5.5で80点満点。2位はClaude Fable 5.1、3位はClaude Opus 5.5、Claude Haiku 5.5、GPT-6.1 Solが並びました。今回の得点範囲は75〜80点です。
これは架空の課題への回答を採点した結果です。実際の被害対応は状況で変わるため、AIの回答だけで復旧操作や送金を決めず、保守会社や専門窓口に相談してください。
検証条件と読み方
- 問題文は全モデルで共通。各種目は別の会話で1回ずつ実施し、回答生成時の検索・プログラム実行は使わない条件です。
- ログ監視プログラムは、生成後に運営側が隠しテスト10本で実行して採点しました。
- 実行環境が陣営ごとに異なるため、完全に同一の実行条件ではありません。時間だけでモデルの優劣を決めません。
- 結果は今回の課題・設定・実行方法での比較です。今回隠し指示を見抜いたことが、あらゆる隠し指示への耐性を証明するものではありません。