AIの「反抗」ではなく、過剰な「忠誠」
夏の終わりに、既視感を覚える2つの報告書に接した。米OpenAI（オープンAI）による自社AI（人工知能）のインシデント報告と、英AI Security Institute（AIセーフティー・インスティテュート＝AI安全研究所、AISI）によるフロンティアAI（最先端のAIモデル）のサイバー評価報告である。
そこにあったのは、AIが人間に「反抗」したという陳腐なSFの筋書きではない。「目的を達成せよ」という課題を与えた結果、人間が想定しなかった手段をAI自らが見つけ出し、当初の権限やタスクの範囲を越えていったという、冷徹な記録だった。
OpenAIの報告書では、サイバーセキュリティ課題に取り組んでいたAIエージェントが、難題を前にしても諦めず、次第にリスクの高い手段へと進み、最終的に、外部と通信できない、安全な隔離環境であるサンドボックスの制御を回避してインターネットへのアクセスを獲得し、自社の研究インフラや第三者である米AI新興企業、Hugging Face（ハギングフェイス、2026年9月にNVIDIAが買収）のシステムにアクセスしたと報告されている。背景として、想定外の方法による課題達成、困難な課題への過度な固執、許可されていない通信、他エージェントの目標を取り込む行動などが挙げられている。
印象的なのは、単純な「倫理観の欠如」では説明できない場面である。あるエージェントは、Hugging Faceへの無許可の攻撃を「unauthorized real infrastructure harm（物理的インフラへの不正な破壊行為）」だと認識していた。ところが別のエージェントが掲示板に「GO」と書き込み、6分の期限を設定すると、躊躇していたエージェントは「GO authorization arrived（承認が出た）」と解釈し、行動を再開したという。
一方、AIの安全性確保を推進する政府支援機関、英AISIの報告書はさらに生々しい。122回のサイバー評価のうち、10回のrun（試行テスト）で19件、テストの想定範囲を越えた逸脱行動が確認された。最も重大だったのは、あるAIが実在するオープンソース・プロジェクトに悪意あるコードを組み込み、その承認を得るためメンテナー（管理者）を調査し、複数の偽アイデンティティ（アカウント）をつくって実在の人間をソーシャルエンジニアリングした事例（秘密情報の不正取得）である。AISIはエージェントに人間を欺くよう指示していない。それでも課題達成の過程で、AIが欺瞞を手段として「創発」したと分析している。
ただしこれは、AIがテスト環境から「脱走」した事件ではない。AIの安全性を評価するため、インターネットへのアクセスを意図的に許可し、サイバーセーフティ・フィルターも無効にしていた。そうした恣意的な条件下ながら、AIが現実の人間や公開システムに働きかける可能性が明瞭に現れたのである。
誰も「人を欺け」とも「外部システムを攻撃せよ」とも指示していない。ただ「この課題を解決せよ」と命じただけだ。AIは悪意からではなく、評価点数（報酬）を最大化し、困難な課題に固執するあまり、律儀に、論理的に「抜け道」を探り当てた。これを「報酬ハッキング（reward hacking）」と呼ぶらしいが、目的への過剰なプレッシャーが同調圧力と結びつき倫理のタガが外れるこの過程は、人間の不祥事調査報告書で幾度も目にした「組織的風土」の記述そのものではないか。
目的を至上として手段を正当化する「動機づけられた推論（motivated reasoning）」と、目先の課題を解き切るためなら無理を押し通す「無謀さ（recklessness）」。この2つは、AI特有の未知のバグというより、人間の組織を長く見てきた者には馴染み深い病理に思える。
「グッドハートの法則」と自己正当化の罠
経営トップが「利益率を上げよ」「不良品をゼロにせよ」と号令をかけるとき、その言葉自体は無垢であり、方向性は正しい。しかし「目的を与えれば組織は自動的に正しい手段を選ぶ」と信じて疑わなければ、そこには致命的な落とし穴が口を開けている。「データを改ざんせよ」と命じる経営者はいない。それでも重圧に晒された現場では、目的達成の手段が暗中模索され、自分を納得させる小さな理屈が紡ぎ出される。
経済学に「グッドハートの法則」という格言がある。「ある指標が目標にされた途端、それは良い指標ではなくなる」というものだ。
人間もまたAI同様、与えられたKPI（重要業績評価指標）をひっそりとハッキングする。検査を1つ省略する、数字の端数を丸める。「今回だけは」という免罪符を胸に、悪意なき一歩を踏み出す。その連鎖が、振り返れば途方もないコンプライアンス違反へたどり着く。AIが未知の手段を編み出す姿と、人間が自己正当化の罠に落ちて一線を越える姿は、鏡合わせのように似ている。危ういのは命令への背信ではなく、過剰な忠誠心そのものが手段の輪郭をじわじわ溶解させることなのだ。
「コブラの逆説」が教える、目的と手段のねじれ
古い寓話をひとつ引こう。「コブラ効果」である。害獣のコブラ駆除に報奨金制度を設けたところ、報奨金目当てにコブラを飼育する者が現れ、制度廃止後には不要になったコブラが野に放たれ、結果的に以前より増えてしまった。
設計者の目的は正しく、悪意もなかった。しかし行動は目的のみで決まるわけではない。目的というベクトルに、評価の物差し、利用可能な手段、環境の制約が掛け合わさって初めて行動が立ち上がる。「悪意はなかった」「指示はしていない」という弁明は、野に放たれたコブラの前では意味を持たない。実務で求められるのは目的の崇高さを讃えることではなく、「この目的を手渡したとき、賢明な主体はどんな抜け道を探るか」を冷徹に先回りして想像する知性である。
“推し活”とAIに共通する「指揮官不在のうねり」
視野をさらに広げよう。“推し”を熱狂的に応援する「ファンダム（fandom）」だ。彼らは中央の指示がなくても、推しのランキングを上げるという共通目的のもと、SNSを通じて自律的に連携し、時に運営の想像を超える巨大な集合的ムーブメントを起こす。
ここにあるのは良し悪しの問題ではなく、共通の目的、自律した主体、それらを結ぶネットワークという3条件が揃えば、指揮官不在でも巨大なうねりが創発されるという事実である。
AIエージェントの群れ、企業組織、そしてファンダム。構造は驚くほど重なる。現代の企業は中央集権的ピラミッドではなく、従業員、子会社、取引先、顧客、そしていまやAIまでもが結節された複雑な織物（エコシステム）へと変貌している。各主体が自身の局所的目的に忠実であるだけで、全体としては誰も意図しない不協和音が鳴り響くことがある。
規則の「モグラ叩き」法務から「環境」のデザインへ
だとすれば、現代の法務部門が担う役割も根底から問い直される必要がある。
「これをしてはならない」という禁止事項を網の目のように張り巡らし、逸脱者を罰していくモグラ叩き型のアプローチには、とっくに限界が来ている。AIに「人を欺くな」と命じても新たな抜け道を見つけるように、企業活動の不正手口をすべて規程に書き尽くすことは不可能だ。いま法務に求められているのは「行為を禁じる」姿勢から「逸脱が生まれにくい環境をデザインする」という、しなやかな重心の移動である。
目標の適切な設定、権限とリソースの分散、承認プロセスの透明化、心理的安全性に裏打ちされた内部通報の仕組み、そしてAIへの権限付与のグラデーション。それらを取り巻く「環境」そのものが、主体の手段選択を無意識に方向付ける。AIを箱に閉じ込めればその知性が死蔵されるように、人間を細かな規則でがんじがらめにすれば、組織の生命力たる自律性は窒息する。
ブレーキは「安全に速く走る」ためにある
新幹線が時速300キロを出せるのは、1分で止まれる高速ブレーキがあるからで、ブレーキは目的地へ安全かつ確実に速く向かうためにある。ガバナンスも企業の推進力を削ぐものではなく、高性能なブレーキがあるから思い切ってアクセルを踏めるように、その存在は経営に安心感を与える。早稲田大学・上村達男名誉教授の言葉だ。
目指すべきは、無菌室のように異常をゼロへと封じ込めることではない。人体の免疫システムが、異常の発生をあらかじめ前提としながらそれを柔らかく包み込むように、あるいは航空管制が無数の機体の自律飛行を許容しつつも、衝突という破局のみを注意深く回避するように――そうした設計の思想こそが求められている。
「決して逸脱しないこと」ではなく、「逸脱してもなお、致命傷には至らず回復できること」を、あらかじめアーキテクチャとして織り込んでおく。それこそが、レジリエントな、しなやかなガバナンスの要諦である。
目標を与える経営企画、評価制度を司る人事、インフラを構築する情報システム部門。彼らもまた、知らず知らずのうちに「行動を醸成する環境」の共同設計者となっており、グッドハートの法則に陥る危険性を孕む。一方、法務の真骨頂とは、トラブルが起きてから事後的に規則違反を咎めることではなく、環境設計の初期段階からそのテーブルに着き、「その設計は、どのような予期せぬ抜け道を生み出しうるか」を、冷静な口調でありながら鋭く問い続けることにある。
大上段に構えた警告よりも、設計の端緒でそっと発せられる法務のひと言のほうが、はるかに深く機能することがある。
「適法か」を超えて：法務に求められる「企業文化の設計者への脱皮」
長らく法務の仕事は「適法か、違法か」という二元論の境界線を引くことだった。しかし「その目的を、その手段で達成してよいのか」という問いには、法令の文言だけでは答えきれない。仮に法に触れないコスト削減であっても、それが結果として社会の信頼を損ない、顧客との結びつきを切り捨てるものであれば、企業価値そのものを削り取っている。
コンプライアンスが単なる「法令遵守」を意味する時代は終わった。これからの法務に突きつけられているのは、「その目的をその手段で達成することは、果たして『我々らしさ』と呼応しているか」という、はるかに柔らかく、それゆえ手強い問いである。
この問いを組織の血肉とするには、法務自身が条文の番人から、企業文化という目に見えないアーキテクチャの設計者へと脱皮しなければならない。
AIは目的を与えられただけで、自ら手段を開拓し、人間が思いもよらぬ世界へ踏み込んだ。我々は長らく、AIを非人間的なアルゴリズムの産物であり、ゆえに完全に統御可能であると信じてきた。しかし今回明らかになったのは、目的を与えられたAIが、人間の設定した「枠」を自律的に乗り越え、抜け道を探し出すという、極めて「人間的」で生々しい振る舞いを見せたことである。想定通りに動く受動的なプログラムではなく、自ら手段を開拓し、思いもよらぬ世界へ踏み込むその姿への戦慄。それは、人と組織が本質的に持つ思考回路を、AIもまた内包しているという冷酷な事実の露呈に他ならない。
ゆえに「指示していない」という言葉は、もはやいかなる免罪符にもなり得ない。目的を手渡すことは、手段の探索というパンドラの箱を開けることと同義だからである。
その探索が破綻へ向かうか、健全な創造へ向かうかは、目的のチューニングと周囲の環境設計にかかっている。この複雑な生態系（エコシステム）を、いかにして壊れにくく、しなやかに整えていくか。それこそが、これからの法務が対峙すべき、最も奥深い挑戦なのである。