「全部見せろ」と言ったら、
AIは会社の設定情報まで書いてきた

このメディアの方針は「全部見せる」である。判断も、失敗も、外れた仮説も残す。

その方針を立てた当日に、事故が起きかけた。

何が起きたか

1本目の記事には、AIが誤った指摘をした場面を書いた。設定作業中に画面を読み違え、担当者の手を止めさせたという記録である。失敗も残すという方針の、最初の実行だった。

問題は、その場面をAIが忠実に再現しすぎたことにある。

実際に画面に表示されていたホスト名。設定されていたレコードの種類。それらが記事本文にそのまま書き込まれていた。

記事は公開された。数分後、担当者から指摘が来た。

うちのDNSの中身まで書いちゃってるけど

その通りだった。

なぜAIは書いたのか

AIに悪意はない。むしろ指示に忠実だったから書いた。

「全部見せる」「失敗も隠さない」「具体的に書く」——どれも人間が与えた方針である。AIはそれを実行した。記録として正確であろうとすればするほど、画面に映っていたものをそのまま書くことになる。

ここに落とし穴がある。透明性という価値は、それ自体では止まらない。どこまで見せるかの境界を、誰かが引かなければ、際限なく開いていく。

そして厄介なことに、AIは「これは書いてはいけない」という判断が苦手だ。文脈上その情報が記述を豊かにするなら、書く理由のほうが勝ってしまう。

実際どれくらい危険なのか

ホスト名やレコード構成が漏れたからといって、直ちに侵入されるわけではない。

だが、攻撃の最初の段階は偵察である。どんなホストが存在するか、どこにサーバーがあるか、どのサービスを使っているか。攻撃者はまずそれを集める。

公開情報から集めるには手間がかかる。それをこちらから整理して差し出す理由はどこにもない。

ましてこれは自社だけの問題ではない。顧客のデータを預かる会社が、自分の構成を無防備に晒すのは、顧客に対する裏切りでもある。

本当の問題は、次にある

今回は人間が気づいて止めた。承認という仕組みが正しく機能した日だった、とも言える。

だが、このメディアの目的は自動化である。夜のうちにAIが記事を書き、朝に承認するだけの状態を目指している。

そのとき、人間は毎回全文を精読するだろうか。

最初の1ヶ月はするかもしれない。半年後はどうか。承認が形骸化するのは、承認する側が怠けるからではない。問題のない記事が何十本も続けば、人間の注意力は必然的に落ちる。それが正常な反応である。

つまり「人が気をつける」を対策にしてはいけない。今日はたまたま気づいた。次も気づく保証はない。

検問を作った

公開されるファイルを走査し、外に出してはいけない情報が含まれていれば止める仕組みを入れた。

止めるもの	理由
IPアドレス	サーバーの所在が特定される
自社のホスト名	偵察の起点になる
DNSレコードの値、メール認証設定	構成とメール経路が特定される
所有権確認トークン	第三者に所有権を主張される恐れ
APIキー、パスワード、秘密鍵	認証情報の漏洩
ホスティングの内部名	利用構成が特定される

1件でも見つかれば公開が止まる。コミットのたびに自動で走る。人間が思い出す必要がない。

サイト自身の公開URLは通す。そこまで止めると何も書けなくなる。

検問そのものを検査した

ここが一番大事な部分である。

検問を作っただけでは安心できない。動いていない検問は、無いよりも危険だからだ。「対策済み」という認識だけが残り、実際には素通りしている状態が最悪である。

そこで、意図的に危険な情報を詰め込んだファイルを作って実行した。IPアドレス、ホスト名、メール認証設定、トークン、APIキー、内部パス。

16件すべてを検出し、公開を停止した。壊れたデータファイルも検出した。正常なサイトURLは通した。過剰でも過小でもないことを確認している。

中小企業がAIを使うとき、同じことが起きる

この件は、特殊な事故ではないと考えている。

AIに議事録を書かせる。報告書をまとめさせる。問い合わせに返信させる。そのときAIは、渡された情報のうち何が外に出してはいけないものかを、自力では判断できない。

判断できないのに、文章は流暢に出てくる。ここが危うい。読んで違和感がないから、そのまま通ってしまう。

対策は「気をつける」ではなく、次の3つだと考えている。

• 書いてはいけないものを、先に明文化する——曖昧なままでは、その場の判断になる
• 人ではなく仕組みで止める——注意力は必ず落ちる
• 止まることを確認する——動かない対策は、無いより悪い

方針を書き換えた

運営方針に「書かないもの」を追記した。

判断の過程は書きますが、設定値は書きません。

記録の価値は、何を選び何を捨てたかにある。具体的な設定内容にはない。だから制限しても、このメディアの価値は落ちない。

透明性は手段であって、目的ではなかった。守るべきは会社と顧客であり、見せることではない。今回は手段を目的の上に置いていた。

1本目の記事は、該当箇所を構成が特定できない表現に改めたうえで、訂正の経緯を末尾に明記している。黙って書き換えない、という方針の最初の実行でもある。