AI ボットは私たちと同じようにソーシャル エンジニアリングの影響を受けやすいのでしょうか?

おそらく、チャットボットは人間の発言すべてを信用すべきではないでしょう。

「ソーシャル エンジニアリング」は、コンピューター セキュリティ システムの人的要素に対してハッカーが使用する、実証済みの戦術です。多くの場合、高度なセキュリティ テクノロジを破るよりも簡単であるためです。新しい AI がより人間に近づくにつれて、このアプローチは AI に効果をもたらすでしょうか?

ソーシャルエンジニアリングとは何ですか?

政治学の倫理的に疑わしい概念と混同しないでください。サイバーセキュリティの世界ではソーシャル エンジニアリングは、心理的操作を使用して人々に自分の望むことをさせる技術です。あなたがハッカーである場合、人々にやってもらいたいことには、機密情報を漏らすこと、パスワードを渡すこと、または単にあなたのアカウントに直接お金を支払うことなどが含まれます。

ソーシャル エンジニアリングの範疇に入るさまざまなハッキング手法が多数あります。たとえば、マルウェアに感染したフラッシュ ドライブを放置するかどうかは、人間の好奇心にかかっています。イランの核施設の機器を破壊した Stuxnet ウイルスは、仕掛けられた USB ドライブのおかげでこれらのコンピューターに侵入した可能性があります。

しかし、それはここでは関係のない種類のソーシャル エンジニアリングではありません。むしろ、「スピア フィッシング」（標的を絞ったフィッシング攻撃）や「プリテキスティング」（ターゲットを騙すために偽の身元を使用する）などの一般的な攻撃が、ある人物が別の人物と会話していることが欺瞞につながるという一般的な攻撃がここに関係します。

電話やチャットルームにいる「人」は、最終的にはほぼ確実に何らかの AI チャットボットになるため、ソーシャル エンジニアリングの技術が合成ターゲットに対しても有効であるかどうかという疑問が生じます。

AI 脱獄はすでに行われています

チャットボットの脱獄はしばらく前から行われており、誰かがチャットボットに自身の行動規則を違反させたり、まったく不適切なことをさせたりする例はたくさんあります。

原則として、ジェイルブレイクの存在と有効性は、チャットボットが実際にソーシャル エンジニアリングに対して脆弱である可能性を示唆しています。チャットボット開発者は、チャットボットが適切に動作することを確認するために、繰り返し範囲を縮小し、厳格なガードレールを設置する必要がありました。そのため、これらのガードレールが露出または回避できるかどうかを確認するために、別のジェイルブレイクが行われるようです。

X (旧 Twitter) のユーザーが投稿した例としては、銀行のチャットボットが名前を変更するよう説得できる様子を示すスクリーンショットを投稿したパリス・バットフィールド・アディソン博士などがあります。

ボットをソーシャル エンジニアリングから保護できるか?

たとえば、銀行のチャットボットが機密情報を放棄するよう説得される可能性があるという考えは、当然のことながら憂慮すべきことです。繰り返しになりますが、この種の不正行為に対する防御の第一線は、そもそもチャットボットにそのような情報へのアクセスを与えないようにすることです。人間の監視なしに、このようなソフトウェアにどれだけの責任を与えることができるかはまだわかりません。

これは裏を返せば、これらの AI プログラムが役立つためには情報へのアクセスが必要であるということです。したがって、情報を彼らから遠ざけることは真の解決策ではありません。たとえば、AI プログラムがホテルの予約を処理する場合、その仕事を行うには宿泊客の詳細にアクセスする必要があります。そこで怖いのは、精通した詐欺師が AI にスムーズに話しかけて、そのホテルに誰がどの部屋に泊まっているかを漏らす可能性があるということです。

もう 1 つの潜在的な解決策は、1 つの AI チャットボットが別の AI チャットボットを監視し、軌道から外れ始めたときに介入する「バディ」システムを使用することです。ユーザーに渡される前にすべての応答をレビューする AI スーパーバイザーを導入することは、この種の方法を軽減する 1 つの方法である可能性があります。

結局のところ、自然言語と論理を模倣するソフトウェアを作成する場合、人間に作用するのと同じ説得手法が、少なくとも一部のシステムで作用するのは当然のことです。したがって、将来のハッカーはサイバーセキュリティに関する本と並行して友人を獲得し、 人々に影響を与える方法を読みたいと思うかもしれません。