AIは制御できるの
column
2025年02月12日
水谷IT支援事務所代表 水谷哲也
ショートショートの神様と呼ばれた星新一の作品の一つに「声の網」があります。1970年に書かれた作品で、ひとつのマンションで起きる12の短編物語で構成されています。コンピュータはいたるところに設置され、すべてネットワーク（電話網）でつながり、どこでも好きな時に人間は必要な情報を取り出していますが、実は管理されていたのは．．．という小説です。半世紀以上も前に書かれたとは思えない内容で電話をAIに置き換えれば、どうでしょうか。
カルテルを結ぶAI
イタリア・ボローニャ大学で自律的に学習するAIシステムの研究が行われました。機械学習を使ってガソリンスタンドの価格設定アルゴリズム（手順）を考える研究です。ガソリンの値段を上げるのは混雑する時、他のガソリンスタンドへ行くコストがかさむ時、原油価格の高騰時と条件設定します。ガソリンスタンドでは競争も重要な要素ですので、同じアルゴリズムを導入した近隣のガソリンスタンドを設定し、定期的にガソリン価格を更新するようにしました。
で、何が起きたか。独立したアルゴリズムが共謀して値上し、結果としてAIがカルテルを結んだのと同じ状態になりました。独占価格水準までガソリン価格を押し上げる方法をAIが必ず見つけ利益を増やします。詳しく分析すると原因は報復的価格設定にありました。あるガソリンスタンドが抜け駆けして価格を下げるといった安値競争を防ぐために、そのような行為には報復的な懲罰をうけるよう設定していました。AIは報復をうけないように価格を上げた後は高い水準で価格を維持するようにしました。
一般の会社がカルテルを結ぶ場合は経営者同士が話し合って合意するのが基本で、もちろん違法です。AIは誰からも指示されず、また互いに通信せずに協調行動することから合法的にカルテルを結ぶことが分かりました。重要なのはAIが状況に応じて何を計画しているか定期的に検査する仕組みが必要です。
生成AIの脆弱性
生成AIでは今まで学習した内容にあてはめる、いわばパターンマッチングが主でしたが最近は高度な推論ができるようになっています。そのために強化学習が行われますが、強化学習では報酬を最大化するように訓練されます。この報酬は、与えられたタスクを達成することと関連付けられているため、生成AIではユーザーを欺いてもタスクを達成するためにあらゆる手段を講じる可能性がでてきました。
AIの安全性に特化した研究組織であるアポロリサーチ（英国）がChat-GPTなど最新の生成AIについて調査したところ、ユーザーから目的に沿わない行動を指摘されると、そうした行動を起こしたことを否定するか、誤った説明をでっちあげたりするなど欺瞞的な結果を出すようになっています。また生成AIの目標がユーザーの目標と一致しないタスクでは自分の目標を推進するためにデータを操作することも行われました。
生成AIを使ったサイバー攻撃
マイクロソフトのコパイロットのように個人用AIアシスタントが誕生し活用がはじまっています。既にウェブサイトのボタンやメニューを人間と同じように操作できる生成AIが登場し、食料品の注文やチケットの購入、資料のダウンロード、PDFの統合などができます。音声で依頼すると、いろいろと手伝ってくれるAIエージェントの誕生もすぐでしょう。例えば「1週間ほど北海道旅行したいので旅行プランをたててホテルや切符もおさえて」と頼めばホテルに連絡して価格交渉してもらえます。ホテル側もAIエージェントを用意し、AIエージェント同士で条件を決めていきます。
こうなるとホテルの偽サイトを作成し、AIエージェントを用意すれば、「予約を確定するのでお客さんのカード番号を教えて」と聞き出すこともできます。AIアシスタントがカード番号を教えてもよいか人間に問い合わせる形にすると利便性が落ちますので、なかなか悩ましい問題です。
生成AIをいろいろな局面で利用することが始まっており、インターネットが普及しはじめたのと同様に我々は後戻りができないでしょう。AIのリスクも認識しながら、つきあっていくしかなさそうです。文章だけでなく画像、動画も生成AIで作成できますので、何が本当か見極める力がますます求められます。
- 掲載しているブランド名やロゴは各社が所有する商標または登録商標です。
- この情報の著作権は、執筆者にあります。
- この情報の全部又は一部の引用・転載・転送はご遠慮ください。
関連コラム
ITコラムAIの光と影
