ラック・セキュリティごった煮ブログ

セキュリティエンジニアがエンジニアの方に向けて、 セキュリティやIT技術に関する情報を発信していくアカウントです。

【お知らせ】2021年5月10日~リニューアルオープン!今後はこちらで新しい記事を公開します。

株式会社ラックのセキュリティエンジニアが、 エンジニアの方向けにセキュリティやIT技術に関する情報を発信するブログです。(編集:株式会社ラック・デジタルペンテスト部)
当ウェブサイトをご利用の際には、こちらの「サイトのご利用条件」をご確認ください。

デジタルペンテスト部提供サービス:ペネトレーションテスト

生成AIがウソをつく時 ~生成AIの「キャラ」を理解しよう~

こんにちは、ディオゲネスです。
私は、仕事が暇な時には、息抜きに生成AIと対話する趣味があります。
これには次のような3つのメリットがあります。

(1)生成AI の性能や特性がなんとなく分かってくる
(2)前から気になってた疑問が解消されることもある
(3)仕事してるかのようなムードが出る

今回は、そんな趣味を通じて私が掴んだ、生成AIに関する私の感想その他をご紹介します。

※生成AIは、本来動画生成・画像生成を含むものですが、本稿では、文字でチャット型のやりとりを行う対話型生成AI についての考察・思考・妄想を行っています。また、本稿に示される妄想等はすべて筆者個人のものであり、筆者の所属する組織の見解等とは無関係です。

■生成AIの苦手な質問

題名が思い出せませんが、昔読んだ本に、次のようなシーンがありました。若く魅力的な女性と、その気をひこうと躍起になっている、やや浅薄な男性が、音楽談義をしています。
仮に女性をキャサリン、男性をタゴサクとします。
クラシック音楽に興味のあるキャサリンに、博識と思わせて歓心を得たいタゴサク、会話はこんなものでした。

タゴサク:「モーツァルトなんかはだいぶん聞いたけれども、まぁ、ボクに言わせると結局一種の形而上学的表象の域を出ないんだよネ。」
キャサリン:「まぁ、お詳しいのね。作品753 はお好きかしら? 子供が成長する過程における通過儀礼を題材にしているらしいじゃない。」
タゴサク:「よ、良く知っているね。その作品なら僕も大好きなんだ。良かったら今度、僕のコレクションを聞きに来ないか」
キャサリン:「作品 K.753 もあるかしら?!」
タゴサク:「え、えーとどうだったかな」

モーツァルトの作品に、K.753 というものは存在しません。
キャサリンは、日本の「七五三」を知っていて、タゴサクはそれをネタに見事にからかわれてしまったのです。

私はある日、これにヒントを得て同じようなことを Windows11にプレビュー版が搭載された生成AI、Copilot に試してみました。
下記に、Copilot の応答を掲載しましょう。

 

Copilot応答例①


反応は、タゴサクと同じようなものでした。
Copilotは、人間でいえば知ったかぶりをする傾向、またそのために誘導を素直に信じすぎてしまう傾向をもった人と、結果的に同じようなコミュニケーション特性を示す面があると思います。

生成AIは、チューニングにもよるのでしょうが、「何かそれっぽいものを」、「過去の蓄積データ(たとえば、Web上の検索結果情報)が示す大まかなパターンに沿って」つなげて生成するものなのだな、と今の所、私は考えています。
したがって、事実確認が求められるような、厳密な議論には適していないし、また全く過去の事例が存在しないような斬新なものは生成することはおそらくできないと言えるでしょう。

タゴサクは罪のないキャラですが、全幅の信頼を置く訳にはいかないのです。

 

■生成AIの得意な質問

私は、生成AIをチヤホヤするのは、思考を他人任せにするようであまり好きではなく、どちらかというと否定的な人間です。
しかし、新しい技術を好き嫌いで済ませるべきではありません。有益な使い方も、探ってみましょう。

私が試してみた範囲で、良いなとおもった使い方は下記ようなものでした。

(1)箱根観光で、みんなが行ってて満足度の高い外さない一泊二日観光コースを提案してよ
(2)色盲が原因でパイロットになる夢を諦める男の子が登場する、家族全員でフォルクスワーゲンで長期移動生活する映画があったと思うんだけど、なんていう映画だったっけ
(3)今日の国際ニュースを簡単に5つほどのヘッドラインにまとめて、スポーツニュースはいらないよ

これらは、「時間をかけて検索しまくればだれでも整理できる情報」であり、「その全体をすみずみまで、というよりも、よく言われていることを把握したい」といった大まかさで十分であり、人間の時間の節約に大いにつながるため、生成AIの有意義な使い方だと思います。

ちなみに、(2)は、実際に「あれなんだっけな~」と私がもった疑問であり、自力でしばらく検索しても分かりませんでした。特定の映画について覚えているシーンは個人差があり、簡単な検索では出てこなかったのかもしれません。諦めかけたころ、「生成AIにでもかけてみるか」と聞いてみたところ、たちどころに正しい映画名、「リトルミスサンシャイン」が表示されました。
(3)もまた、箇条書きにされたニュースに対して、「4番のニュースについて、アナウンサーの朗読原稿風に、より詳しくまとめてよ」などと指示すれば、情報をまとめてくれます。
私自身、今後も使おうかと思うほどの便利さでした。

 

■勝手に未来予想 ~オレは生成AIになんて頼らない?~

そんな生成AIがもたらす未来を、勝手に予想してみましょう。

①「プロンプト・リバースエンジニアリング」の流行語大賞入り

生成AI の得意な質問を見てきましたが、さて、それでは下記のような質問はどうでしょうか。

(1)選挙で民衆が気をひかれるような耳触りの良いスローガンを5つ程提案作ってみて
(2)個人情報漏えい事件が起きちゃったんだけど、なんかそれっぽい謝罪文つくって
(3)うちはサイバーセキュリティの会社なんだけど、キャッチーな経営スローガンを提案して

こうなると、「それは自分の頭で、自分の言葉で考える事ではないのか?」と感じます。しかし、これらはすくなくとも、生成AIの得意分野であるという意味で、技術的には有効な使い方であり、実際にそうする人は増えていくでしょう。
(ただし、少なくとも今のところ出てくるものは、どこかで聞いたことがあるような、「それっぽさ」はあるけれども、平凡なものばかりです。)

もしかすると近いうちに、
「この個人情報漏えい謝罪文は、○○AIでこのようなプロンプトを指示したときに生成した謝罪文と酷似している! ○○AI で作成したに違いない! 不謹慎だ!」、という批判を受ける会社だとか、「この選挙スローガンは、生成AIにこういうプロンプトを与えると同じものが出てくる! 自分の言葉で戦えないのか!」という批判を受ける選挙立候補者だとか、が登場する可能性があります。
もしかすると、それを趣味で暴き、荒らし行為を楽しむ性格の悪い「プロンプト・リバースエンジニア」が、何年後かの流行語大賞となる可能性もゼロではありません。

するとこのような生成AIリバースエンジニアリングリスクに対抗するために、たとえ生成AIを使っておらずとも、何か文章やキャッチコピーを出す際には、それが偶然生成AIの生成するものと酷似しないかを、チェックする運用が必要な時代が来るのかもしれません。
その意味では、「自分は生成AIなど使わない!」という人こそ、上記のような批判にさらされるリスクがあると言えます。人間のオリジナリティには、限りがあるのですから・・・。

ちなみに・・・、冒頭における(3)の回答はこうでした。
「デジタルの盾、あなたの安心を守ります」、う~ん、ありそう、ありがち、というべきか。

 

② データ汚染戦争、静かにはじまる

「AI と AI の戦争が、もうすぐはじまる」といったら、絵空事だと思うでしょうか。
いやいや、本当の戦争ではありません。私の予想しているのは、「データ戦争」、もっと正確にいえば「データ汚染戦争」です。
生成AI を駆動するには、学習ができる大量のデータが必要で、それはやはり多くの分野で、インターネット上の情報が最も有力なソースであり続けるでしょう。

とすると、A国とB国が覇権を争っている場合に、親A国的な情報と、親B国的な情報の「絶対量」は、それなりの意味を持つと予想されます。
すると、情報拡散合戦が起こる、いや、もう起こっている可能性があるでしょう。

このことは、フェイク動画や偽記事などの手法で、これまでも行われてきており、何ら新しいものではありません。
新しいのは、それが、人間を騙すための巧みさを追い求める方向と、生成AI の材料となれば良いから、それほど巧みではなくとも、「質より量」を追い求めた意図的情報拡散行為に二分化していく可能性が生まれたということです。

それは、まさに生成AI の得意分野であり、インターネットは、あと数年もすると、生成AI自身の生み出した情報で埋め尽くされてしまうのかもしれません。
そうすると、生成AI が生成した情報ではない情報のみにフィルタする機能を持つ生成AIを通して Web情報にアクセスしなければならない、などといったアホなことが、起こるかもしれません。
これについては、画像も動画も、同じようなジレンマを抱えていると思います。

「どこかで見たような」平凡クオリティのものが爆発的に増え、斬新なものや超一流のものは、減るか、少なくともとてもアクセスしづらくなる・・。
そんな未来を考えてしまいますが、果たして心配しすぎでしょうか?

 

サイバー攻撃の「敷居が下がる」

生成AI は、コードを生成することが得意であり、サイバー攻撃にも悪用される、と良く言われています。
実際、「ファイルを暗号化するコードを教えて」といったような質問をなげれば、ランサムウェアの一部になり得るコードを得ることができます。

また、「会社の重役が、思わず添付ファイルを急いで確認したくなるような電子メールの中身を考えてよ」などの質問を通じて、フィッシングメールの文面を考えてもらうなどの利用法も考えられます。

 

(生成AI応答例②)

 

上記が実際に生成されたメール文面です。なるほど自然な日本語のビジネスメールですが、特別感はありません。

私は、総じて生成AIがサイバー攻撃の脅威を激化するという意見は、「煽りすぎ」だと思います。
生成AIは、いま時間をかけて検索すれば(比較的誰でも)整理できる情報を、手際良く示してくれているにすぎません。

・比較的低いレベルのサイバー攻撃については、その敷居が下がることによって、サイバー攻撃の「数」は増える
・ちゃんとした対策を実施している企業はなんら影響を受けないが、丸腰の企業にとっては確かに脅威が増える(が、元々時間の問題だった)

といったところが、今のところより正確な記述ではないかと考えています。

 

サイバー防御についてはどうでしょうか。
今のところ、サイバー攻撃への悪用ほど明確な活用法は見出されていない印象です。
しかし例えば、情報の整理には使える可能性があると思います。
この記事を読んでいる(つまり、セキュリティに興味のある)皆様ならば、
「いま騒がれてる○○ウイルスの C2サーバと IoC について、それぞれ csv で出力しといて」
などと頼めれば、(その情報が正確である限りにおいて)それなりに有用ではないでしょうか。

もっともこれはデータに価値があるのであって、生成AI とはある意味、どこまでいっても「インタフェース (+ちょっとの RPA)」なのですが。

 

■まとめにかえて

生成AIは、社会をどのように変えるでしょうか。
プロンプトを触っていて、感じたことがあります。
それは、「頭の中に詰まっていること」の重要性です。

生成AIは、対話によって文脈を踏まえた質問の深め方ができるところに、ミソがあると思います。しかし、より論点を限定・誘導していって、情報に至るには、プロンプトによる誘導が必要です。

誰でも、「長嶋茂雄って誰?」と聞くことはできますが、「長嶋茂雄王貞治を対照したときに、それぞれにどんな特徴があって、公式成績以外の観点、例えばチャンスにおける強さとか、ファン層の違いとか、そういった点ではどんな比較対照がなされている?」と聞くには、ある程度の前提知識がないといけないでしょう。

Web検索だけだった時代より、そもそも「頭の中に詰まっていること」の多寡によって、できるプロンプト誘導の差が大きくなり、結果、更に知識差、疑問力の差がついていくようになると思います。
つまり、知識差がこれまでよりも拡大してどんどん開いていく一方になるという怖さを持った社会が、AI社会なのかもしれません。