Across the ford to Penrhyn Isaf
© Copyright Alan Hughes and licensed for reuse under this Creative Commons Licence.

 

最近出てきた生成AIから順番に生成AIのハルシネーション対策について調べてきましたが、今回はGoogleのGemini 1.5がどのようなハルシネーション対策をしているのか確認したいと思います。

 

私#1：

生成AIにとって、ハルシネーションというのは不可避なものでしょうか？

Gemini 1.5#1：

生成AIにおけるハルシネーションは、現時点では完全には避けられない課題と言えます。しかし、近年様々な研究開発が進められており、その克服に向けた取り組みが活発化しています。

ハルシネーションの原因

生成AIがハルシネーションを起こす原因としては、主に以下の2点が挙げられます。

訓練データの問題:

  • 訓練データに含まれる偏りやノイズの影響を受け、誤った情報を学習してしまう可能性があります。
  • 例えば、猫の写真ばかりを含むデータセットで学習したAIは、犬の写真を見せられた際に猫のような特徴を生成してしまう可能性があります。

 

訓練・推論段階の問題:

  • モデルの構造や学習アルゴリズムに問題があると、辻褄が合っていない内容を生成してしまう可能性があります。
  • 例えば、文章生成AIにおいて、文法的に正しい文章であっても、論理的に矛盾していたり、事実と異なる内容を生成してしまう場合があります。

 

ハルシネーションの対策

上記のような課題に対して、以下のような対策が研究されています。

データセットの改善:

  • より質の高いデータセットを収集・作成することで、AIが誤った情報を学習するリスクを減らすことができます。
  • 例えば、様々な角度や光源で撮影された猫と犬の写真を含むデータセットで学習することで、AIは猫と犬の特徴をより正確に区別できるようになります。

 

モデル・アルゴリズムの改良:

  • ハルシネーションを検知・修正する機能をモデルに組み込むことで、生成された内容の信頼性を高めることができます。
  • 例えば、生成された文章に対して、事実誤認がないか、論理的に矛盾していないかをチェックする仕組みを導入することができます。

 

評価指標の開発:

  • ハルシネーションの程度を定量的に評価できる指標を開発することで、モデルの性能を比較しやすくなります。
  • 例えば、生成された内容と現実世界の情報との整合性を評価する指標などが提案されています。

 

今後の展望

これらの対策技術の進歩により、将来的には生成AIにおけるハルシネーションの問題は大幅に改善されることが期待されています。しかし、完全に根絶することは難しいとされています。

生成AIを利用する際には、常にハルシネーションの可能性を念頭に置き、生成された内容を鵜呑みにせず、他の情報源と照らし合わせながら検証することが重要です。

参考情報

  • 【Infostand海外ITトピックス】生成AIの大問題 「幻覚」の現状と議論 – クラウド Watch https://cloud.watch.impress.co.jp/（正しくは  https://cloud.watch.impress.co.jp/docs/column/infostand/1495899.html )
  • 富士通、対話型生成AIの幻覚やAIをだます攻撃に対処する新技術を開発 https://japan.zdnet.com/article/35209516/
  • AIハルシネーション現象 – 真実を模倣するデジタル幻覚の解明 | Reinforz Insight https://reinforz.co.jp/bizmedia/category/theme/data-ai/ （正しくは https://reinforz.co.jp/bizmedia/15600/ ）

 

私#2：

Gemini 1.5を開発するにあたってどのようなハルシネーション対策を行ったか教えてください。

Gemini 1.5#2：

Gemini 1.5は、前モデルであるGemini 1.0よりも高度な言語モデルであり、より人間らしい文章を生成することができます。しかし、その一方で、ハルシネーションの問題も発生しやすくなっています。

Gemini 1.5の開発においては、以下の点に重点を置いてハルシネーション対策を行いました。

1. 訓練データの改善

  • より質の高いデータセットを収集・作成することで、AIが誤った情報を学習するリスクを減らしました。例えば、ニュース記事や書籍など、信頼できる情報源からの文章を抽出したデータセットを使用しました。
  • データセットに多様性をを持たせることで、AIが偏った情報を学習するのを防ぎました。例えば、様々なトピックやジャンルの文章を含むデータセットを使用しました。

 

2. モデル・アルゴリズムの改良

  • ハルシネーションを検知・修正する機能をモデルに組み込みました。生成された文章に対して、事実誤認がないか、論理的に矛盾していないかをチェックする仕組みを導入しました。
  • 生成された文章の妥当性を評価する指標を開発し、モデルの訓練に使用しました。例えば、生成された文章と現実世界の情報との整合性を評価する指標などを用いました。

 

3. 評価方法の改善

  • 従来の評価指標に加え、ハルシネーションの程度を評価する指標を用いてモデルを評価しました。例えば、生成された文章に含まれる事実誤認の数や、論理的に矛盾している箇所の数などを評価指標として用いました。
  • 複数の評価指標を用いることで、モデルの多角的な評価を行いました。

 

4. 人間による評価

  • 専門家による評価を取り入れることで、モデルが生成する文章の質を向上させました。生成された文章に対して、事実誤認がないか、論理的に矛盾していないか、読みやすく理解しやすい文章であるかを評価してもらいました。
  • ユーザーによる評価を取り入れることで、モデルが生成する文章のユーザー視点での評価を行いました。生成された文章に対して、興味関心を持てる内容であるか、共感できる内容であるかを評価してもらいました。

 

これらの対策の結果、Gemini 1.5はGemini 1.0よりもハルシネーションの発生率を大幅に低減することに成功しました。

しかし、完全には根絶することが難しい課題であるため、今後も研究開発を進め、さらにハルシネーション対策を強化していく予定です。

留意点

Gemini 1.5は、まだ開発段階のモデルであり、完璧ではありません。

ハルシネーションが発生する可能性があることを常に念頭に置き、生成された内容を鵜呑みにせず、他の情報源と照らし合わせながら検証することが重要です。

 

というGemini 1.5の回答なのですが、これまでの利用経験から、Gemini 1.5の示すURLは間違っていることが多い気がします。

※Gemini1.5#1の回答中、文字色＝赤の部分をご覧ください。

 

なお、Gemini 1.5では、回答欄の下に以下のようないくつかのボタンが表示されます。

ここまでで何も言及がありませんでしたが、Gemini 1.5では、ハルシネーション問題に対処するため、回答内容を再確認する機能が導入されていて、それが右から2番目の「G」のボタンです。

このボタンを押すと、Gemini 1.5は、自分の出力した内容に関してGoogle検索を利用してチェックし、チェックが完了すると、下図の通り、「チェック完了・結果について」と表示するとともに、ハルシ―ネーションの可能性がある解答部分の背景色がサーモンピンクに変更されていました。また、「結果について」部分をクリックすると、下図のとおり、「結果について」のポップアップ画面でハイライト表示した部分についての説明が出てきました。

また、ハイライト表示された文章部分をクリックすると、その下に以下のような表示が現れました。

ここまで、いろいろな生成AIに「生成AIにとって、ハルシネーションというのは不可避なものでしょうか？」という問いかけを行いましたが、その回答としてGemini 1.5の回答が一番親切な回答である気がしますが、同時にハルシネーションも他の生成AIより多い気がするので、Gemini 1.5を利用する場合は、「G」ボタンを活用しながら利用するのがよさそうです。

以上、今回はGemini 1.5のハルシネーション対策について確認しました。

 

本日はここまでです。

おわり

投稿タグ
,