Old railway station, Heathfield
© Copyright Patrick GUEULLE and licensed for reuse under this Creative Commons Licence.

 

ChatGPTに訊いてみたーその6」で、ChatGPTを使って日本の電力自由化に関するレポートを作成しようと思い立ち、目次構成の相談から始まって、各章、節に書く内容に至るまで、ほぼChatGPTに頼る形でレポートの作成を進めてきました。途中、いろいろChatGPTの使い方で戸惑いを感じながらも、前回、最後の章・節に書く内容をChatGPTから引き出し、今回、「おわりに」の章を書き加えて、「生成AIが語る日本の電力自由化の経緯と評価」というタイトルのレポートに仕立てることができました。

今回は、ここまでのChatGPTとの対話から学んだことをサマライズしようと思います。

ChatGPTに訊いてみたーその1

  • 英文のニュースリリース記事のURLを示して、「要約してください」というと、ちゃんと日本語での要約文を生成してくれる。
  • ただし、要約内容には、ところどころおかしい箇所がある
  • (この時は?)要約する文字数を指定しても、指定より短い要約になっていた(バイト数のようだった)

ChatGPTに訊いてみたーその2

  • 「配電網へのブロックチェーン技術適用の今後の方向性について」といった非常にマニアックな話題にもちゃんと専門家のように対応できるのは凄い

ChatGPTに訊いてみたーその3

  • 引き続きブロックチェーンに関して、ChatGPTと議論することができた

ChatGPTに訊いてみたーその4

  • 検索する情報元を「Monitoring Analytics社が1999年以降毎年発行している“PJM State of the Market“」のように指定しても、必ず、その内容をすべてしっかり読んでまとめてくれるというよりは、ザッと眺めてみて、つじつまの合うように情報を拾ってくる感じ
  • しかし、質問してから数秒で1999年のレポートから2022年までのレポートの中の情報をもとに回答してくれるので、まったく知らない分野に関して、ChatGPTに頼るのはまだ危険だが、ある程度知見があり、ChatGPTからの回答をうのみにせずに、「この辺りは怪しそうだ」という部分に関して、更に具体的に質問することで、短時間にまとまった精度の高い調査結果が得られそう

ChatGPTに訊いてみたーその5

  • 2021年9月以降に関して、ChatGPTが情報を「出し渋る」ことがある。
  • ただし、単にURLを指定して、その情報の整理を頼むと、「文句を言わず」すんなり整理してくれることもある(し、やはり拒否されることもある)

ChatGPTに訊いてみたーその6

  • 「日本における電力自由化に関するレポートを作成したいので、目次を考えてください」という漠とした要望に対して、結構完璧な目次構成をChatGPTが出してきてくれた
  • 追加で要望した電力自由化に関連する業界団体について、電気事業連合会のことを「日本電力連盟」と回答しているのは、一旦ChatGPTのデータベース上は、日本の情報も英語ベースに置き換えて保持しているのではないか
  • 「関連する業界団体」とか、「分科会のそれ以降の会合で、同様に電力市場の課題や将来の方向性について触れている資料がないかどうか、調べて」という風に大雑把に要求しても期待される結果は得られない
  • しっかり的を絞った質問(例:経済産業省 資源エネルギー庁の「電力・ガス基本政策委員会 電力・ガス分科会」の第27回会合の資料8以降で、容量市場の課題や将来の方向性について触れている資料がないかどうか、調べて)をすれば、正しく、第32回資料8を見つけてきた

ChatGPTに訊いてみたーその8

  • 日本を含め英語圏以外能情報に基づく学習量は英語圏から得られた情報よりも少ない
  • 固有名詞に関しては、現地の言語での名前と英語での名称を保持しているものの、回答作成時に英語での名称から、回答に使用している言語に翻訳して回答を作成する場合がある?ので、本来現地で使用されている固有名詞が返されないことがある
  • また、質問の仕方を工夫することで、ある程度回答の精度を上げることはできるけれども、どのように質問の仕方を工夫しても、1発で正解が得られるとは限らない

ChatGPTに訊いてみたーその9

  • ChatGPTがでたらめな回答をするときは、情報不足(①もともと2021年9月より後の情報は、質問するときに指定しないとわからない、②2021年9月以前のデータでも、英語圏以外のデータは持っていないことがある、③質問時にURLなどで指定した情報のデータ構造がよくわからなくても、わからないと言わない)が原因と考えた方がよさそう

ChatGPTに訊いてみたーその10

  • ChatGPTは、あっさりユーザーとの会話データを学習対象として取り込むことがあるため、政府や企業が機密情報を扱う際に、ChatGPTを使うことはリスクが伴う可能性がある
  • 通常、個人名、メールアドレス、電話番号、住所などの個人を特定できる情報が含まれている場合、そのデータは学習対象から除外されるが、完全に個人情報を取り除くことは技術的に難しい場合があり、そのため、OpenAIはデータの匿名化や偽名化に努めている
  • ChatGPT使用禁止の国や企業があるが、現状では、完全なプライバシー保護や機密情報の取り扱いに関して十分な対策が施されていないため、(ChatGPTとして)このような判断がなされていることは理解できる
  • (「Microsoft Security Copilot」の情報に対して)Microsoft Security Copilotのようなセキュリティ対策を利用すれば、機密情報や個人情報の取り扱いに関する懸念がある組織でも、AI技術をより安心して利用できるようになる

ChatGPTに訊いてみたーその11

  • ChatGPTの回答内の間違いをただすために、正解の情報を持つURLを指定すると、そのURLの情報が2021年9月以降のものでも、URLで」指定した情報をアクセスし、内容を学習してしまうように見える

ChatGPTに訊いてみたーその12

  • ChatGPTは、テキストベースの入力が基本で、PDFやWord、Excelファイルを指定しても、人間が認識できるようにそのファイル中のデータ構造を認識できない
  • ChatGPTにテキストベースで入力した場合も、その中のラフなデータ構造(前回の例では、インプットテキストの中に3種類の一覧表があることを示唆)を教えないと、インプットデータを正しく認識しない

ChatGPTに訊いてみたーその13

  • ChatGPTを賢くする呪文」がある (←プロンプトエンジニアリングと言われているものの1つだった)
  • でも、呪文が万能ではなかった(やはり、ChatGPTの回答に間違いはあった)

ChatGPTに訊いてみた-その14

  • ChatGPTは俳句の指導もできそう

ChatGPTに訊いてみたーその16

    ChatGPTに至る生成型AIについて勉強になった資料2点

  • JDLA緊急企画!「生成AIの衝撃」~ ChatGPTで世界はどう変わるのか? ~
JDLA緊急企画!「生成AIの衝撃」~ ChatGPTで世界はどう変わるのか? ~

  • BS-TBS 報道1930「人類AIと共存できる?/対話型AI「チャットGPT」の正体とは」

         https://newsdig.tbs.co.jp/articles/-/441713

ChatGPTに訊いてみたーその17

プロンプトエンジニアリングの理解で参考になった資料2点

ChatGPTに訊いてみたーその19

  • ChatGPTに評価指標間の重みづけを依頼した際、「私は数値の重みづけを行うことはできませんし、その数値がまったくでたらめであるという主張もできません。重みづけは主観的な判断に基づいて設定されるものであり、具体的な根拠や評価基準によって異なる場合があります。私はあくまで情報を提供し、サポートする役割を担っていますので、最終的な評価や重みづけはあなたの判断にお任せします。」と言いつつも、重みづけに協力してくれた

これで、「ChatGPTに訊いてみた」のシリーズは一旦終わりとします。

 

終わり