Rye roof tops
© Copyright Oast House Archive and licensed for reuse under this Creative Commons Licence

 

前回は、LINEが開発した日本語環境向けの大規模言語モデル（LLM）を調査し、実際にGoogle Collaboration環境で使ってみました。今回はその補足です。

 

前回、OpenAIのGPT-3.5、GPT-4とLINEのLLMに「吾輩は猫である。名前は」というプロンプトを与え、それに続く言葉を生成（これが、本来の生成系AIの使い方ということですが）させることで、回答内容から、LINEのLLMがどれほどの実力があるのか試してみました。

結果、GPT-4は「まだ無い」と答えた後、「この名高い一節は、夏目漱石の有名な小説『吾輩は猫である』から来ています。」と補足する秀逸な回答でしたが、LINEのLLMは、「吾輩は猫である。名前は漱石」と回答。これはGPT-3.5の意味不明な回答よりは「まし」な回答だと思ったのですが、後で、その答えに、ある種、コンピュータらしくない、「ウィットに富んだ」とまでは言いませんが、こう回答することで、それを聞いた相手の反応を楽しもうとする人間臭さを感じました。

そこで、回答を1つではなく、5つ作成するようパラメタを変更して再実行したところ、以下の5つの回答が返ってきました。

  1. 吾輩は猫である。名前はある。
  2. 吾輩は猫である。名前は「む」と言う。
  3. 吾輩は猫である。名前は、まだ無い。
  4. 吾輩は猫である。名前は猫である。
  5. 吾輩は猫である。名前はにゃあ。

3番目にGPT-4と同じ答えがあり、2番目は、そのバリエーション（む＝無）？

1番目と4番目は、本来質問者が期待している回答（無い）に対してわざと意表を突いた回答に感じられます。

そして、5番目が一番自分ではウケたのですが、「名前がにゃあ」というのは、猫の鳴きまねで「ない」ということを表現したのだとしたら、これはGPT-4以上にスゴイ！！

そう思って、Pythonのコードのtext=generator（）で、LINEのLLMを呼び出す際のプロンプトを『「吾輩は猫である。名前はにゃあ。」の「にゃあ」というのは猫語で「無い」という意味ですか？』として、実行してみたのですが、残念ながら、LINEのLLMは、ChatGPTのように、1つのセッション中、それ以前自分がどう答えたかを覚えていないようで、以下の通り、単に、この長くなったプロンプトの後に続く言葉として「それとも普通の猫」という文字列が生成されただけでした。

「吾輩は猫である。名前はにゃあ。」の「にゃあ」というのは猫語で「無い」という意味ですか？それとも普通の猫

残念！

後で気づいたのですが、これは、text=generator（）のプロンプト部分のみを変更してPythonのコードを頭から再度実行したので当然の結果でした。

そこでやり直したのが以下です。

画面拡大

LINEのLLMは、同じプロンプトでも全く同じ回答を生成しないので（temperatureパラメタが設定できれば同じ回答をするのでしょうが、設定の仕方が分からないので）、今回「吾輩は猫である。名前は、にゃあ」という回答は得られませんでした。

2度実行して、2回目の最初の回答が、「吾輩は猫である。名前は、ある」だったので、これに対して、『「吾輩は猫である。名前は、ある」という回答は、「名前はまだない」という夏目漱石の小説「吾輩は猫である」の冒頭の文章のパロディですか？』と重ねて質問したところ、それに対して「A:その通り」という回答が示されています。

LINEのLLM、結構すごいですね。

以上が、補足＃１です。

 

補足＃２は、前回、localeとしてUTF-8を指定しないとエラーが出たという話をしたのですが、実は、その前に、Pythonのコードではなく、Google Colabの設定に問題があり、当初Pythonのコードの、もっと手前で例外が発生してしまっていました。

エラーの内容は、「Warning: caught exception ‘Found no NVIDIA driver on your system.」というものでしたが、自分のPCにはちゃんとNVIDIAのドライバが入っています。

そこで、Copilotに、「自分のPCにはNVIDIAのドライバが設定されているのを確認したけれども、Google ColabでPythonのコードを実行すると、NVIDIAのドライバがないという例外が発生するが、どうすればよいか」と尋ねると、『LLMが動いているのは、Googleクラウド側なので、Google Colabのランタイム環境にGPUがないことが原因。Colabのメニューに「ランタイム」というのがあるので、そのサブメニューの「ランタイムのタイプを変更」を選び、ハードウェアアクセラレータとしてGPUを選択すればよい』との回答があり、そのように設定し直すことで、次に遭遇したのがUTF-8の問題でした。

使っていたのは、Microsoft EdgeブラウザのCopilotなのに、Google Colabの操作まで熟知しているようです。

こちらに関してもちゃんと記録を残しておきたかったのですが、一旦Edgeを終了させてしまってCopilotのログが消えてしまったので、以上、記憶を頼りに補足しました。

 

Google Colabというノートブックを使うのは初めてだったので、最初は、自分のPCのNVIDIAの最新のドライバをダウンロードしてアップデートしたり、Google検索で解決策を探していたのですが、Google検索する以前に、Copilotに相談するべきでした。

宣伝するわけではありませんが、MicrosoftのCopilot、なかなか優れものです。

 

 

今回は、非常に短いですが、以上です。

終わり

 

投稿タグ
, ,