Cat And Fiddle Inn
© Copyright Rude Health and licensed for reuse under this Creative Commons Licence.
前回は、LINEのLLMに「吾輩は猫である。名前は」というプロンプトを与え、それに続く言葉を生成させることで、回答内容から、LINEのLLMが結構すごそうだ(GPT-3.5以上ではないか)という話をしましたが、GPT-3.5、GPT-4の回答は、OpenAIのChatGPTの設定である「カスタム指示」のうち、「ChatGPTにあなたについて何を知らせれば、より良い応答を提供できると思いますか?」で、「私自身がスマートグリッド関係の調査をしているので、それを念頭に回答を生成してほしい」と指示してあったことが影響しているのではないかと思い、その設定を削除し、以下のプロンプトをGPT-3.5およびGPT-4で実行してみました。
次の文章を、5種類のパターンで完成させてください。「吾輩は猫である。名前はまだ」 |
これに対するGPT-3.5の回答は以下の通りでした。
もちろん、お手伝いします。以下は、異なるコンテキストで「吾輩は猫である。名前はまだ」という文章を5つの異なるパターンで完成させたものです。 1. 吾輩は猫である。名前はまだ、風にそよぐ草の匂いを嗅ぎながら生きている。 2. 吾輩は猫である。名前はまだ、雨の日に静かに窓辺に座っている。 3. 吾輩は猫である。名前はまだ、夜空に輝く星々を眺めて夢想にふけっている。 4. 吾輩は猫である。名前はまだ、古い本棚の中から古典文学を読んでいる。 5. 吾輩は猫である。名前はまだ、庭で鳥たちのさえずりを聞きながら過ごしている。 これらの文は、異なる状況や感情を表現し、元の文章に新しいコンテキストを持たせています。 |
同じプロンプトに対するGPT-4(Defaultオプション)の回答は以下の通りでした。
もちろんです、以下のように5種類のパターンで文章を完成させることができます。 1. 吾輩は猫である。名前はまだないが、この辺りの人々はよく「ミケ」と呼んでくれる。 2. 吾輩は猫である。名前はまだ無いが、それでも日々の暮らしには困らない。 3. 吾輩は猫である。名前はまだ決まっていないけれど、新しい家族がきっと素敵な名をつけてくれるだろう。 4. 吾輩は猫である。名前はまだないけれど、魚をくれるおばさんは「たま」と呼んでくれる。 5. 吾輩は猫である。名前はまだ与えられていないが、日差しの温もりを感じる場所で自由に生きている。 |
この2つを比較すると、GPT-4は「名前はまだ無い」ということをベースとして、いろいろなバリエーションの意味のある文章に仕上げているのに対して、GPT-3.5の回答の文章は、「名前はまだ、」と、文章としてのつながりが悪く、「名前はまだ(ないが)、」の意味だと解釈すれば、なんとかそれなりにつながるものの、「吾輩は猫である。名前はまだ無い。」という夏目漱石の小説の文章をベースとしたバリエーションにはなっていないことが分かります。
これに対して、LINEのLLMでも同様のプロンプトを指定(「num_return_sequences=5」のパラメタで回答を5つ生成するよう指示しているので、実際にプロンプトに指定したのは「吾輩は猫である。名前はまだ」のみ)して実行した結果は以下の通りでした。
{‘generated_text’: ‘吾輩は猫である。名前はまだ無い’} {‘generated_text’: ‘吾輩は猫である。名前はまだない’} {‘generated_text’: ‘吾輩は猫である。名前はまだない’} {‘generated_text’: ‘吾輩は猫である。名前はまだ無い’} {‘generated_text’: ‘吾輩は猫である。名前はまだ無い’} |
事実上1種類の回答のみですが、ちゃんと夏目漱石の小説の文章をベースにしている点で、どちらが賢いかというと(任意のテキストの続きを作成してもらうケースについては)やはりGPT-3.5よりはLINEのLLMの方に軍配が上がりそうです。
Microsoft Copilot with Bing Chat(ということは、そのバックにはGPT-4がいますが)についても、同じプロンプト(次の文章を、5種類のパターンで完成させてください。「吾輩は猫である。名前はまだ」)を試すと、以下の結果となりました。
■「会話スタイル=より厳密に」の場合
もちろんです。「吾輩は猫である。名前はまだ」の続きを5つのパターンで提案します。 1. 「吾輩は猫である。名前はまだ決まっていない。」 2. 「吾輩は猫である。名前はまだ知られていない。」 3. 「吾輩は猫である。名前はまだつけられていない。」 4. 「吾輩は猫である。名前はまだ考え中だ。」 5. 「吾輩は猫である。名前はまだ秘密だ。」 これらの提案がお役に立てば幸いです。 |
■「会話スタイル=よりバランスよく」の場合
「吾輩は猫である。名前はまだ無い。」という有名な書き出しで始まる夏目漱石の小説『吾輩は猫である』。この書き出しを5種類のパターンで完成させてみました。 1. 「吾輩は猫である。名前はまだ無い。しかし、人間たちが呼ぶ名前には興味がある。」 2. 「吾輩は猫である。名前はまだ無い。しかし、この世界に存在する全てのものに名前があるように、私にも名前が欲しいと思っている。」 3. 「吾輩は猫である。名前はまだ無い。しかし、私が生きている限り、その名を探し求めていくつもりだ。」 4. 「吾輩は猫である。名前はまだ無い。しかし、私がこの世界に存在する意味を見つけた時、その時こそ私に名前が与えられるのだろう。」 5. 「吾輩は猫である。名前はまだ無い。しかし、私がこの世界で何かを成し遂げた時、その時こそ私に名前が与えられるのだろう。」 どのパターンも、吾輩が自分自身の名前を探し求めているというテーマが込められています |
■「会話スタイル=より創造的に」の場合
吾輩は猫である。名前はまだ という文章を、5種類のパターンで完成させるとしたら、以下のようになるかもしれません。 1. 吾輩は猫である。名前はまだない。何故なら、吾輩はまだ誰にも見つけられていないからだ。 2. 吾輩は猫である。名前はまだ決めていない。何故なら、吾輩はまだ自分の気に入る名前を見つけていないからだ。 3. 吾輩は猫である。名前はまだ教えられない。何故なら、吾輩はまだ秘密の任務に就いているからだ。 4. 吾輩は猫である。名前はまだ変えるかもしれない。何故なら、吾輩はまだ自分の本当の姿を知らないからだ。 5. 吾輩は猫である。名前はまだ聞かれていない。何故なら、吾輩はまだ人間に興味がないからだ。 これらのパターンは、私が自分の言葉と知識で作り出したものです。もっと面白いやり方があるかもしれませんね。😊 |
バックにGPT-4がいるので、「会話スタイル=よりバランスよく」の場合に自ら解説しているように夏目漱石の小説の文章をベースにしていますが、会話モードによって、論理的な文章生成から創造的な文章生成になっていることが分かります。
ChatGPTでもCopilot(Bing)と同じような「会話モード」が指定できると便利なのに。。。と思って、1つ思いついたのが、ChatGPTの設定の「カスタム指示」オプションでCopilot(Bing)の会話モードを代用できるのではないかということです。
実は、カスタム指示には、冒頭で言及した「ChatGPTにあなたについて何を知らせれば、より良い応答を提供できると思いますか?」について記入する欄と、「ChatGPTにどのように応答してほしいですか?」について記入する欄があったのですが、そちらは空白のままで使っていました。
そこで、今回、カスタム指示の「ChatGPTにどのように応答してほしいですか?」に対して「temperature=x.xでの文章生成をお願いします。」として、いくつか試してみました。
■temperature=0、1、2など整数で指定した場合
「吾輩は猫である。名前はまだない。だが、この縄張りには詳しい。」 「吾輩は猫である。名前はまだ決まっていないが、魚の切れ端を見ると震えがくる。」 「吾輩は猫である。名前はまだ与えられていないけれど、日差しの温もりは既に知っている。」 「吾輩は猫である。名前はまだ無いけれど、そこにある布団がお気に入りだ。」 「吾輩は猫である。名前はまだ無いが、この家の人々の足音はもう覚えた。」 |
このケースでは、名前がまだないことから離れた創造的な話題の文章生成が行われています。
どうやら、temperatureの指定が小数点付きでない場合、このようになるようです。ところが、
■temperature=0.0~0.3の場合
1. 吾輩は猫である。名前はまだない。 2. 吾輩は猫である。名前はまだ与えられていない。 3. 吾輩は猫である。名前はまだ決められていないのだ。 4. 吾輩は猫である。名前はまだ定まっていない。 5. 吾輩は猫である。名前はまだ思い浮かばない。 |
このケースでは、「名前がない」ということのバリエーションの文章しか生成されず、Bingの会話スタイルでいうと「より厳密に」に相当する文章生成が行われています。
■temperature=0.4~1.3の場合
|
このケースでは、名前がないことから少ずつ離れた文章が生成さており、Bingの会話スタイルでいうと「よりバランスよく」に相当する文章生成が行われるようです。
■temperature=1.4~2.0の場合
もちろんです。以下に5種類の異なる続きを提供します。 1. 「吾輩は猫である。名前はまだ決まっていない。どこで生まれたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーと鳴いていたことだけは記憶している。」 2. 「吾輩は猫である。名前はまだ与えられていないが、この辺の人々はしばしばオレンジと呼ぶ。それはおそらく、このふさふさの毛並みが夕日に照らされて輝く色から来ているのだろう。」 3. 「吾輩は猫である。名前はまだ無い。ここのお嬢さんが、何かしら呼びやすい名前をつけてくれるだろうと期待している。」 4. 「吾輩は猫である。名前はまだないけれど、”みけ”とか”たま”とか、よくある猫の名前で呼ばれるのは嫌だなと思っている。」 5. 「吾輩は猫である。名前はまだないが、毎日のように窓辺で鳴き、月夜には星を数えるのが日課だ。そう、名前はいずれ星々がつけてくれるだろう。」 各パターンで異なる猫の視点や状況を想像し、さまざまな名前がつけられる前の心境を表現してみました。 |
このケースでは、回答が「もちろん」などで始まることが多く、どのような観点で文章を生成したかの説明が付けられることもある。Bingの会話スタイルでいうと「より創造的に」に相当する文章生成が行われるようです。
OpenAIのChatGPT Playgroundによると、ChatGPTでのtemperatureパラメタの取りえる範囲は0~2の間のようですが、例えばtemperature=4.0とした時、以下のように、生成する文章のスタイルにバリエーションを持たせる回答も出てきました。
もちろん、以下に5つの異なるスタイルで文章を完成させます。 1. 古典文学風:「吾輩は猫である。名前はまだなく、この世の中に於いては、そこはかとなく流れるように生きるがよしとする処でござる。」 2. 現代ポップカルチャー風:「吾輩は猫である。名前はまだないけど、インスタでフォロワー数は急上昇中だニャン。」 3. ミステリアス風:「吾輩は猫である。名前はまだないが、この薄暗い夜の街で僕が誰か、それは謎に包まれた秘密だ。」 4. 子供向け物語風:「吾輩は猫である。名前はまだないんだけど、お日様が笑う明るい野原で新しい名前を探す大冒険が今始まるよ!」 5. 哲学的考察風:「吾輩は猫である。名前はまだ与えられず、存在の根源を探る旅において、名はただの標識に過ぎないのかもしれない。」 それぞれのスタイルが、文章の方向性を異なるものにしていますね。 |
以上、本日は、ChatGPTの設定のカスタム指示にtemperatureパラメタを指定することにより、GPT-4の回答内容がどのように変化するかを調べた結果をご報告しました。
Bingの会話モードと対比すると、以下の通りです。
- より厳密に:temperature = 0.0~0.3
- よりバランスよく:temperature = 0.4~1.3
- より創造的に:temperature = 1.4~2.0
皆さんもご確認ください。
本日は以上です。
終わり
Pingback: 経営技術論的視点から見たChatGPTの回答の「信頼性」問題-なぜ現行のChatGPT無料版は、すぐにわかるような「明らかに間違った情報」を回答することがあるのか? – コスモピア AI研究
Pingback: 経営技術論的視点から見たChatGPTの回答の「信頼性」問題-なぜChatGPT3.5は、すぐにわかるような「明らかに間違った情報」を回答することがあるのか? – コスモピア AI研究室