White Lion, Machynlleth
© Copyright Jaggery and licensed for reuse under this Creative Commons Licence.
前回は、Azure Prompt Flowのバリアント機能によるプロンプトの性能／コスト評価のやり方についてご紹介しました。
今回は、その続きとして、プロンプトを英語で入力する場合と日本語で入力する場合のGPT3.5の性能／コスト比較を行ってみました。
まず、前回のvariant_0のSystemプロンプトを日本語化し、variant_2として、実行してみました。
次に、variant_1のプロンプトを日本語化し、variant_3として実行してみました。
これらの実行結果を、前回のvariant_0およびvariant_1の実行結果と比較すると、下表のようになりました。
Variant_0とvariant_2、variant_1とvariant_3を比較すると、System/Userプロンプトを日本語にすることでトークン数が約2倍～9倍になっており、コスト的には、プロンプトは英語にした方がよさそうです。
一方、Variant_0とvariant_2、variant_1とvariant_3の処理速度は、ほぼ同等か、かえって日本語のSystem/Userプロンプト方が早い結果となりました。
Userプロンプトの英語と日本語の文法的な構成や単語の意味の差に起因している可能性（特に③の英語のawefullyは肯定的な「スゴイ」より否定的な「酷い」のニュアンスが強いからか）が考えられたので、Userプロンプトはvariant_0、variant_1と同じく英語で実行してみましたが、それでもUserプロンプト①と②では、不思議なことに、Systemプロンプトが日本語の方が、Systemプロンプトが英語の場合より処理速度が速い結果となってしまいました。
本日は、非常に短いですが、この理由がよくわからないので、とりあえず、実施結果についてのご報告にとどめます。
終わり
