Punting on the River Cam
© Copyright Paul Glazzard and licensed for reuse under this Creative Commons Licence.
前回は、ChatGPT自身がプロンプトエンジニアリングを最もわかりやすく説明したサイトとして推奨してくれたWikipedia（英語版）をベースにして、本来のプロンプトエンジニアリングの定義を確認しました。
一般にプロンプトエンジニアリングは、生成系AIを使う側が、自分の望む回答を引き出すためのテクニックというような解説が行われていますが、ChatGPTによると、『プロンプトエンジニアリングは、AI、特に自然言語処理における概念であり、技術でもあります。これは、モデルが特定のタスクを達成するために、どのようにプロンプトを設計し、調整するかに関する研究と実践を含みます。これには、モデルが生成する応答をガイドするためのプロンプトの設計、プロンプトの表現の最適化、そして特定のタスクに対するモデルのパフォーマンスを最適化するためのプロンプトの調整が含まれます。』ということで、生成系AIを提供する側で、事前学習を完了したモデルが、自然に、かつ、様々なユーザのプロンプトに対して的確に回答を返すように訓練するための技術である”prefix-tuning”や”prompt tuning”を用いて「チューニング」することもプロンプトエンジニアリングの範疇に属することが分かりました。
今回は、生成系AIを利用する側（特にAPI経由ではなく、ブラウザインタフェースで利用する場合）のプロンプトエンジニアリングについて、Bard/ChatGPT/Bingに訊いてみようと思います。
なお、ChatGPT Plusでは、GPT-4でOpenAI公式プラグインのAskYourPDF、WebPilotを利用しています。
では、早速始めます。
私#14：
OpenAIが2021年10月に公開したプロンプトエンジニアリングについての公式ドキュメントを日本語に全訳してください。表現形式は「だ・である調」でお願いします。
Bard#14：
はい、日本語で答えます。
OpenAIは2021年10月に、プロンプトエンジニアリングについての公式ドキュメントを公開しました。このドキュメントでは、プロンプトエンジニアリングとは何か、プロンプトエンジニアリングを行うためのベストプラクティス、プロンプトエンジニアリングの将来について説明されています。
プロンプトエンジニアリングとは、言語モデルに適切な入力を与えるプロンプトを設計し、モデルからの出力をユーザーに適切な形で提供することを目指す技術です。プロンプトエンジニアリングは、ユーザーのニーズに応じてシステムの振る舞いを調整し、より正確で有益な回答を提供することができるようにするための重要なスキルです。
プロンプトエンジニアリングを行うためのベストプラクティスは、次のとおりです。
- 最新のモデルを使用する
- プロンプトの冒頭で指示を出す
- 区切り文字で指示と文脈を明確に区切る
- 具体的に指示を出す
- 説明する
- 詳細を記載する
- 例を提示して出力のフォーマットを明確に示す
- zero-shotから始め、few-shot, fine-tuneの順に試す
- あいまいな指示や不正確な指示を減らす
- 「してほしくないこと」ではなく「してほしいこと」を指示する
- コードを生成させる際は特定のパターンに誘導するための文言を含める
プロンプトエンジニアリングの将来は、言語モデルの性能が向上するにつれて、より重要になると考えられています。プロンプトエンジニアリングを習得することで、ユーザーは言語モデルをより効果的に使用し、より正確で有益な回答を得ることができるようになります。
以上、OpenAIが2021年10月に公開したプロンプトエンジニアリングについての公式ドキュメントの日本語訳でした。
|
OpenAIが2021年10月に公開したプロンプトエンジニアリングについての公式ドキュメントを参照して翻訳はしてくれましたが、「全訳」という部分は無視されてしまいました。 同じ質問をBingにしてみます。 |
Bing#14：
申し訳ありませんが、私は2021年10月にOpenAIが公開したプロンプトエンジニアリングについての公式ドキュメントを見つけることができませんでした。他にお手伝いできることはありますか？
|
これは、GPT-4ベースでWebPilotプラグインなしでChatGPTから質問したのと同じ反応です。 そこで、WebPilotプラグインを用いたGPT-4ベースのChatGPTにも同じ質問をしてみました。 |
ChatGPT（GPT-4 used WebPilot）#14：
すみませんが、その公式ドキュメントのURLを提供していただけますか？その情報があれば、ドキュメントの内容を把握し、日本語に翻訳することができます。
私#15：
失礼しました。次が、その公式ドキュメントのURLです。https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-openai-api​
ChatGPT（GPT-4 used WebPilot）#15：
このドキュメントはOpenAI APIを用いたプロンプトエンジニアリングのベストプラクティスについて述べています。以下にその主要なポイントを日本語に翻訳します。
１．最新のモデルを使用する
最良の結果を得るためには、一般的に最新で最も能力の高いモデルを使用することを推奨します。2022年11月現在、テキスト生成には「text-davinci-003」モデル、コード生成には「code-davinci-002」モデルが最適な選択肢となっています。
２．プロンプトの始めに指示を置き、### や “”” を使用して指示とコンテキストを分ける
効果的なプロンプトは、指示を明確にし、それをコンテキストから明確に区別します。
３．望むコンテキスト、結果、長さ、形式、スタイルなどについて具体的で詳細な説明をする
望む結果について具体的で詳細な説明をすることで、モデルはより正確な出力を生成します。
４．例を通じて望む出力形式を明示する
モデルは具体的な形式要件を示されたときにより良好に反応します。これにより、複数の出力を信頼性高くプログラムで解析することが容易になります。
５．ゼロショットから始め、それからフューショット（例）、それらが機能しない場合はファインチューニングを行う
ゼロショット、フューショット、そしてそれらが機能しない場合はファインチューニングを試みます。
６．「フラフィー」で不正確な説明を減らす
不必要に曖昧で詳細が不足している説明は避け、具体的で明確な指示を提供します。
７．何をしないかだけを言うのではなく、代わりに何をするべきかを言う
モデルに何を避けるべきかだけを指示するのではなく、何をするべきかを具体的に指示します。
８．コード生成特有 – モデルを特定のパターンに向けるために「リーディングワード」を使用する
このコード例では、「import」を追加することで、モデルにPythonで書き始めるべきであることを示唆します。（同様に、「SELECT」はSQLステートメントの開始の良いヒントとなります。）
９．パラメータ
一般的に、モデルと温度は、モデルの出力を変更するために最も一般的に使用されるパラメータです。他のパラメータの説明については、APIリファレンスを参照してください。
10．追加のリソース
追加のリソースに興味がある場合は、以下を推奨します：
以上がOpenAI APIを用いたプロンプトエンジニアリングのベストプラクティスについての主要なポイントです。これらのガイドラインを遵守することで、モデルの出力を最適化し、より具体的で有用な結果を得ることができます。
私#16：
要約ではなく全訳をお願いしたいのですが？
ChatGPT（GPT-4 used AskYourPDF）#16：
申し訳ありませんが、提供されたURLからPDFをダウンロードする際に問題が発生しました。手動でPDFをダウンロードし、次のリンクからアップロードしていただけますか？アップロードが完了したら、結果として得られるdoc_idをコピーして、チャットに貼り付けてください。
|
先に示したURLはOpenAIのWebページでPDFではないのですが、ChatGPTはAskYourPDFプラグインを用いて、URLの内容を取り込もうとして、PDFではなかったので、このメッセージをだしたものと思われます。 そこで、当該ページをPDFにして、AskYourPDFプラグインと連動する「Upload Your Document」サイトにアップロードし、doc_idを発行してもらいました。 |
私#17：
doc_id: 36f53399-708e-48bb-90f3-48e9cb754a08
ChatGPT（GPT-4 used AskYourPDF）#17：
以下に、OpenAI APIを用いたプロンプトエンジニアリングのベストプラクティスについての公式ドキュメントの全訳を提供します。表現形式は「だ・である調」で行います。
OpenAI APIを用いたプロンプトエンジニアリングのベストプラクティス
GPT-3とCodexに対して明確かつ効果的な指示を出す方法
Jessica Shiehによって書かれ、一週間前に更新された
💡 OpenAI APIを始めて利用する方は、まずは導入とクイックスタートのチュートリアルを読むことをお勧めする。
プロンプトエンジニアリングの仕組み
指示を遵守するモデルが訓練される方法や、それらが訓練されるデータにより、特定のプロンプト形式が特にうまく機能し、手元のタスクによりよく合致する。以下では、信頼性が高くうまく機能すると判断されたいくつかのプロンプト形式を提示するが、タスクに最適な形式を探索する自由がある。
規則と例
注：”{text input here}”は実際のテキスト/コンテキストのプレースホルダーである。
１．最新のモデルを使用する
最良の結果を得るためには、一般的に最新で最も能力の高いモデルを使用することを推奨する。2022年11月現在、テキスト生成には「text-davinci-003」モデル、コード生成には「code-davinci-002」モデルが最適な選択肢となっている。
２．プロンプトの始めに指示を置き、### や “”” を使用して指示とコンテキストを分ける
効果が低い ❌:
|
以下のテキストを最も重要なポイントの箇条書きリストとして要約する。 {text input here} |
より良い ✅:
|
以下のテキストを最も重要なポイントの箇条書きリストとして要約する。 Text: “{text input here}” |
３．望むコンテキスト、結果、長さ、形式、スタイルなどについて具体的で詳細な説明をする
望むコンテキスト、結果、長さ、形式、スタイルなどについて具体的であること
効果が低い ❌:
|
OpenAIについての詩を書く。 |
より良い✅:
|
OpenAIについての短くて感動的な詩を書く。特に最近のDALL-Eの製品ローンチに焦点を当てる（DALL-Eはテキストを画像に変換するAIである）。 |
４．例を通じて望む出力形式を明示する (例1、例2)
効果が低い ❌:
|
以下のテキストから言及されているエンティティを抽出する。以下の4つのエンティティタイプを抽出する: 会社名、人名、特定のトピック、一般的なテーマ。 Text: {text} |
示すこと、そして語ること – モデルは具体的な形式要件を示されたときにより良好に反応する。これにより、複数の出力を信頼性高くプログラムで解析することが容易になる。
より良い ✅:
|
以下のテキストから重要なエンティティを抽出する。まずすべての会社名を抽出し、次にすべての人名を抽出する。 希望する形式: 会社名: <カンマで区切られた会社名のリスト> 人名: -||- 特定のトピック: -||- 一般的なテーマ: -||- Text: {text} |
５．ゼロショットから始め、それからフューショット（例）、それらが機能しない場合はファインチューニングを行う
✅ ゼロショット
|
以下のテキストからキーワードを抽出する。 Text: {text} Keywords: |
✅ フューショット – いくつかの例を提供する
|
以下のテキストから対応するキーワードを抽出する。 Text 1: Stripeはウェブ開発者がウェブサイトに決済処理を統合するためのAPIを提供している Keywords 1: Stripe, 決済処理, API, ウェブ開発者, ウェブサイト, モバイルアプリケーション ## Text 2: OpenAIはテキスト処理に非常に優れた最先端の言語モデルを訓練している Keywords 2: OpenAI, 言語モデル, テキスト処理, API. ## Text 3: {text} Keywords 3: |
✅ ファインチューニング: ファインチューニングのベストプラクティスはこちらを参照。
６．「フラフィー」で不正確な説明を減らす
効果が低い ❌:
|
この製品の説明はかなり短く、数文だけで、それ以上は必要ない。 |
より良い ✅:
|
この製品を3から5文の段落で説明する。 |
７．何をしないかだけを言うのではなく、代わりに何をするべきかを言う
効果が低い ❌:
|
エージェントと顧客の間の以下の会話です。ユーザーネームやパスワードを尋ねないでください。ユーザーネームやパスワードを要求しないでください。 顧客: 私のアカウントにログインできません。 エージェント: |
より良い ✅:
|
エージェントと顧客の間の以下の会話です。エージェントは問題を診断しようと試みます。 顧客: 私のアカウントにログインできません。 エージェント: |
８．コード生成特有 – モデルを特定のパターンに向けるために「リーディングワード」を使用する
効果が低い ❌:
|
＃簡単なPython関数を書く ＃1. マイル単位の数値を尋ねる ＃2. マイルをキロメートルに変換する |
このコード例では、「import」を追加することで、モデルにPythonで書き始めるべきであることを示唆します。（同様に、「SELECT」はSQLステートメントの開始の良いヒントとなります。）
より良い ✅:
|
#簡単なPython関数を書く #1. マイル単位の数値を尋ねる #2. マイルをキロメートルに変換する import |
パラメータ
一般的に、モデル（model）と温度（temperature）は、モデルの出力を変更するために最も一般的に使用されるパラメータです。他のパラメータの説明については、APIリファレンスを参照してください。
追加のリソース
追加のリソースに興味がある場合は、以下を推奨します：
- ガイド
- テキスト完成 – モデルを使用してテキストを生成または編集する方法を学ぶ
- コード完成 – Codexのためのプロンプトエンジニアリングを探索する
- ファインチューニング – あなたのユースケースのためのカスタムモデルを訓練する方法を学ぶ
- エンベディング – テキストの検索、分類、比較の方法を学ぶ
- モデレーション
- OpenAIのクックブックリポジトリ – APIを使用して一般的なタスクを達成するための例示コードとプロンプトを含む
- コミュニティフォーラム
以上がOpenAI APIを用いたプロンプトエンジニアリングのベストプラクティスについての公式ドキュメントの全訳です。これらのガイドラインを遵守することで、モデルの出力を最適化し、より具体的で有用な結果を得ることができます。
私#18：
どうもありがとう。これらはOpenAI のAPI経由でGPTを利用する場合のプロンプトエンジニアリングのベストプラクティスだと思いますが、ChatGPT Plusでブラウザからプロンプト欄に入力する場合にも当てはまるものと当てはまらないものに分けてもらえますか？
ChatGPT（GPT-4）#18：
OpenAI APIを用いたプロンプトエンジニアリングのベストプラクティスは、基本的にはChatGPT Plusのブラウザからの利用にも適用可能です。ただし、いくつかの特定の要素はAPI経由での利用に特化しているため、直接的には適用できません。以下にそれらを分けて説明します。
ChatGPT Plusで適用可能なベストプラクティス：
１．プロンプトの始めに指示を置き、### や “”” を使用して指示とコンテキストを分ける：これはプロンプトの明確さと理解を改善します。
２．望むコンテキスト、結果、長さ、形式、スタイルなどについて具体的で詳細な説明をする：具体的で詳細な指示は、モデルが望む結果をより正確に生成するのに役立ちます。
３．例を通じて望む出力形式を明示する：モデルは具体的な形式要件を示されたときにより良好に反応します。
４．「フラフィー」で不正確な説明を減らす：具体的で明確な指示を提供することが重要です。
５．何をしないかだけを言うのではなく、代わりに何をするべきかを言う：モデルに何を避けるべきかだけを指示するのではなく、何をするべきかを具体的に指示します。
ChatGPT Plusで直接適用できないベストプラクティス：
１．最新のモデルを使用する：ChatGPT Plusはブラウザベースのインターフェースであり、ユーザーは使用するモデルを選択できません。使用されるモデルはOpenAIによって管理されます。
２．ゼロショットから始め、それからフューショット（例）、それらが機能しない場合はファインチューニングを行う：ChatGPT Plusでは、モデルのファインチューニングは行えません。
３．パラメータ：ChatGPT Plusでは、モデルや温度などのパラメータを直接調整することはできません。
これらのガイドラインを遵守することで、ChatGPT Plusの出力を最適化し、より具体的で有用な結果を得ることができます。
私#19：
Temperatureパラメタを変えるとChatGPTの回答内容が変わるという報告がたくさんありますが？
ChatGPT#19：
申し訳ありません、私の説明が不正確でした。ChatGPT Plusのブラウザインタフェースでは、一部の設定で温度パラメータを調整することが可能です。温度はモデルの出力のランダム性を制御します。高い温度（例えば1.0）はよりランダムな出力を生成し、低い温度（例えば0.2）はより決定論的で予測可能な出力を生成します。
したがって、”パラメータ”に関するベストプラクティスは、ChatGPT Plusでの使用にも適用可能であると言えます。ただし、これは使用している特定のインターフェースや設定によります。すべてのインターフェースや設定でパラメータを調整できるわけではありません。
私の説明が混乱を招いたことをお詫び申し上げます。
私#20：
「ChatGPT Plusのブラウザインタフェースでは、一部の設定で温度パラメータを調整することが可能です。」と回答してくれましたが、この「一部の設定」とは、何をどうすることを言っているのでしょうか？
ChatGPT#20：
申し訳ありませんが、私の説明が不正確でした。ChatGPT Plusのブラウザインタフェースでは、ユーザーが直接”temperature”パラメータを調整することはできません。”temperature”パラメータは、OpenAI APIを通じてモデルを利用する際に設定できるもので、その値によりモデルの出力のランダム性が変わります。
ChatGPT Plusのブラウザインタフェースでは、ユーザーはプロンプトの内容と形式を工夫することで、間接的にモデルの出力をガイドすることができます。
具体的には、以下のような方法があります：
１．明確な指示を出す：モデルは具体的な指示に対してより良い結果を出力します。例えば、「桃太郎の話を現代風のプロットに変更してください」という指示は、モデルに対して具体的なタスクを明確に伝えます。
２．望む形式を示す：モデルに望む出力形式を示すと、モデルはその形式に従って出力を生成しやすくなります。例えば、「以下のような形式で現代風のプロットを作成してください：[具体的な形式の例]」と指示すると、モデルはその形式に従って出力を生成します。
３．コンテキストを提供する：モデルは与えられたコンテキストに基づいて出力を生成します。例えば、「桃太郎は現代の都市で生まれ育ち、彼の友人はロボットの犬、猿、雉だった。彼らは一緒に何をするだろうか？」というようなコンテキストを提供すると、モデルはそのコンテキストに基づいて現代風のプロットを生成します。
これらの方法を使用して、モデルの出力をガイドし、望む結果を得ることができます。
長くなってきたので、今回はプロンプトエンジニアリングの提唱者であるOpenAIのプロンプトエンジニアリングに関する公式ガイドラインをChatGPT（＋AskYourPDFプラグイン）に全訳してもらい、その内容について、ChatGPT Plusをブラウザで利用する場合にも当てはまるものと当てはまらないものに分けて説明してもらいました。
「OpenAIが2021年10月に公開したプロンプトエンジニアリングについての公式ドキュメントを日本語に全訳してください。表現形式は「だ・である調」でお願いします。」というアバウトな質問に対して、Bardは、正しくOpenAPIのプロンプトエンジニアリングに関する公式ガイドラインを参照できているように見えますが、「全訳」という部分を無視し、要約だけが出力されました。
Bing（およびGPT-3.5やWeb検索機能の利用しないGPT-4ベースのChatGPT）は、当該資料が、自らが学習下2021年9月以降の資料であるという理由で、取り扱いを拒否しました。ChatGPTの方は、OpenAIのプロンプトエンジニアリングに関する公式ガイドラインのURLを指定しただけではダメでしたが、当該資料を一旦PDFにしてAskYourPDFのサイトにアップロードすることによって、「全訳」に対応してくれました。アップロードしたPDFのdoc_idの文書はアップロードした人にしか見られないことにはなっているようですが、第3者のサイトに一旦アップロードしなければならないのは、セキュリティ上問題ありかもしれません。
今回は以上です。
終わり
- 投稿タグ
- Bard, Bing, ChatGPT, Prompt Engineering, プロンプトエンジニアリング
