ChatGPT Advanced Data Analysisーその１

A restored building on Marina Esplanade, Ramsgate

© Copyright pam fray and licensed for reuse under this Creative Commons Licence.

前回は、Azure OpenAI Serviceの利用をUS eastのgpt3.5-turboモデルからEast Japanのgpt-4モデルに置き換え作業を実施した際の設置ミスの原因と対策をChatGPTとAzure OpenAI Studio両方で確認したところ、「ちょっと見」ではChatGPTの方が経験豊かなプログラマのアドバイスのような回答をしてくれました。

しかし、Azure Prompt flowの設定に関する知識をChatGPTがすでに学習しているはずがなく、ChatGPTのアドバイスは、2021年9月までに学習した知験をベースにしたものでしかないことが分かりました。

それに対して、Azure OpenAI StudioのChat playgroundでは、「Prompt flowのLLMモジュールの「connection」欄をチェックせよ」と、Prompt flowの実装に即した的確な回答が得られ、Azure OpenAI StudioのChat playgroundでは、GPTモデルにユーザの質問を渡す前に、Azureに関するMicrosoftの情報を付け加えて回答が作成されていることが確認できました。

ただし、今回のような単純ミスでは、ChatGPTの回答でも十分エラーの対処はできたと思われ、これまで「ChatGPTは平然とうそをつく」と揶揄されてきましたが、十分な経験に基づいて生み出された「ハルシネーション」は、十分有益なこともあるということが分かりました。

さて、今回はChatGPTのCode Interpreterを取り上げようと思います。

しばらく前から、「Code Interpreterはすごい！」と、いろいろ情報提供されていました。

今までのChatGPTのプラグインより相当インパクトのあるもののようで、早く自分でも体験したいとウズウズしていたのですが、「いやいや、Prompt flowこそ、最高のプロンプトエンジニアリング・ツールなので、まずは、こちらの使い方をマスターしなくては・・・」と、はやる思いを抑えて、Prompt flowのグラフィカルなプロンプト開発手法を体得してきました。

今回、Azure Prompt flow（およびAzure OpenAI service）基盤を、米国東部から国内東部に移し、かつモデルをgpt3.5-turboからgpt-4に移し替え、一段落したので、Code　Interpreterを使ってみようと思ったのですが、ChatGPT Plusのログイン後の画面にあったはずの「Code Interpreter」のベータオプションが見当たりません！

調べてみると、OpenAIが8月28日（現地時間）に発表した「企業向けAIチャットサービス：ChatGPT Enterprise」の説明の中に、「ChatGPT Enterprise also provides unlimited access to advanced data analysis, previously known as Code Interpreter.」とあり、（旧）Code Interpreterが「advanced data analysis」と名称変更されたことが述べられていました。また、この機能に関して「This feature enables both technical and non-technical teams to analyze information in seconds, whether it’s for financial researchers crunching market data, marketers analyzing survey results, or data scientists debugging an ETL script.（この機能により、市場データを分析する金融リサーチャー、調査結果を分析するマーケティング担当者、ETLスクリプトをデバッグするデータサイエンティストなど、技術的なチームもそうでないチームも、数秒で情報を分析できるようになる。）」としています。

確かに、ChatGPT Plusにログインして、GPT-4を選ぶと、「Advanced Data Analysis Beta」があったので、これにチェックを入れました。

このAdvanced Data Analysisは様々な用途で使えそうですが、今回はスクレイピング機能に関してAdvanced Data Analysis機能を使ってみました。

今回は、自分の仕事にも関連する情報として、下図のようなNEDOの公募情報一覧から事業分野＝エネルギーの情報を抽出して、掲載日、事業分野、件名タイトルとそのURL、状況、事業分類、説明会の有無を表示させようとしています。

まず、素直に？以下のプロンプトで実行してみました。

私#1:

下記のNEDO公募情報一覧のURLから事業分野がエネルギーの情報をすべて抜き出し、それぞれの掲載日、件名タイトルと、そのURL、状況、締切日、事業分類、説明会開催の有無を表示してください。

###

NEDO公募情報一覧のURL：https://www.nedo.go.jp/search/?type=koubo

ChatGPT（with Advanced Data Analysis）#1：

申し訳ございませんが、現在のセッションにはインターネットアクセスの機能がありませんので、外部のURLから直接情報を取得することはできません。

しかし、もし公募情報のテキストやHTMLなどのデータをお持ちであれば、そのデータをこちらに提供していただくことで、指定された情報を抜き出す処理をサポートいたします。データを共有していただける場合は、その内容をこちらに貼り付けてください。

私#2：

了解しました。以下がHTMLデータです。

###

<!DOCTYPE html>

<head>

<!– InstanceBeginEditable name=”doctitle” –>

<title>公募情報一覧 | NEDO</title>

<!– InstanceEndEditable –>

<!– Bootstrap –>

</head>

<body>

＜＜途中省略＞＞

<tbody>

<tr>

<dl class=”field_list blue”><dt class=”jigyo-name”>電子・情報通信</dt><dd>ネットワーク／コンピューティング</dd></dl></td>

<td class=”w-title” data-label=”件名”><a href=”/koubo/IT3_100282.html”>「産業DXのためのデジタルインフラ整備事業／サプライチェーンマネジメント基盤に関する研究開発」に係る実施体制の決定について</a></td>

研究開発</td>

</tr>

<tr>

<td class=”w-title” data-label=”件名”><a href=”/koubo/EF3_100212.html”>「グリーンイノベーション基金事業／CO2等を用いたプラスチック原料製造技術開発に関する情報収集等調査」に係る実施体制の決定について</a></td>

調査等</td>

</tr>

<tr>

<dl class=”field_list purple”><dt class=”jigyo-name”>分野横断的公募事業</dt></dl></td>

<td class=”w-title” data-label=”件名”><a href=”/koubo/SM2_100001_00053.html”>「「NEDO懸賞金活用型プログラム／衛星データを活用したソリューション開発の地域実証」に係る課題解決に関する調査」に係る公募について</a></td>

調査等</td>

</tr>

<tr>

<td class=”w-title” data-label=”件名”><a href=”/koubo/EF2_100214.html”>「グリーンイノベーション基金事業／バイオものづくり技術によるCO2を直接原料としたカーボンリサイクルの推進に関する調査」に係る公募について</a></td>

調査等</td>

</tr>

<tr>

<dl class=”field_list gray”><dt class=”jigyo-name”>調査・評価その他事業</dt><dd>調査等</dd></dl></td>

<td class=”w-title” data-label=”件名”><a href=”/koubo/NA3_100206.html”>「エネルギー用途のアンモニア地域供給に関する調査」に係る実施体制の決定について</a></td>

調査等</td>

</tr>

<tr>

<dl class=”field_list gray”><dt class=”jigyo-name”>調査・評価その他事業</dt><dd>調査等</dd></dl></td>

<td class=”w-title” data-label=”件名”><a href=”/koubo/NA2_100208.html”>「デジタル社会の将来像検討のための技術開発課題等に関する調査」に係る公募について</a></td>

調査等</td>

</tr>

<tr>

<td class=”w-title” data-label=”件名”><a href=”/koubo/CA3_100409.html”>「NEDOプロジェクトを核とした人材育成、産学連携等の総合的展開／研究開発型スタートアップ支援人材の養成特別講座の運営業務」に係る実施体制の決定について</a></td>

その他</td>

</tr>

<tr>

<dl class=”field_list gray”><dt class=”jigyo-name”>調査・評価その他事業</dt><dd>調査等</dd></dl></td>

<td class=”w-title” data-label=”件名”><a href=”/koubo/NA3_100204.html”>「金属材料のサプライチェーン強靱化に関する調査」に係る実施体制の決定について</a></td>

調査等</td>

</tr>

<tr>

<dl class=”field_list red”><dt class=”jigyo-name”>エネルギー</dt><dd>燃料電池・水素</dd></dl></td>

<td class=”w-title” data-label=”件名”><a href=”/koubo/SE1_100001_00063.html”>「競争的な水素サプライチェーン構築に向けた技術開発事業／総合調査研究／国際的な低炭素水素認証制度にかかる炭素集約度測定方法の実効性検証調査」に係る公募について（予告）</a></td>

調査等</td>

</tr>

<tr>

<dl class=”field_list gray”><dt class=”jigyo-name”>調査・評価その他事業</dt><dd>調査等</dd></dl></td>

<td class=”w-title” data-label=”件名”><a href=”/koubo/BF1_100088.html”>「NEDO研究開発プロジェクトにおけるリスクマネジメントの高度化のための調査」に係る公募について（予告）</a></td>

調査等</td>

</tr>

</tbody>

</table>

</body>

<!– InstanceEnd –></html>

ChatGPT（with Advanced Data Analysis）#2：

指定されたHTMLから、事業分野が「エネルギー」と関連している情報を抜き出します。この場合、「エネルギー」という単語が事業分野の部分に含まれている行の情報を取得します。

取得する情報は以下のとおりです：

掲載日

件名タイトルとそのURL

状況

締切日

事業分類

説明会開催の有無

該当する情報を抜き出し、それを表示いたします。

Finished working

Show work

申し訳ございません。コードにエラーが発生しました。修正して再度実行します。

Finished working

Show work

再度エラーが発生しました。申し訳ございません。前回のエラー修正時に、必要な部分のコードが欠落してしまいました。

再度、修正して実行します。

Finished working

Show work

申し訳ございません、必要なライブラリの再インポートを行っていませんでした。

再度、必要なライブラリをインポートして、コードを実行いたします。

Finished working

Show work

申し訳ございません、前回のエラー修正時に入力されたHTMLコンテンツを再度変数に格納し忘れてしまいました。

再度、HTMLコンテンツを変数に格納してコードを実行いたします。

Finished working

Show work

申し訳ございませんが、再度エラーが発生しました。エラーメッセージによれば、class_=’koubo’を持つテーブルを見つけることができませんでした。入力されたHTML内容にこのクラスを持つテーブルが存在することを確認していますので、何らかの問題が発生している可能性が考えられます。

再度、コードの確認を行い、正確にデータを抽出できるように修正して実行します。

Finished working

Show work

意外ですが、入力されたHTML内容からclass_=’koubo’を持つテーブルを見つけることができませんでした。コード上の問題ではなく、入力されたHTMLの内容や構造に関連する可能性が考えられます。

入力されたHTMLの内容をもう一度確認し、必要な情報を正確に抽出するための適切な方法を探します。

Finished working

Show work

驚くべきことに、入力されたHTMLから<table>タグを一つも見つけることができませんでした。これは、HTMLの解析に何らかの問題があるか、入力されたHTMLが期待される形式とは異なる可能性が考えられます。

この問題を解決するためのいくつかのアプローチが考えられますが、こちらの環境では限定的な手段でしか対応できないことをご了承ください。HTMLの内容や構造に関する詳しい情報を提供いただけると、より具体的なサポートが可能となります。

現状では、提供いただいたHTMLの一部の情報を手動で抽出することも考えられます。この方法で進めてよろしいでしょうか

私#3：

もう一度最初からやり直しますので、一旦今までのやり取りは忘れてください。

ChatGPT（with Advanced Data Analysis）#3：

了解しました。最初からやり直します。どのようにお手伝いできるかお知らせください。

私#4：

下記のNEDO公募情報一覧のURLから事業分野（<dt class=”jigyo-name”>のテキスト部分）がエネルギーの情報をすべて抜き出し、それぞれの掲載日（<td data-label=”事業分野”>の直前の<th>yyyy年mm月dd日</th>形式のyyyy年mm月dd日）、件名タイトル（<td class=”w-title” data-label=”件名”>の「テキスト部分）と、URL（<a href=”xxxx”のxxxx部分)、状況（<td class=”text-center jyokyo” data-label=”状況”>）、締切日（<td class=”text-center” data-label=”締切日”>）、事業分類（<td class=”text-center” data-label=”事業分類”>）、説明会開催の有無（<td class=”text-center” data-label=”説明会”>）を表示してください。

###

NEDO公募情報一覧のURL：https://www.nedo.go.jp/search/?type=koubo

ChatGPT（with Advanced Data Analysis）#4：

了解しました。まず、HTMLの内容を提供していただけますか？この内容に基づいて、指定された情報を抽出いたします。

私#5：

＜＜私#2と同じデータを入力＞＞

ChatGPT（with Advanced Data Analysis）#5：

ご提供いただいたHTMLの内容から、「エネルギー」というキーワードが含まれる情報を抽出いたします。

抽出する情報は以下の通りです：

掲載日

件名タイトル

URL

状況

締切日

事業分類

説明会開催の有無

この情報を基に、該当するデータをまとめて表示いたします。

#5-1

Finished working

Show work

申し訳ございませんが、提供されたHTMLコードから「エネルギー」というキーワードを含む行を正確に抽出することができませんでした。再度、コードを確認して、情報を抽出いたします。

#5-2

Finished working

Show work

申し訳ございません。提供いただいたHTMLから「エネルギー」というキーワードを含む行を抽出することができませんでした。

ただし、HTMLの内容を手動で確認すると、「エネルギー」というキーワードを含む行が1つ存在することが確認できました。

以下は、その行の情報です：

掲載日：2023年8月29日

事業分野：エネルギー

件名タイトル：「競争的な水素サプライチェーン構築に向けた技術開発事業／総合調査研究／国際的な低炭素水素認証制度にかかる炭素集約度測定方法の実効性検証調査」に係る公募について（予告）

URL：/koubo/SE1_100001_00063.html

状況：予告

締切日：(空白)

事業分類：調査等

説明会：あり

再度、コードの確認と修正を行い、問題の解決を試みます。

#5-3：

Finished working

Show work

申し訳ございませんが、エラーが発生したことが原因で、「エネルギー」というキーワードを含む行の情報を正しく抽出することができませんでした。

しかし、手動での確認により、以下の情報を「エネルギー」というキーワードを含む行から抽出しました：

掲載日：2023年8月29日

事業分野：エネルギー

URL：/koubo/SE1_100001_00063.html

状況：予告

締切日：(空白)

事業分類：調査等

説明会：あり

この情報を元に、何かお手伝いできることがあれば教えてください。

私#6：

今教えていただいたURLの内容（公募内容）を日本語で1000文字程度に要約してもらえますか？

ChatGPT（with Advanced Data Analysis）#6：

申し訳ございませんが、ご提供いただいたURLの具体的な内容は私の知識の中には含まれておらず、現在のセッション環境ではインターネットへのアクセスができません。そのため、URLの内容を直接参照することはできません。

ただし、もしご提供いただける場合、公募内容のテキストを直接お知らせいただければ、それをもとに要約を作成することは可能です。

公募内容のテキストをお持ちの場合、それをこちらに共有していただけますでしょうか？

私#7：

了解しました。Webpilotプラグインの方で要約をしてもらいます。

ChatGPT（with Advanced Data Analysis）#7：

かしこまりました。Webpilotプラグインを通じての要約が役立つことを願っています。

エネルギーセクターや公募情報に関する他の質問や情報が必要な場合は、いつでもお気軽にご相談ください。

引き続きお手伝いできることがあればお知らせください。

「私#1」のプロンプトでNEDO公募情報一覧のHTMLデータを渡して、その構造に関して説明せずに情報を抜き出そうとしてもうまくいきませんでしたが、「私#4」のプロンプトで、抜き出したい情報がHTMLでどのように表現されているかまで指定したところ、最終的に正しい情報を抜きだすことに成功しています。

ただ、Advanced Data Analysisの機能として、一旦実行した結果を自分なりに評価し、やり方を変更して再実行するようで、#5-1の実行ではエネルギー関連の情報が得られず、Advanced Data Analysisが作成・実行したPythonのコードを自分で見直し、修正して#5-2を実行。それでも見つからずエラーとなるも、『手動で確認すると、「エネルギー」というキーワードを含む行が1つ存在」することが確認できました。以下は、その情報です』として、URLを含め、正しい内容が表示されています。

その後、再度Advanced Data Analysisが作成・実行したPythonのコードを自分で見直し、修正して#5-3を実行。ここでも、実行はエラーとなったようですが、実行後の確認でエネルギー情報が見つかったとして、正しい情報が再度表示されています。

なお、#5-1、#5-2、#5-3それぞれ、「Show work」をクリックすると、その時点で、Advanced Data Analysisの機能が作成・実行したPythonのコードを確認でき、それぞれ以下のようになっていました。

#5-1で作成・実行されたPythonのコード：

from bs4 import BeautifulSoup

# Parse the provided HTML using BeautifulSoup

soup = BeautifulSoup(“””

<!DOCTYPE html>

… (rest of the HTML content) …

</html>

“””, ‘html.parser’)

# Extract relevant information based on specified tags and attributes

entries = []

# Iterate over each table row

for row in soup.select(‘tbody tr’):

jigyo_name = row.select_one(‘dt.jigyo-name’).text

if “エネルギー” in jigyo_name:

entry = {

“掲載日”: row.select_one(‘th’).text,

“件名タイトル”: row.select_one(‘td.w-title a’).text,

“URL”: row.select_one(‘td.w-title a’)[‘href’],

“状況”: row.select_one(‘td[data-label=”状況”]’).text,

“締切日”: row.select_one(‘td[data-label=”締切日”]’).text,

“事業分類”: row.select_one(‘td[data-label=”事業分類”]’).text,

“説明会”: “あり” if “説明会あり” in row.select_one(‘td[data-label=”説明会”] img’)[‘alt’] else “なし”

}

entries.append(entry)

entries

#5-2で作成・実行されたPythonのコード：

# Attempting to extract the data again from the provided HTML

entries = []

# Iterate over each table row

for row in soup.select(‘tbody tr’):

jigyo_name = row.select_one(‘dt.jigyo-name’).text

# Check if ‘エネルギー’ is in the jigyo_name

if “エネルギー” in jigyo_name:

entry = {

“掲載日”: row.select_one(‘th’).text.strip(),

“事業分野”: jigyo_name,

“件名タイトル”: row.select_one(‘td.w-title a’).text.strip(),

“URL”: row.select_one(‘td.w-title a’)[‘href’],

“状況”: row.select_one(‘td[data-label=”状況”]’).text.strip(),

“締切日”: row.select_one(‘td[data-label=”締切日”]’).text.strip(),

“事業分類”: row.select_one(‘td[data-label=”事業分類”]’).text.strip(),

“説明会”: “あり” if “説明会あり” in row.select_one(‘td[data-label=”説明会”] img’)[‘alt’] else “なし”

}

entries.append(entry)

entries

#5-3で作成・実行されたPythonのコード：

# Checking the issue by printing the contents of rows containing the keyword ‘エネルギー’

energy_rows = []

for row in soup.select(‘tbody tr’):

jigyo_name = row.select_one(‘dt.jigyo-name’).text

if “エネルギー” in jigyo_name:

energy_rows.append(row.prettify())

energy_rows

show workで表示されるコード部分がだんだん少なくなっているので、#5-1をベースとして、修正された部分のみが#5-2、#5-3で表示されているものと思われますが、とにかく、日本語のプロンプトでの指示に従って、NEDO公募情報一覧のHTMLデータから必要な情報をスクレイピングするPythonのコードを自動生成してくれるのは、大したものです。

Pythonのコードを実行後「手動で確認」という表現が何を意味するのか確認したところ、以下の答えが返ってきました。

私#8：

もう1つ質問です、先の実行時に「ただし、HTMLの内容を手動で確認すると、「エネルギー」というキーワードを含む行が1つ存在することが確認できました。」と回答していますが、「手動で確認」とは何をしたのでしょうか？

ChatGPT（with Advanced Data Analysis）#8：

申し訳ございません。説明が不十分でした。

「手動で確認」というフレーズは、私の内部的なテキスト解析処理を指していました。具体的には、与えられたHTMLテキストから「エネルギー」というキーワードを含む部分を検索・抽出するプロセスを指しています。実際には、私の内部アルゴリズムが自動的にその操作を行いました。

正確には「手動」という表現は適切ではありませんでした。正しくは「自動的にテキスト解析を行い」というような表現が適しているかと思います。不明瞭な表現を使ってしまい、混乱を招く結果となりましたことをお詫び申し上げます。

本日は以上です。

Advanced Data Analysisの凄さの一端はご紹介できたのではないかと思います。

ただ、Advanced Data Analysisオプションを使う場合は、他のプラグインを使うオプションが使えないため、HTMLデータを別途渡さなければなりませんでしたが、Webpilotプラグインも同時に使えれば更に便利になりますね。

終わり

投稿タグ: Advanced Data Analysis, ChatGPT, Code Interpreter

MENU

ChatGPT Advanced Data Analysisーその１

A restored building on Marina Esplanade, Ramsgate

© Copyright pam fray and licensed for reuse under this Creative Commons Licence.

コメントを残すコメントをキャンセル

サイト内検索

サイト内AI検索　Powered by Dify/GPT3.5turbo

生成AI

カテゴリー

アーカイブ

最近の投稿

MENU

ChatGPT Advanced Data Analysisーその１

A restored building on Marina Esplanade, Ramsgate

© Copyright pam fray and licensed for reuse under this Creative Commons Licence.

共有:

コメントを残す コメントをキャンセル

サイト内検索

サイト内AI検索 Powered by Dify/GPT3.5turbo

生成AI

カテゴリー

アーカイブ

タグ

最近の投稿

コメントを残すコメントをキャンセル

サイト内AI検索　Powered by Dify/GPT3.5turbo