Bridgnorth Low Town
© Copyright Gordon Griffiths and licensed for reuse under this Creative Commons Licence.
前回は、ChatGPTのAdvanced Data Analysisオプション（旧Code Interpreter）を初めて使った際の模様を見ていただきました。
実際、ChatGPTのAdvanced Data Analysisオプションを使うことで、ChatGPTの振舞が以下のように激変しました：
- 前評判通り、プロンプトとしてやりたいことを言葉で説明すると、ChatGPTは、その説明を解釈してPythonのコードを作成・実行してくれるだけでなく、
- 実行でエラーが出た場合、自分が作成したプログラムが悪かったのか、そもそも入力した内容に問題があったのかを判別するため、別途「手動で確認（内部的なテキスト解析処理）」を行い、
- 入力内容は悪くなかった（今回の例では、事業名が「エネルギー」のHTMLデータが確かに存在していることが確認できた）場合、作成したプログラムのどこが悪かったのか、自分でプログラムのデバッグを行い、2，3度再試行する
- 2，3度再実行しても望む結果が得られなかった場合、一旦処理をやめるが、「手動で確認（内部的なテキスト解析処理）」の情報で回答を作成できる場合は、回答を提示する
前回、一応、回答が得られたので、一旦ブログでそこまでのやり取りをご紹介しましたが、よく考えてみると、ChatGPTは、「手動での確認」した結果から、こちらの要望通りの回答を返したものの、Advanced Data Analysisが作成したPythonプログラムは不完全なままです。
そこで、前回から引き続いて、ChatGPTに協力し、Advanced Data Analysisが作成したPythonのプログラムのデバッグをしてみようと思います。
では、はじめます。
私#9：
あなたが、「手動で確認」したときに「エネルギー」というキーワードを見つけた時のPythonコードを教えてください。
ChatGPT（with Advanced Data Analysis）#9：
もちろん、その際に使用したPythonコードの要点を以下に示します。
|
import re # HTMLテキストを変数 `html_content` として仮定 html_content = “””…””” # ここに実際のHTMLテキストが入ります # 「エネルギー」キーワードを含む部分を検索 matches = re.findall(r’.{0,50}エネルギー.{0,50}’, html_content) # キーワードを含む部分を表示 for match in matches: print(match) |
このコードは、HTMLテキスト内で「エネルギー」というキーワードを含む部分を検索し、キーワードの前後50文字を抽出して表示します。これにより、キーワードの文脈を簡単に確認することができます。
私が前回行ったのはこのような処理を内部的に実行したものです。
私#10：
了解です。その後、プロンプトに指定した通り、以下の情報を表示してくれましたが、これらの情報を表示させるためのPythonコードも教えてください。
###
掲載日：2023年8月29日
事業分野：エネルギー
件名タイトル：「競争的な水素サプライチェーン構築に向けた技術開発事業／総合調査研究／国際的な低炭素水素認証制度にかかる炭素集約度測定方法の実効性検証調査」に係る公募について（予告）
URL：/koubo/SE1_100001_00063.html
状況：予告
締切日：(空白)
事業分類：調査等
説明会：あり
ChatGPT（with Advanced Data Analysis）#10：
もちろん、以下は「エネルギー」というキーワードを含む情報を抽出するためのPythonコードの要点です。
|
from bs4 import BeautifulSoup
# HTMLをBeautifulSoupオブジェクトに変換 soup = BeautifulSoup(html_content, ‘html.parser’)
# 「エネルギー」キーワードを含む行を検索 energy_rows = soup.find_all(‘td’, string=re.compile(‘エネルギー’))
for row in energy_rows: tr = row.find_parent(‘tr’) # 対応する行を取得 posting_date = tr.th.text business_field = row.dt.text title = tr.find(‘td’, attrs={“data-label”: “件名”}).a.text url = tr.find(‘td’, attrs={“data-label”: “件名”}).a[‘href’] status = tr.find(‘td’, attrs={“data-label”: “状況”}).text deadline = tr.find(‘td’, attrs={“data-label”: “締切日”}).text business_category = tr.find(‘td’, attrs={“data-label”: “事業分類”}).text info_session = ‘あり’ if ‘説明会あり’ in tr.find(‘td’, attrs={“data-label”: “説明会”}).img[‘alt’] else ‘なし’
# 結果を表示 print(f”掲載日：{posting_date}”) print(f”事業分野：{business_field}”) print(f”件名タイトル：{title}”) print(f”URL：{url}”) print(f”状況：{status}”) print(f”締切日：{deadline}”) print(f”事業分類：{business_category}”) print(f”説明会：{info_session}”) print(“—“) |
このコードは、HTMLテキスト内で「エネルギー」というキーワードを含む行を検索し、それに関連する情報を抽出して表示します。
私#11：
実際のHTMLデータでは、「エネルギー」というキーワードを含む行より前に掲載日のデータの行があるので、このままだと掲載日がうまく表示されないと思います。
ChatGPT（with Advanced Data Analysis）#11：
申し訳ございません、おっしゃるとおりです。
正確にデータを取得するために、掲載日の情報を前の行から取得する修正が必要です。以下のように修正したコードで、掲載日を正しく取得できます。
|
from bs4 import BeautifulSoup
# HTMLをBeautifulSoupオブジェクトに変換 soup = BeautifulSoup(html_content, ‘html.parser’)
# 「エネルギー」キーワードを含む行を検索 energy_rows = soup.find_all(‘td’, string=re.compile(‘エネルギー’))
for row in energy_rows: tr = row.find_parent(‘tr’) # 対応する行を取得 prev_tr = tr.find_previous_sibling(‘tr’) # 前の行を取得 posting_date = prev_tr.th.text if prev_tr else None # 掲載日を前の行から取得 business_field = row.dt.text title = tr.find(‘td’, attrs={“data-label”: “件名”}).a.text url = tr.find(‘td’, attrs={“data-label”: “件名”}).a[‘href’] status = tr.find(‘td’, attrs={“data-label”: “状況”}).text deadline = tr.find(‘td’, attrs={“data-label”: “締切日”}).text business_category = tr.find(‘td’, attrs={“data-label”: “事業分類”}).text info_session = ‘あり’ if ‘説明会あり’ in tr.find(‘td’, attrs={“data-label”: “説明会”}).img[‘alt’] else ‘なし’
# 結果を表示 print(f”掲載日：{posting_date}”) print(f”事業分野：{business_field}”) print(f”件名タイトル：{title}”) print(f”URL：{url}”) print(f”状況：{status}”) print(f”締切日：{deadline}”) print(f”事業分類：{business_category}”) print(f”説明会：{info_session}”) print(“—“) |
このコードでは、現在の行（エネルギーを含む行）の前の行を検索して掲載日を取得します。
私#12：
HTMLデータをもう一度渡し直しますので、NEDO公募情報一覧のデータから事業分野がエネルギーの情報をすべて抜き出し、それぞれの掲載日、件名タイトルと、そのURL、状況、締切日、事業分類、説明会開催の有無を表示してください。
ChatGPT（with Advanced Data Analysis）#12：
了解しました。HTMLデータを提供していただければ、再度、指定された情報を抜き出す処理を実施いたします。
私#13：
＜私#2と同じデータを入力＞
ChatGPT（with Advanced Data Analysis）#13：
HTMLデータから「エネルギー」に関連する情報だけを抽出します。
掲載日: 2023年8月29日
事業分野: エネルギー
サブカテゴリ: 燃料電池・水素
件名タイトル: 「競争的な水素サプライチェーン構築に向けた技術開発事業／総合調査研究／国際的な低炭素水素認証制度にかかる炭素集約度測定方法の実効性検証調査」に係る公募について（予告）
URL: リンク
状況: 予告
締切日: 情報なし
事業分類: 調査等
説明会: あり
他の情報が必要な場合、またはさらなるサポートが必要な場合は、お知らせください。
私#14：
どうもありがとう。では、最終的に正しく情報抽出ができたときのPythonのコード全体を見せてください。
ChatGPT（with Advanced Data Analysis）#14：
もちろん、以下がエネルギー関連情報を抽出するためのPythonコード全体です。
|
from bs4 import BeautifulSoup
# HTMLデータの読み込み html_data = “””…””” # ここに先ほどのHTMLデータを挿入
# BeautifulSoupオブジェクトの作成 soup = BeautifulSoup(html_data, ‘html.parser’)
# 事業名が「エネルギー」となっている情報を抽出 energy_entries = [] for tr in soup.select(‘table.koubo tbody tr’): jigyo_name = tr.select_one(‘dt.jigyo-name’).text if jigyo_name == “エネルギー”: date = tr.select_one(‘th’).text title_link = tr.select_one(‘td[data-label=”件名”] a’) title = title_link.text url = title_link[‘href’] status = tr.select_one(‘td[data-label=”状況”]’).text deadline = tr.select_one(‘td[data-label=”締切日”]’).text if tr.select_one(‘td[data-label=”締切日”]’) else None business_classification = tr.select_one(‘td[data-label=”事業分類”]’).text explanatory_meeting = “あり” if “100124650.gif” in tr.select_one(‘td[data-label=”説明会”] img’)[‘src’] else “なし”
entry = { “掲載日”: date, “件名”: title, “URL”: url, “状況”: status, “締切日”: deadline, “事業分類”: business_classification, “説明会”: explanatory_meeting } energy_entries.append(entry)
energy_entries |
このコードは、提供されたHTMLデータからエネルギー関連の情報を抽出し、その結果をリスト形式で返します。必要に応じてコードを調整したり、機能を追加したりしてください。
私#15：
どうもありがとう。念のため、事業名が「エネルギー」ではなく、「調査・評価その他事業」の情報をすべて抽出し、それぞれ、掲載日、件名タイトルと、そのURL、状況、締切日、事業分類、説明会開催の有無を表示してください。
ChatGPT（with Advanced Data Analysis）#15：
Finished working
Show work
申し訳ございませんが、提供されたHTMLデータ内で「調査・評価その他事業」の事業名を持つエントリーは見つかりませんでした。前回のHTMLデータにはそのようなエントリーが存在していたので、今回のデータが異なる可能性があります。再度、正しいデータをご提供いただけますか？
私#16：
＜私#2と同じデータを入力＞
ChatGPT（with Advanced Data Analysis）#16：
HTMLデータを元に、”調査・評価その他事業”という事業名を持つエントリーの情報を抽出します。
掲載日
件名タイトル
そのURL
状況
締切日
事業分類
説明会開催の有無
これらの情報を抽出して表示します。
Finished working
Show work
申し訳ございませんが、エントリーの抽出に失敗しました。もう一度確認して再度試みます。
Finished working
Show work
再度の試みにも関わらず、”調査・評価その他事業”という事業名を持つエントリーの情報の抽出に失敗しました。HTMLの構造やデータの内容に問題がある可能性が考えられます。
もう一度、入力されたHTMLデータやその構造を確認して、必要であれば修正してから再度試みることをおすすめします。お手数をおかけし申し訳ございません。
私#17：
事業名が「エネルギー」の情報を抽出した際のコードで、「if jigyo_name == “エネルギー”:」を「if jigyo_name ==”調査・評価その他事業”:」にしただけでは駄目でしょうか？
ChatGPT（with Advanced Data Analysis）#17：
申し訳ございません、その通りです。ご指摘いただいたとおり、if jigyo_name == “エネルギー”: の部分を if jigyo_name ==”調査・評価その他事業”: に変更することで、「調査・評価その他事業」の情報を正確に抽出できます。
上記のコードをそのように変更して実行すると、該当する情報がリストとして抽出されます。既にデータをお持ちの場合は、そのデータを使用してコードを実行すると、正確な結果が得られるはずです。
私#18：
では、以下のHTMLデータに、そのコードを適用してください。
＜私#2と同じデータを入力＞
ChatGPT（with Advanced Data Analysis）#18：
以下は、事業名（<dt class=”jigyo-name”>）が”調査・評価その他事業”の情報を抽出した結果です。
１．掲載日: 2023年8月30日
件名:「エネルギー用途のアンモニア地域供給に関する調査」に係る実施体制の決定について
URL: /koubo/NA3_100206.html
状況: 決定
締切日:
事業分類: 調査等
説明会開催の有無: 説明会なし
２．掲載日: 2023年8月30日
件名:「デジタル社会の将来像検討のための技術開発課題等に関する調査」に係る公募について
URL: /koubo/NA2_100208.html
状況: 公募
締切日: 2023年9月13日
事業分類: 調査等
説明会開催の有無: 説明会あり
３．掲載日: 2023年8月29日
件名:「金属材料のサプライチェーン強靱化に関する調査」に係る実施体制の決定について
URL: /koubo/NA3_100204.html
状況: 決定
締切日:
事業分類: 調査等
説明会開催の有無: 説明会なし
４．掲載日: 2023年8月29日
件名:「NEDO研究開発プロジェクトにおけるリスクマネジメントの高度化のための調査」に係る公募について（予告）
URL: /koubo/BF1_100088.html
状況: 予告
締切日:
事業分類: 調査等
説明会開催の有無: 説明会なし
これらの情報は、指定された条件に従って抽出されたものです。何か他に質問があれば、お知らせください。
私#19：
最後に実行したPythonのコードを見せてください。
ChatGPT（with Advanced Data Analysis）#19：
もちろん、最後に実行したPythonのコードは以下のとおりです：
|
from bs4 import BeautifulSoup
# Parsing the provided HTML with BeautifulSoup soup = BeautifulSoup(html, ‘html.parser’)
# Extracting rows that have the “調査・評価その他事業” category target_rows = [row for row in soup.select(‘tbody > tr’) if row.find(‘dt’, class_=’jigyo-name’).get_text() == “調査・評価その他事業”]
# Extracting the required details from each target row extracted_data = [] for row in target_rows: post_date = row.find(‘th’).text title_elem = row.find(‘td’, {‘data-label’: ‘件名’}).a title = f”件名：{title_elem.text}” url = f”URL：{title_elem[‘href’]}” status = row.find(‘td’, {‘data-label’: ‘状況’}).text closing_date = row.find(‘td’, {‘data-label’: ‘締切日’}).text business_type = row.find(‘td’, {‘data-label’: ‘事業分類’}).text explanation_meeting_img = row.find(‘td’, {‘data-label’: ‘説明会’}).img[‘src’] explanation_meeting = “説明会あり” if “100124650.gif” in explanation_meeting_img else “説明会なし”
extracted_data.append({ ‘掲載日’: post_date, ‘件名 & URL’: f”{title}n{url}”, ‘状況’: status, ‘締切日’: closing_date, ‘事業分類’: business_type, ‘説明会’: explanation_meeting })
extracted_data |
このコードは、与えられたHTMLから”調査・評価その他事業”カテゴリを持つ行を抽出し、各行から必要な詳細を取り出しています。
ということで、ChatGPTと対話しながら、NEDO公募情報一覧のHTMLデータから特定の事業名の情報を抽出するPythonコードが完成しました。
事業名＝エネルギーの情報を抽出するロジックが出来上がっているなら、それを流用して事業名＝調査・評価その他事業の情報を抽出すればよさそうなものですが、現状のAdvanced Data Analysis機能では、毎回一からロジックを作り直すみたい（ChatGPT#15およびChatGPT#16参照）で、私#17で『事業名が「エネルギー」の情報を抽出した際のコードで、「if jigyo_name == “エネルギー”:」を「if jigyo_name ==”調査・評価その他事業”:」にしただけでは駄目でしょうか？』と提案したところ、まるで「それは思いつかなかった」という感じで、ChatGPT#17で『申し訳ございません、その通りです。』と回答が返ってきたところが、『ChatGPTにもそんなところがあるんだ（というか、Advanced Data Analysisにはでしょうか）』と、微笑ましかったです。
本日は以上です。
終わり
