生成AI戦国時代〜ChatGPT以外の生成AI紹介/python活用など

テキスト全文

• #1.

  2024 / 09 / 07 第29回 日本病院総合診療医学会学術総会 生成AI戦国時代 〜ChatGPT以外の実力派モデルたち〜 Ubie株式会社 医師 東日本橋内科クリニック 院長 白石 達也

• #2.

  第29回 日本病院総合診療医学会学術総会 COI開示あり 発表者名：◎白石達也 Ubie株式会社の業務委託社員である

• #3.

  白石 達也 Tatsuya Shiraishi, MD 2006-2013 京都大学医学部医学科 2013-2015 田附興風会医学研究所北野病院 2015-2019 仁生社江戸川病院 循環器内科 2019- 株式会社 Ubie 2021- 東日本橋内科クリニック Product Dev. Specialist / Product Owner 院長 3 3

• #4.

  目次 １．生成AI戦国時代〜もはや ChatGPT一強ではない〜 ２．Claude、Gemini、Llamaの紹介 ３．生成AIを活用したサービスの紹介 ４．応用事例紹介 4

• #5.

  目次 １．生成 AI戦国時代〜もはや ChatGPT一強ではない〜 ２．Claude、Gemini、Llamaの紹介 ３．生成AIを活用したサービスの紹介 ４．応用事例紹介 5

• #6.

  ChatGPTがでてから約 2年の歴史 6

• #7.

  ChatGPTがでてから約 2年の歴史 7

• #8.

  Confidential （参考）かつての ChatGPT（GPT-3.5）と、いまのデフォルトの GPT-4は桁違い 8

• #9.

  Confidential （参考） GPT-4の力、参考 1) GPT-4で日本医師国家試験合格レベル 2018年以降の 6年分の日本医師国家試験について、日本語入力で GPT-4に解かせたところ、 6回分すべて合格ラインを突破した｡ 画像問題の入出 力ができなかったため、画像問題については対象外である。日本国の医療法に関わる問題、計算問題、過去には正解であったが近年には誤りされ る医学知識（例：過換気症候群に対してのペーパーバッグ法）に関わる問題などにおいて正答率が低くなっている。 https://arxiv.org/pdf/2303.18027.pdf 2) GPT-4で米国の医師国家試験 USMLE合格レベル アメリカの医師試験として使用される USMLEをGPT-4に解かせたところ、 3段階の試験を突破し、合格点数を 20点上回る点数を出した。 https://www.microsoft.com/en-us/research/publication/capabilities-of-gpt-4-on-medical-challenge-problems/ 3) 医師よりも「患者が満足する回答」を作る力が高い可能性 ソーシャルメディアフォーラム（ Redditのr/AskDocs）の質問について、医師が作成した回答と ChatGPTが作成した回答について匿名化した上で、医 療専門家チームにより評価したところ、質の面においても、共感性においても ChatGPTが作成した回答のほうが有意によい評価であった。 Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Intern Med. 2023 Jun 1;183(6):589-596. PMID: 37115527 4) 画像の解釈について、医師に匹敵する可能性 NEJM Image Challengeの2021年11月ー2023年10月に出題された正解が一つに限られる画像症例問題 200問以上を利用し、問題の正答率につ いて、医学生、 GPT-4V、Closed-book physician（

• #10.

  Gemini vs GPT4 Gemini-1.0-UltraとGPT-4のベンチ マークスコアの比較。 ほぼ上回っており、そして現在の Gemini-1.5-proはGemini-1.0-Ultraを 遜色ない性能という報告がある。 参考（https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf） 10

• #11.

  Claude vs GPT4 Claude3.5sonnetとGPT-4oのベンチ マークスコアの比較。 スコアはいずれも高いレベルで若干上 回っている結果になっている。 参考（https://www-cdn.anthropic.com/fed9cc193a14b84131812372d8d5857f8f304c52/Model_Card_Claude_3_Addendum.pdf 11

• #12.

  Llama vs GPT4 Llama3.1とGPT-4oのベンチ マークスコアの比較。 405B、70BはGPT-4と遜色な い性能。 参考（https://ai.meta.com/blog/meta-llama-3-1/ 12

• #13.

  ChatGPTおよびそのほかの代表的生成 AI比較 総称名 ChatGPT Claude Gemini Llama 提供元 OpenAI社 Anthropic社 Google社 Meta社 モデル名 GPT-4o-mini GPT-4 GPT-4o Claude3-Haiku Claude3-Opus Claude3.5-Sonnet Gemini-1.5-flash Gemini-1.5-pro Llama3.1-8B Llama3.1-70B Llama3.1-405B 利用環境 Web Web Web Local Web検索 有り 無し 有り 無し Python実行 有り 無し 有り 無し 無料の制限 やりとり10回/5hr 画像生成2枚/day API利用（無料お試し有） やりとり10回/5hr 利用モデルの制限 API利用 入力文字数 10万まで API利用 無し 有料月額 20ドル 20ドル 2,900円 ー オールラウンダー 日本語が綺麗？ Artifactsでチャートがすぐできる オールラウンダー 入力制限200万トークン入力という圧 ローカルなのでタダ。 倒的な量 日本語が苦手。 音声のやりとりしやすい 文章の質にこだわりたいとき 論文の要約をするとき ガイドラインなど丸々入力して回答し てほしいとき お金かけたくないとき 13 特徴

• #14.

  目次 １．生成AI戦国時代〜もはや ChatGPT一強ではない〜 ２．Claude、Gemini、Llamaの紹介 ３．生成AIを活用したサービスの紹介 ４．応用事例紹介 質問はコチラ 14

• #15.

  Confidential Claudeの始め方、使い方 Claude公式サイト（ https://claude.ai/login）にアクセ スします。 有効なメールアドレスを入力すると電話番号認証が 要求されます。 あるいはGoogleのアカウントを使用してアカウントを 作成することもできます。ユーザー名を入力して使用 開始することができます。 無料でも使用できますが、有料版にすることで、回数 制限（5時間で約10回）を受けずに使用する、 API機 能を利用する、モデルを全て使用するということがで きます。 15

• #16.

  Confidential Claudeの特徴 Artifacts プログラムコードの作成、文書の作成、ホームページのようなデザインの作成、フローチャートなどの図表の作成（ できます。以下は、抗生剤投与のガントチャートを作ってもらっている例です。 SVGファイルになります）などが 16

• #17.

  Confidential Claudeの注意点 以下の機能は2024年9月現在ないです。 - WEB検索と合わせた機能（ブラウジング） - Pythonの実行機能 - GPTs：Projects機能が近いですが、ちょっと違う - 音声入力 17

• #18.

  Confidential Claude、どんなときつかってる？（白石の個人の感想です） 以下のようなときに Claudeを使っています - 論文の要約するとき（ ChatGPTより厚みがあるように感じる） - 綺麗めな言葉でテキスト出力したいとき - 簡単な図があったほうが説明が早い時のチャートなど作成 - レトロなシューティングゲームをしたいとき 18

• #19.

  Geminiの始め方 Gemini公式サイト（ https://gemini.google.com/）に アクセスします。 Googleアカウントでログインすることで使用を開始 できます。 ただ、Gemini-1.5-proを使うのか Gemini-1.5-flash を使って回答するかは、 Gemini側で自動で判定さ れます。 なので使用モデルを選ぶことができません。 19

• #20.

  Geminiの始め方 使用モデルをきちんと選んで使いたい場合は、 Google AI Studio（https://ai.google.dev/aistudio） のページから使用するようにしましょう。 Geminiの特徴は2000000トークンという圧倒的な コンテキストウィンドウです。 ＷＥＢ検索や Python実行機能もあります。 20

• #21.

  PDFを読み込むときの比較 CKDガイドライン 2018（195,977トークン） ChatGPTは128000トークンが入力の限界のため か、食事じゃなくて代謝性アシドーシスの管理など が入ってきている？ 21

• #22.

  PDFを読み込むときの比較 CKDガイドライン 2018（195,977トークン） Claudeは200000トークンまで入力できる。 特に問題ない回答か？ 22

• #23.

  PDFを読み込むときの比較 CKDガイドライン 2018（195,977トークン） Geminiは2000000トークンまで入力できる。 ので内容の把握はよさそう。 ＊ただ、制限の判定が厳し目？なので、普通に食 事について教えてというと「医学的な内容は答えら れない」と突っぱねられてしまった。 23

• #24.

  Confidential Gemini、どんなときつかってる？（白石の個人の感想です） 以下のようなときに Geminiを使っています - とにかく入力データ量が多い時 - n-shotで、すごくたくさん input/output例を入れたいとき - 批判的なレビューが欲しいとき（体感、厳し目な印象をもっているので） 24

• #25.

  Llamaの始め方「 Ollama」というソフトを使う https://ollama.com/download/ から、選んでダウンロー ドしてインストールしたのちに、ターミナルで、「 ollama run llama3.1」あるいは「 ollama run llama3.1:70b」と入 力すると、やりとりができる。 （405bは普通のPCでは動かないと思います。） Chrome拡張機能で見慣れた UIにすることも可能。 25

• #26.

  Confidential Llama、どんなときつかってる？（白石の個人の感想です） 以下のようなときに Llamaを使っています - なんとなくローカル環境で動かしたいとき ですが、課金勢としてはわざわざ使うことがないです。 26

• #27.

  Poe いろいろな生成 AI全部もりでチャットできるサービス https://poe.com/ 生成系AIツールを複数使える AIツールのプラットフォー ムです 有料版では、以下の制限が解放されます。 （有料 2500円/月） ・使えるモデル ・メッセージのやりとり回数 ・入力文字数 ・チャット履歴利用 27

• #28.

  Confidential Poe、どんなときつかってる？（白石の個人の感想です） 以下のようなときに Poeを使っています - なんとなくいろんなモデルとチャットしたいとき ですが、課金勢であること・ APIを使うことが多いことから、 Poeを使うことはほとんどな いです。 28

• #29.

  目次 １．生成AI戦国時代〜もはや ChatGPT一強ではない〜 ２．Claude、Gemini、Llamaの紹介 ３．生成 AIを活用したサービスの紹介 ４．応用事例紹介 質問はコチラ 29

• #30.

  生成AIを使ったサービス： NotebookLM（Google） 公式サイト： https://notebooklm.google.com/ NotebookLMは、Googleが提供する生成 AIサービス で、ユーザーのメモ書きやアップロードした資料を基に 情報を整理し、質問に答えることができるノートアプリ です。 ドキュメントの中から、質問内容を含んでいそうなと ころを見つけて、それを要約するようなイメージ。 30

• #31.

  参照先がいまいちなこともある。 目次のところを参照先として引っ張ってきてしまっ ているので、肝心な詳細がよくわからないままの要 約文になっている。 ドキュメントの処理・検索がまだイマイチかもしれな いが、作成された質問に沿って勉強していくなどは 使える。 31

• #32.

  Confidential NotebookLM、どんなときつかってる？（白石の個人の感想です） 以下のようなときに NotebookLMを使っています - ドキュメントから生成 AIの要約で嘘をついてほしくないとき NotebookLMはドキュメント内検索して引っかからない情報には頑なに答えてくれない ので、嘘をつく可能性が極めて低いと感じます。（ただ、書いてあるはずなのに答えてく れないこともあります） ＊）こうした RAG（検索拡張生成）が手軽に使用できるサービスは、そもそものデータを 綺麗に成型しておく、検索の仕方を工夫する、出力の仕方を工夫するなどポイントがあ ります。優秀な Embedding modelをOpenAIやGoogleが出したりなど、素人でも一定 以上の精度を出すことが容易なので自分で作ってもいいでしょう。 32

• #33.

  生成AIを使ったサービス： Napkin AI テキストからいろんな図表を作ってく れるツール。 テンプレートから近いものを持ってき てくれるのですが、可愛いので、これ で図示できないか試してみることが 多いです。 ほかにV0などもチャート作成に便利 です。 33

• #34.

  生成AIを使ったサービス： MegaOak/IS（NEC） 電子カルテの上で、生成AIを使え るとのこと。 34

• #35.

  生成AIを使ったサービス：ユビー生成 AI(β)（Ubie株式会社） 電子カルテPC上で使えるユビー AI問診上に、生成AIを使うプラット フォームを追加。 紹介状・退院サマリ作成の補助な どで使用されている。 音声文字起こしなども可能。 35

• #36.

  生成AIを使ったサービス： the AI scientist（SakanaAI社） SakanaAIが発表した、研究アイデアの提案から実験コード生成、論文執筆とレビューまでを自動 化する生成AIモデル。 Githubというコード共有サイトにコードがあるので、説明書を読みながら、自身のPC環境に合わせ て修正しながら実行可能。 https://github.com/SakanaAI/AI-Scientist 36

• #37.

  目次 １．生成AI戦国時代〜もはや ChatGPT一強ではない〜 ２．Claude、Gemini、Llamaの紹介 ３．生成AIを活用したサービスの紹介 ４．応用事例紹介 質問はコチラ 37

• #38.

  ＜参考＞ ChatGPTをAPI経由で使ってみる ChatGPTのAPI（＝他のサービス・ ソフトウェア上で ChatGPTが使える 仕組み）を使えると、便利です。 右は、スプレッドシートで、関数とし てGPTを使って、論文 abstract一 覧を要約している様子です。 （概要欄に設定方法 URLありま す。） 38

• #39.

  ＜参考＞ PythonをChatGPT経由で使いこなす①テキストマイニング アンケートなどの結果から、どのような言 葉がよくつかわれる傾向があるかなどが pythonでできますが、これをテキストの指 示で行うことができます。慣れてくると、ど んな辞書を使うかとかこだわりだします。 39

• #40.

  ＜参考＞ PythonをChatGPT経由で使いこなす②スライド生成 Pythonは、pptxファイル形式での出力をすることができるので、例えば抄読会用の中身を考えてもらい、スライド で出力してもらうことが可能です。 40

• #41.

  ＜参考＞ PythonをChatGPTで使いこなす③とことん数式化・ロジックにこだわる 条件を詳細に、数式で表すことが可能なくらいにして指示をすると、結果にブレがない形で Pythonコードにして出力 してくれることがあります。 あなたは待機表作成マシーンです。 2024年7月の待機表を作成します。以下の情報を元にして、待機表を作成します。 メンバー: 山田、佐藤、鈴木、白石、齊藤 休日: 土曜日、日曜日、祝日 平日: 月曜日から金曜日（祝日を除く） #以下の手順でステップバイステップに待機表を作成してください。 1. 2024年7月の日付リストを作成（各日付に対して {date}を作成。） 2. 各日付について、 {date}に、曜日{day: }、平日か土日祝日か （holiday:true/false）をリストで明示する。 3. 各メンバーの不在日をセットする。 {date}にunavailable:（membername） でセット 4. 各メンバーについてアサインされた日付の数を [（メンバー名） assginend#]＝初期値 0でセットする。 5. 各{date}にメンバーをアサインする。（日付の若い土日祝日） →（土日祝日） →（日付の若い平日） →（平日）の順でアサインする。アサイ ンするメンバーは、 assginend#が最小のもの＆その {date}のunavailableじゃない メンバーから選ぶ。 {date}にassigned: （membername） の形でセットする。 6. アサインされたメンバーについて、翌日の {date}と翌々日の {date}のunavailableに追加する。また assginend#を+1する。 7. 最終的に日付（ date）、曜日（day）、担当者（ assigned）、不可能（ unavailable）の3列の表にして csv出力してください 。また各 assginend#も出力してください 41

• #42.

  ＜参考＞ PythonをChatGPT経由で使いこなそう③進化した当直表作成 実際に実行すると、 pythonで処理し、ブレのない結果をだしてくれました。 42

• #43.

  ＜参考＞数式化プロンプトチューニングメソッド（仮） あなたは、優秀な詳しい数学者です。物事が可能な限り数式で表されていないと落ち着きません。 与えられたプロンプトを数学的に美しいプロンプトに修正してください。 {修正手順} step1:最終的な出力の正確さを挙げるために、実行手順全体の修正・順番の変更を検討ください step2:与えられたプロンプトについて、入力される事柄、出力する事柄について、それぞれ数式で扱いやすい変数に します。 step3:出力する事柄とすべての実行手順について、入力される事柄で表す数式で示してください。 step4:step2とstep3を踏まえて、与えられたプロンプトを理解しやすい形にしてください。 step5:step4のプロンプトの 精度向上のために追加で必要な情報を考えて下さい。 step6:step5について、情報の具体案を考えて、 [この情報を追加しますか？ ]と聞いて下さい。 {プロンプト} 43

• #44.

  まとめ ・生成 AI技術は急速に進化し、もはや ChatGPT一強の時代ではありません。 Claude、Gemini、Llamaなど、 強力な AIモデルが続々と登場し、まさに生成 AI戦国時代に突入しています。これらの AIは、テキスト生成だけ でなく、画像認識、図表作成、音声処理など多岐にわたる能力を持ち、様々な活用が期待されます。 ・また医療現場や学習で使用可能な生成 AIサービス登場しています。これらは、医療現場での業務効率化や 意思決定支援に大きな可能性を秘めています。 ・今後はさらに進化し、より高度で複雑なタスクにも対応できるようになると予想されます。この急速に進化する 分野に注目し、積極的に学び、適切に活用していくことが、これからの医療従事者にとって重要になると予想し ます。 44