AIが医師国家試験に挑戦！GPT-4が合格ラインをクリア

皆さんはAIが医師国家試験に挑戦したことをご存知ですか？この度、金沢大学の研究グループと（株）MICINが共同で研究を行い、話題となっています。

2023年2月に実施された第117回医師国家試験の問題（画像なし問題262問）を、AI技術のGPT-3.5およびGPT-4に解かせる研究が行われ、その結果がオンラインで公開されました。

結果として、Chat-GPT（GPT-4）は、必修問題（合格最低ライン80.0%）で82.7%、基礎・臨床問題（合格最低ライン74.6%）で77.2%のスコアを獲得。これにより、合格最低ラインをクリアすることができました。

研究グループは、第116回医師国試の画像なし問題で入力プロンプト（指示文）を検討し、52.8%という正答率を得ていました。しかし、プロンプトを平易な英語に翻訳・要約し、基礎や臨床の質問ごとにプロンプトのチューニングを行うことで、正答率を向上させました。その結果、第117回医師国家試験の問題を解かせたところ、262問中206問で正解し、必修問題と基礎・臨床問題の両方で合格最低ラインを満たしました。

さらに、研究グループは不正解となった56問について要因を分析しました。その結果、56問中33問（58.9%）は「医学知識の不足」が、17問（30.4%）は「日本特有の医療制度情報」が、4問（7.1%）は「数学的誤り」が要因と判明しました。報告論文では、医学の文脈において時代遅れや決定的に間違いの解答もあったことが指摘されています。また、医療保険分野においては、日本の薬事法、厚労省指導、ガイドライン、公衆衛生等の問題に対して、Chat-GPTは適切に答えることができなかったとされています。

この研究結果は、AI技術の進歩が医療分野にも影響を与える可能性を示唆していますが、まだ完全に人間の医師に取って代わることはできないことも明らかになりました。特に、日本特有の医療制度情報や最新の医学知識に関しては、改善の余地があると言えます。

しかし、今回の研究を通じて、AI技術が医療分野で役立つことが期待できることも確かです。今後、より多くの専門家がこの技術を活用し、医療の質を向上させることができれば、患者さんにとっても大きな利益があることでしょう。

今回の研究結果は、AI技術と医療分野との融合が進む中で、その可能性と限界を示す貴重な事例となりました。今後の技術開発や研究の進展に期待が寄せられる中、医療の未来がどのように変化していくのか、引き続き注目が集まりそうです。