GPT-6シリーズは「COBOL」「Fortran」「Visual Basic」といった学習データの少ない言語も得意

COBOLやFortranといったプログラミング言語は採用件数は少ないものの銀行システムなどの重要な箇所で採用されています。GPT-6シリーズではCOBOL・Fortran・Visual Basicといった学習データの少ない言語の処理能力が向上したとのことです。

学習リソースの少ないプログラミング言語におけるコーディング能力の向上 | OpenAI
https://openai.com/ja-JP/index/low-resource-programming-languages/

OpenAIによると、COBOL・Fortran・Visual Basicなどの言語はPythonなどの言語とくらべて学習に使用できるデータが少なく、これまでのAIモデルでは処理精度が低くなっていたとのこと。しかし、GPT-6シリーズでは処理精度が大きく改善したそうです。

OpenAIはAIモデルの希少言語対応能力を測定するために「MultiLangBench」というベンチマークテストを設計しました。MultiLangBenchは「SQLite互換のデータベースエンジンを開発する」というタスクを実行するテストで、AIモデルは「C言語」「C#」「Python」「COBOL」「Fortran」「Visual Basic」など20種類のプログラミング言語でタスクを実行しテストに合格することを求められます。

各モデルのテスト合格率が以下。GPT-6.1 Solの合格率は87.04％、GPT-6 Astraの合格率は87.39％で、GPT-5.6 Solの26.77％を大きく上回りました。また、GPT-6シリーズの低価格モデルであるGPT-6 Lunaも40.31％を記録してGPT-5.6 Solを上回っています。

GPT-6 Astra(青)とGPT-5.6 Sol(オレンジ)の言語ごとの合格率が以下。GPT-6 AstraはCOBOLやFortranなどの希少言語を含むすべての言語でGPT-5.6 Solを上回っています。

「GPT-6 Astra」「GPT-6.1 Sol」「GPT-6 Luna」「GPT-5.6 Sol」のCOBOLにおける合格率を示したグラフが以下。横軸がタスクにかかったコスト、縦軸が合格率を示しています。GPT-6シリーズはGPT-5.6 Solより合格率が高く、GPT-6 LunaはGPT-5.6 Solより低いコストで高いスコアを記録しています。

さらに、OpenAIはCOBOLで開発されたプログラムを「C++」「Java」「Kotlin」「Python」「Rust」のいずれかに移行させるテストも実行しました。

移行テストの結果が以下。GPT-6シリーズの成功率が高く、GPT-6.1 Solは低コストかつ高精度な移行が可能です。

OpenAIは「COBOLやFortranを扱う能力を高めることで、AIが重要インフラのソフトウェア保守や近代化を支援できる可能性がある」と述べています。