[ITmedia News] OpenAI、「COBOL」など学習リソースの少ない言語でのコーディング能力が大幅向上 COBOL移行の正解率は最大97.9％に

　米OpenAIは10月19日（現地時間）、「COBOL」「Fortran」「Visual Basic」など、AIモデルが学習に利用できるコードやドキュメントが少ないプログラミング言語について、最新モデルの開発・移行能力が大幅に向上したと発表した。進歩を測るために独自に開発した2種類の評価の結果も公開した。

　同社によると、こうした言語は「Python」や「JavaScript」に比べて学習データが少ない一方、世界の重要なインフラを支えている。COBOLはオンラインバンキングシステムの40％超、対面のクレジットカード取引の80％、ATM取引の95％を支えており、Fortranは天気予報や原子炉の安全解析に使われている。開発者や企業顧客から、コーディングモデルがこうした言語を苦手としているとのフィードバックが寄せられていたことが、今回の取り組みのきっかけになったとしている。

　1つ目の評価「MultiLangBench」は、20種類のプログラミング言語それぞれでSQLite互換のデータベースエンジンをゼロから構築させるもの。推論量を最大に設定した「GPT-6 Astra」は20言語の平均テスト合格率87.4％を達成し、従来モデル「GPT-5.6 Sol」の26.8％から大きく伸びた。20言語中19言語で83％を超えたが、COBOLは72.1％（GPT-5.6 Solは10.9％）で、引き続き最も難しい言語だったとしている。低コストモデル「GPT-6 Luna」も平均40.3％とGPT-5.6 Solを上回り、サンプル当たりの推定APIコストは0.77ドルで、GPT-5.6 Solの3.48ドルと比べて約78％低い。評価環境とテストスイートはGitHubで公開する。

MultiLangBenchの言語別結果（画像：OpenAI）

　2つ目の評価では、COBOLプログラムをC++、Java、Kotlin、Python、Rustのいずれかに移行させ、元のプログラムと同じ動作を維持できるかを検証した。例えばCOBOLの固定小数点演算では、丸めを明示しない限り余分な小数桁は切り捨てられる。移行後のプログラムで値を丸めてしまうと、エラーなく動いても金額の計算結果が変わる可能性がある。こうした細部を確認するため、出力がバイト単位で完全に一致することを求める非公開テストを使い、全テストに合格した場合のみ移行成功とした。

　その結果、推論量を低く設定した「GPT-6.1 Sol」の正解率は86.6％で、同じ設定のGPT-5.6 Solの5.4％を大きく上回った。APIコストはGPT-5.6 Solの61％に抑えられているという。推論量を増やすと正解率は97.9％に達した。ただしOpenAIは、本番のソフトウェアに適用するには、引き続き専門家によるレビューと、システムの業務ルールや依存関係に照らしたテストが必要だとしている。

　COBOLは1959年に開発された言語で、現在も金融機関や政府機関などのシステムで広く使われている。2020年には新型コロナウイルスの流行で米国の州政府のCOBOL製失業保険システムに申請が殺到し、対応できる技術者の不足が問題になった。AIを使ったCOBOL資産の移行・近代化を巡っては、IBMが2023年に生成AIでCOBOLをJavaに変換する「watsonx Code Assistant for Z」を発表。今年2月には米Anthropicが「Claude Code」でCOBOLの近代化を支援できるとブログで主張し、これが材料視されてIBM株が1日の下落率として約25年ぶりの大きさを記録した。