OpenAI протестировала GPT-6 на COBOL, Fortran и других языках программирования

OpenAI опубликовала результаты исследования, в котором проверила способности своих ИИ-моделей работать с языками программирования, которые сравнительно рекдо встречаются в обучающих данных. Среди них — COBOL, Fortran и Visual Basic. Исследователи проверил, насколько хорошо нейросети справляются с двумя задачами: написанием программ с нуля и переносом существующего код на современные языки.

Такие возможности могут пригодиться компаниям, которые продолжают использовать программное обеспечение, разработанное десятилетия назад. Например, COBOL до сих пор встречается в банковских системах, а Fortran — в научных и инженерных расчётах. Поддерживать такие программы бывает сложно: документация сохранилась не всегда, а разработчики, которые создавали их десятилетия назад, могли давно уволиться.

GPT-6 Astra прошла 87,4% тестов на 20 языках

Для первой части исследования OpenAI разработала бенчмарк MultiLangBench, который проверяет способности ИИ писать код на 20 языках программирования.

Моделям предложили создать собственную реализацию SQLite — системы управления базами данных. Готовая программа должна выполнять SQL-запросы, изменять данные и обрабатывать ошибки. Результат оценивали с помощью тестов, основанных на оригинальной SQLite.

При максимальном уровне рассуждений GPT-6 Astra прошла в среднем 87,4% проверок. Для сравнения: результат GPT-5.6 Sol составил 26,8%. Новая модель показала улучшение на всех 20 языках программирования.

На отдельных языках результаты изменились следующим образом:

• COBOL: с 10,9 до 72,1%.
• Fortran: с 21,4 до 83,5%.
• Visual Basic: с 27,5 до 89,4%.

Среди этих трёх языков самым сложным для GPT-6 Astra оказался COBOL.

OpenAI также проверила более экономичную модель GPT-6 Luna. Она прошла 40,3% тестов при расчётной стоимости 0,77 доллара за задание через API. Предыдущая GPT-5.6 Sol справилась с 26,8% проверок при стоимости 3,48 доллара. Таким образом, новая модель показала лучший результат при затратах примерно на 78% ниже.

GPT-6.1 Sol успешно перенесла почти 98% программ на COBOL

Во второй части исследования OpenAI проверила, насколько модели хорошо справляются с переносом существующих программ на другие языки. Для этого нейросетям предложили переписать код на COBOL на C++, Java, Kotlin, Python или Rust.

Главное условие — переписанная программа должна работать точно так же, как исходная. Это особенно важно для ПО в сфере финансов, где даже небольшие расхождения в вычислениях могут привести к ошибкам.

Например, при работе с числами COBOL может отбрасывать лишние десятичные разряды без округления. Если программа на новом языке начнёт округлять значения, результаты расчётов будут отличаться от исходных.

Для проверки OpenAI использовала скрытые тесты, которые сравнивали выходные данные перенесённых программ с ожидаемыми. Если программа не проходила хотя бы одну проверку, задание считалось невыполненным.

При низком уровне рассуждений GPT-6.1 Sol успешно выполнила 86,6% заданий, тогда как GPT-5.6 Sol — только 5,4%. При этом стоимость выполнения заданий через API снизилась на 39%.

При повышенном уровне рассуждений результат GPT-6.1 Sol достиг 97,9%.

Можно ли использовать GPT-6 для переноса реальных программ

OpenAI опубликовала MultiLangBench на GitHub. В репозитории доступны описание методики, тесты и инструменты для оценки моделей.

Однако результаты экспериментов не означают, что GPT-6 сможет с такой же точностью переносить реальные банковские и корпоративные системы. В исследовании использовались тестовые программы, а в действующих проектах код может быть значительно сложнее и содержать недокументированные бизнес-правила.

Поэтому OpenAI рекомендует проверять код, созданный или перенесённый с помощью ИИ, с участием специалистов и проводить полноценное тестирование перед его использованием в рабочих системах.