ИИ-система компании Sakana AI создала научную работу, прошедшую рецензирование

Компания Sakana AI рассказала о новом достижении в области искусственного интеллекта. Её система AI Scientist-v2 смогла создать научную статью, которая успешно прошла процедуру рецензирования на семинаре международной конференции по машинному обучению ICLR 2025.

Как проходил эксперимент

AI Scientist-v2 полностью автономно выполнила весь процесс создания научной работы:

• сформулировала научную гипотезу;
• разработала код для проведения экспериментов;
• провела анализ данных;
• подготовила текст статьи к подаче.

Из трёх представленных системой работ одна получила средний рейтинг 6,33 балла, что превысило установленную на семинаре оценку, необходимую для принятия публикации.

Объективность и этические аспекты

Чтобы обеспечить объективность, рецензентам не сообщали, какие из работ были созданы искусственным интеллектом. Однако, несмотря на успешное прохождение рецензирования, статья была отозвана до официальной публикации в соответствии с протоколом эксперимента. Это связано с тем, что научное сообщество ещё не разработало чёткие стандарты обработки материалов, созданных ИИ.

Проблемы и вызовы

В ходе внутреннего анализа команда Sakana AI обнаружила ряд недостатков.

• Ошибки в цитировании: неправильное указание авторов и года публикации.
• Ограничения языковых моделей при интерпретации сложных научных данных.

Эти недостатки подчёркивают необходимость дальнейших исследований и разработки стандартов для научных работ, созданных ИИ.

Значение для будущего науки

Представители Sakana AI заявили, что их эксперимент открывает новые горизонты для использования ИИ в науке. Они надеются, что их работа послужит основой для разработки этических стандартов и методов оценки качества исследований, созданных ИИ.