Google рассказал, что ролики с демонстрацией способностей Gemini постановочные

В начале декабря 2023 года Google выпустил набор больших языковых моделей Gemini. Самая мощная из них превосходит в тестах GPT-4. Кроме того, компания опубликовала проморолик, продемонстрировав передовые возможности моделей. На деле выяснилось, что видео постановочное и тщательно спродюсировано.

Демонстрация Gemini

В шестиминутном ролике Google показал примеры работы с Gemini. В видео делается упор на мультимодальность и демонстрируется, как нейросеть генерирует текст, распознаёт изображения и использует знания о мире. При этом в своём блоге Google рассказал о том, как снимали видео, а перед роликом предупредил, что ответы нейросети были тщательно подобраны.

Журналисты заметили, что Gemini передают детальные запросы, в которых уже содержится часть ответа или подсказка. В одном из примеров нейросети показывают жесты из игры «Камень, ножницы, бумага» и просят объяснить, что происходит на кадрах. При этом уже в самом запросе указывают, что это какая-то игра. Если показывать жесты по отдельности и без уточнений, то Gemini будет называть совершенно другие значения.

В видео также показали, как Gemini играет в «Напёрстки» и без проблем угадывает, где находится скомканный лист бумаги. В примере всё выглядит захватывающе и быстро, но на самом деле сначала нейросети объясняют правила игры, начальное положение элементов и сообщают об изменениях на каждом этапе. Только после этого Gemini может повторить решение подобной задачи.

В других примерах работы нейросети от Google, как считают журналисты, тоже нет прозрачности. Gemini заранее получает подсказки или часть ответа в запросе. Это вводит в заблуждение пользователей, которые в демонстрации не видят реального взаимодействия с моделью машинного обучения.