Исследователи «Яндекса», ВШЭ и MIT представили алгоритм эффективного сжатия нейросетей

Исследователи «Яндекса», Высшей школы экономики (Россия), Массачусетского технологического института (США), Научно-технологического университет имени короля Абдаллы (Саудовская Аравия) и Австрийского института науки и технологий (Австрия) представили новый метод сжатия языковых моделей. Его главная особенность в том, что после сжатия качество сгенерированных ответов не снижается.

Для чего нужно сжимать нейросети

Главная проблема больших языковых моделей в том, что для работы им нужно много вычислительных ресурсов. Например, нейросети DeepSeek R1 надо очень много свободной памяти, и её бывает сложно разместить даже на дорогих серверах. Поэтому, если нейросеть находится в открытом доступе, это не значит, что её могут воспользоваться все желающие. На развёртывание могут потребоваться миллионы долларов.

Читайте также:

Нейросеть DeepSeek — что она умеет и почему о ней все говорят

Если сжать нейросеть, то её можно будет развернуть на более бюджетном оборудовании. Другая проблема в том, что в процессе сжатия языковые модели теряют свои способности и начинают хуже работать.

Сжатие без потерь

Для решения этих проблем исследователи «Яндекса» и ведущих технических университетов разработали HIGGS (от англ. Hadamard Incoherence with Gaussian MSE-optimal GridS) — метод сжатия нейросетей без потери качества сгенерированных ответов. HIGGS преобразует модель в специальный формат, в котором не нужны дополнительные данные для округления весов.

Метод протестировали на больших языковых моделях Llama 3, Llama 4 и Qwen2.5. Тесты показали, что метод справляется лучше известных способов сжатия, например GPTQ и AWQ. Итоговый размер нейросетей заметно уменьшается, а качество генерации остаётся на том же уровне. Это позволяет запускать языковые нейросети на более слабых серверах, чем те, что требовались раньше.

Подробное описание метода опубликовали на портале Hugging Face, а реализация доступна в библиотеке FLUTE на GitHub. В конце апреля исследователи представят HIGGS на конференции NAACL, которая пройдёт в Нью-Мексико, США.