🔴 Наш новый метод сжатия больших языковых моделей позволяет уменьшить их размер до восьми раз. Сжатая модель сохраняет в среднем 95% точности исходной модели. Новый метод тестировали на моделях LLama 2, LLama 3 и Mistral.
↗️ Код совместного проекта исследователей из Yandex Research и IST Austria опубликован на GitHub. Статья про новый метод сжатия включена в программу ICML 2024, конференции по машинному обучению.
Над новым методом работал аспирант «Сколтеха» и резидент нашего научного отдела Yandex Research Денис Кузнеделев. Мы поговорили с ним о том, чем исследователи и учёные занимаются в больших технологических компаниях.
Подписывайтесь ✨ @yandex
![](/i/5258448363551055349.jpg)
![](/i/5258448363551055377.jpg)
![](/i/5258448363551055352.jpg)
![](/i/5258448363551055353.jpg)
![](/i/5262527959711997574.jpg)
![](/i/5258448363551055378.jpg)