Галлюцинирование 🌀

что это за проблема и как с ней борются в Яндексе.

Галлюцинациями называют ответы больших языковых моделей (LLM), которые звучат правдиво, но на самом деле являются ошибочными. Простой пример — вы спрашиваете у чат-бота, кто написал «Женитьбу Бальзаминова», а он отвечает — Антон Чехов (на самом деле Александр Островский).

Основные причины галлюцинаций — недостаток знаний и принцип работы языковой модели. При обучении она учится предсказывать вероятное продолжение на основе предыдущих слов. Если модель не выучила какой-то факт, например того же автора «Женитьбы», то предскажет другое имя или другого писателя, ведь это более вероятное продолжение, чем, например, «эту книгу написала собака».

Этот феномен не изучен до конца, поэтому применяются разные способы решить проблему. Во время создания YandexGPT 2 мы поработали со знаниями модели, сильно улучшив её претрейн. Во-первых, стали тщательнее отбирать данные, во-вторых, проверять, как они влияют на тестовую модель, и только потом «вливать» их в основную. В будущем планируем использовать ещё и обучение с подкреплением.

Подписывайтесь 👉 @yandex