👩💻 «Фильм, где программист уворачивался от пуль в слоу-мо»?
Для современных алгоритмов такой запрос кажется тривиальным, но так было не всегда — Поиск Яндекса прошёл долгий путь.
1998: всё построено на формуле
🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥
На старте поиск обрабатывался по написанной вручную формуле вроде знаковой BM25, которая сопоставляла слова из запроса с содержимым сайтов. Она называлась «полином» и требовала точного запроса. Для хороших результатов люди пользовались символьными командами: + (должно содержать слово), – (не должно содержать слово), «» (должна содержаться фраза в кавычках) и т. д.
2009: машины начали обучаться
🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥
Инженеры начали отходить от ручной настройки, когда появился первый в Поиске алгоритм машинного обучения — Матрикснет. Он анализировал тысячи характеристик сайтов вроде смыслового содержания, ссылок на источники, частоту кликов, глубину прочтения и т. д. Матрикснет подбирал сайты, которые с большей вероятностью подойдут и понравятся пользователю.
2016: нейросети изучают смысл
🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥
В помощь Матрикснету пришли нейросети, которые не просто видели отдельные слова и характеристики, но и понимали смысл запроса. Запросы и сайты теперь представлялись в геометрическом пространстве, где схожие по смыслу элементы находились рядом. Поиск стал искать точки, находящиеся ближе всего к смыслу запроса, и научился понимать метафоры или сравнения (но не только их).
2020: трансформеры приходят на смену
🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥
Алгоритм поиска постепенно вырос до 30 нейросетей, но потом появились трансформеры. До этого модели обрабатывали фрагменты запроса по отдельности, но новая архитектура позволила соединить все нейросети в одну — такую, которая учитывает смысл запроса целиком. Трансформерную архитектуру назвали YATI, и она, в числе прочего, помогла улучшить Быстрые ответы — краткие справки сразу под поисковой строкой.
2023: поиск создаёт готовые ответы
🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥
Появление генеративных нейросетей позволило добавить к ранжированию ссылок создание готовых ответов на любые вопросы благодаря большой языковой модели Яндекса. Со временем эти ответы становились глубже и получали новые функции. Например, создание изображений прямо под поисковой строкой или ответы от Алисы AI.
2026 и дальше: всё решают агенты
🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥🫥
В Поиск уже встроили режим диалога с Алисой AI, которой можно задать уточняющие вопросы и не только. Более того, в Яндексе сделали «агентный поиск», адаптированный специально под нужды нейросетей, так как они уже отправляют больше поисковых запросов, чем люди. Следующий этап — агентские функции Алисы AI, которые позволят сразу в Поиске выдавать готовые решения вроде бронирования столиков.
Подписывайтесь 👉 @techno_yandex
