что это за проблема и как с ней борются в Яндексе.
Галлюцинациями называют ответы больших языковых моделей (LLM), которые звучат правдиво, но на самом деле являются ошибочными. Простой пример — вы спрашиваете у чат-бота, кто написал «Женитьбу Бальзаминова», а он отвечает — Антон Чехов (на самом деле Александр Островский).
Основные причины галлюцинаций— недостаток знаний и принцип работы языковой модели. При обучении она учится предсказывать вероятное продолжение на основе предыдущих слов. Если модель не выучила какой-то факт, например того же автора «Женитьбы», то предскажет другое имя или другого писателя, ведь это более вероятное продолжение, чем, например, «эту книгу написала собака».
Этот феномен не изучен доконца, поэтому применяются разные способы решить проблему. Во время создания YandexGPT 2 мы поработали со знаниями модели, сильно улучшив её претрейн. Во-первых, стали тщательнее отбирать данные, во-вторых, проверять, как они влияют на тестовую модель, и только потом «вливать» их в основную. В будущем планируем использовать ещё и обучение с подкреплением.
ВНИМАНИЕ 🛑 Yже сеrодня эти технологии 3ащитят вашу п0чту отспама❗️
С начала года сервис Яндекс 360 отправил в спам почти восемь миллиардов писем, а ещё более пяти миллиардов оказались потенциально опасными для пользователя и были заблокированы.
Распознавать такие письма помогают алгоритмы Спамообороны, защитной системы в Почте Яндекса, которая для каждого письма вычисляет более 600 параметров и использует более 20 источников данных. А что это за параметры и как работают алгоритмы — читайте в карточках.
Yandex Cup: открыли регистрацию на чемпионат по программированию с большим призовым фондом.
Могут участвовать и начинающие, и опытные разработчики. Соревнования пройдут в шести направлениях: аналитика, фронтенд-, бэкенд- и мобильная разработка, машинное обучение и «Алгоритм». Последнее пройдёт на русском и английском языках.
Призовой фонд — 7,8 миллиона рублей. Чтобы попасть, нужно отобраться на квалификации с 23 по 29 октября. Финал чемпионата пройдёт офлайн в офисе Яндекса в Казахстане. Смотрите все подробности на сайте чемпионата.
🗣🤖Начинаем серию материалов журнала ТЕХНО про #промпты
Буквально пару лет назад знать о промптах было необходимо лишь людям, работающим над разработкой генеративных нейросетей. Но с тех пор нейросети проникли во многие сферы жизни, а навык работы с ними может понадобиться любому человеку в сотнях ситуаций — от генерации картинки для презентации до создания себе расписания тренировок на неделю.
В серии материалов расскажем:
• Как люди научились понятным всем языком ставить задачу машинам.
• Как специалисты из разных сфер используют промптинг для решения рабочих задач.
• Как применять промпты в обычной жизни.
• Как становятся специалистами по промпт-инжинирингу.
А ещё пообщаемся с людьми, для которых промпты — неотъемлемая часть жизни.
В первом тексте говорим о том, как нейросети «понимают» наш язык, когда появилась идея промптов и как их писать.
Уже больше 1000000 человек помогают благотворительным организациям с помощью округления 💌
Сумма от округления направляется сотням проверенных фондов-партнёров нашего социального проекта «Помощь рядом». Присоединиться к нему легко — переходите по ссылке и узнайте, как небольшие суммы от округления стоимости заказов помогают фондам лучше планировать работу и помогать своим подопечным.
Фронтендеры, приходите наWeekend Offer Frontend!😍 Это мероприятие, на котором офер в Яндекс можно получить за выходные.
Для кого: 17 команд Яндекса ищут инженеров с опытом разработки на JavaScript и TypeScript не меньше четырёх лет.
Как всё устроено: Чтобы принять участие, нужно до 20 сентября выделить 35 минут и пройти онлайн‑квиз. В случае успеха рекрутер свяжется с вами и пригласит на два технических собеседования и знакомство с командами 23 и 24 сентября.
На прошлой неделе обновили нейросеть YandexGPT, которая помогает придумывать в чате на ya.ru и делает наши сервисы умнее, до второй версии. Андрей Сюткин разрабатывал и много тестировал новую нейросеть, поэтому может подробно рассказать, что в ней изменилось и что будет дальше.
Присоединяйтесь ктестированию новой функции вПоиске.
В Поиске появились быстрые ответы, которые генерирует наша нейросеть YandexGPT. Она ищет подходящий источник по вашему запросу, делает из него краткую выжимку и даёт ссылку на сайт, чтобы вы могли ещё подобнее разобраться в теме.
Чтобы новые быстрые ответы появились ввашем Поиске, подайте заявку в приложении Яндекс с Алисой для Android или iOS. На его главном экране появится ссылка на тестирование. После подключения быстрых ответов они заработают на всех устройствах с вашим Яндекс ID.
Перезапускаем платёжный сервис Пэй💳 и рассказываем, что в нём изменилось.
🔻 Покупки офлайн с кешбэком.
Пользователи телефонов на Android могут платить с карты Пэй на любом терминале, пользователи айфонов — через QR. И получайте дополнительно кешбэк баллами Плюса.
🔻 Покупки онлайн тоже с кешбэком.
С помощью кнопки Пэй платите в интернет-магазинах с любой привязанной карточки. За это также начисляют 1% кешбэка баллами Плюса, а по специальным акциям — до 10%.
🔻 Все ваши сплиты.
Они помогают сделать важную покупку в интернет-магазине и разделить её стоимость на срок до 24 месяцев. А в приложении Пэй все лимиты и сплиты, которые предстоит закрыть, собраны в одном месте.
🔻Выплаты каждый день.
Сейвы — то есть накопительные счета — уже доступны части пользователей и постепенно появятся у всех. Если будете хранить на них деньги, то получите проценты на остаток. Первые три месяца ставка у Сейвов 13%, а дальше — 9%.
🎆 Сегодня 256-йдень вгоду, тоесть День программиста! А это значит, пора узнать, что фронтендеры ищут чаще всего в Поиске.
Чтобы выяснить это, мы провели исследование: посчитали число запросов пользователей-фронтендеров про разные разработческие хард-скиллы. Получилась карта популярных библиотек, фреймворков, инструментов и других навыков, которые фронтендеры регулярно используют в своей работе.
🗼Бикон: рассказываем о небольшом устройстве, которое делает доставку еды намного точнее.
Биконы или маячки— это небольшие блютус-устройства, которые устанавливают около окон выдачи заказов. Они обмениваются данными с приложением в телефоне курьера и сообщают сотрудникам ресторана, что он уже пришёл и ждёт свой заказ. Биконы определяют местоположение курьера с точностью до 20 метров.
По данным отбиконов мыточнее рассчитываем, сколько в среднем времени курьеру нужно, чтобы добраться до ресторана, и сколько уходит на выдачу заказа. Рестораны таким образом узнают, в каких точках у них задерживается приготовление и выдача заказов, и могут улучшить работу своих кухонь.
Впервые биконы появились вконце 2022года на кухнях сети «Много лосося». Летом мы распространили эту технологию на 700 ресторанов «Вкусно — и точка». Благодаря работе биконов курьеры ждут свои заказы в два раза меньше времени, а рестораны могут наладить свою работу так, чтобы блюда готовили точно к их прибытию.
Больше о том, как работает фудтех в Яндексе, вы можете узнать из выпуска yet another podcast.
Это Dilectus, и он помогает работникам на складах Маркета. Робот снимает большие коробки с товарами со стеллажей и отвозит их в зону, где собирают заказы. Проще говоря, экономит кучу сил и времени. Но подробнее про это расскажут Саша Петровский и Миша Куренков, которые этого робота разрабатывали.
Новое медиа Яндекс Еды, которое говорит не только о новых ресторанах, интересных блюдах и рецептах, но также о людях, которые всем этим занимаются. Герои «Открытой кухни» — шеф-повара, предприниматели и даже фермеры.
Помогает быстрее погрузиться в ИТ. Поясняет сложные профессиональные термины, отвечает на стыдные вопросы — «Почему разработчики ругают вёрстку на div?» — и подсказывает решения неочевидных задачек.
Рассказывает о новых функциях и тарифах, которые регулярно появляются в приложении Яндекс Go: от такси и самокатов до доставки еды и товаров. Есть и материалы, которые поясняют, как устроены новые опции, и советы, например, как уточнить свою геопозицию.
Обновили большую языковую модель YandexGPT. Мы покажем несколько примеров, на что она способна, но, конечно, интереснее пробовать самим — например, на ya.ru или в навыке Алисы «Давай придумаем».
🔸Что нового:
Новая языковая модель решает больше различных задач, чем первая версия, а качество её ответов существенно улучшилось. Она способна анализировать тексты и отвечать на вопросы по ним, а также стилизовать текст ответа под разную аудиторию или персонажа.
🔸Как мы это сделали:
Увеличили количество параметров и улучшили процесс обучения. Для этого тщательнее отбирали данные, добавили в датасет новые и синтетические — сгенерированные на основе реальной информации — примеры запросов.
🔸И какие результаты:
Наши AI‑тренеры протестировали обе версии YandexGPT на 500 запросах по самым разным темам и сравнили результаты. Оказалось, что YandexGPT 2 в 67% случаев даёт более точный и подробный ответ.
🎙 Говорим о Яндексе сейчас и заглядываем в будущее. В новом yet another podcast — в Музыке и на YouTube — руководители Поиска объясняют, что будет с нашими автономными технологиями, почему мы готовим казахскую версию Алисы и какие обновления предстоят YandexGPT.
А пока парочка инсайтов про нашу большую нейросеть:
🟡 YandexGPT не убьёт классический поиск по интернету, а дополнит его. Например, сейчас тестируется версия Поиска, в которой нейросеть готовит быстрые ответы на разные вопросы и конспектирует информацию с сайтов.
🟡 Конечно, YandexGPT в продуктах Яндекса станет больше. В следующем году где-то половина пользователей наших сервисов будет сталкиваться или с самой YandexGPT, или с инструментами, которые мы создаём на её основе.
🟡 Завтра вы сможете узнать, как именно YandexGPT изменится в самое ближайшее время. На нашей Practical ML Conf расскажем об обновлениях большой нейросети. Регистрируйтесь и узнавайте первыми.
Прежде чем YandexGPT в Алисе научилась отвечать на ваши вопросы, большая команда асессоров, AI‑тренеров и DL‑инженеров готовили для неё данные и контролировали каждый шаг обучения.
DL или Deep Learning — это разновидность машинного обучения нейронных сетей на огромных объемах данных. Света Маргасова — DL‑инженер и член команды YandexGPT — в наших карточках рассказывает, как на самом деле учат большие языковые модели.
💫 Кстати, 7сентября мы проведём Practical MLConf, конференцию для экспертов о применении машинного обучения на практике, где Света прочитает доклад о том, что делать, если нейросеть начала галлюцинировать, то есть ошибаться и выдумывать факты.
Кроме того, докладчики из Yandex Cloud, Авито, Маркета, Sber AI, X5 Tech расскажут про Kandinsky, зрение роботов, GigaChat и многое другое. Регистрируйтесь по ссылке.
Интерактивный учебник для учеников 7–9 классов. Вводит в программирование на Python, даёт теорию и предлагает решить практические задания детям с разным уровнем подготовки. Перед началом работы на платформе должен зарегистрироваться учитель.
↘️Хендбуки
Цифровые учебники с теорией и практикой. Одни подойдут для новичков, другие — чтобы подтянуть свои знания, например, перед собеседованием. Вышли пять учебников: по машинному обучению, анализу данных, основам Python, C++ и алгоритмов.
Карьеру в ИТ помогут начать бесплатные курсы по Python и Go для школьников и студентов первых курсов колледжей. Чтобы поступить и выучиться на junior‑разработчика, хватит знаний из школьной программы. Заявки принимают до 11 сентября.
Курсы длятся год, для более быстрого обучения есть интенсивы. Они идут три месяца и концентрируются на решении практических задач. До 12 сентября принимают на интенсивы по разработке игр, анализу данных, машинному обучению и веб-разработке.
Вообще все образовательные материалы от наших экспертов: и статьи на Хабре, и записи с конференций по фронтенду, мобильной разработке, дизайну, hardware и другим темам. Сохраните в закладках, чтобы поискать по базе ответы на свои вопросы.
↘️ Открытый лекторий Летнихшкол
Этим летом эксперты из Яндекса прочитали больше 150 лекций про фронтенд-, бэкенд-, мобильную разработку и управление продуктом, а именно продакт-менеджмент, маркетинг и аналитику. Если пропустили, мы выложили для вас записи всех лекций.
Одно из направлений, которое позволит попасть в ИТ-индустрию без навыков программирования и быстрее, чем это будет с другими профессиями. Курс длится четыре месяца, ближайшие начнутся 21 сентября и 12 октября.
В Почте Яндекса работают множество технологий защиты от спама. Одни анализируют адрес отправителя, вложения и ссылки, другие проверяют электронную подпись и подозрительную активность почтового ящика. Чтобы понять, отправить письмо в папку «Спам» или нет, они учитывают более 600 разных факторов.
Какой спам вообще бывает и чем он может быть опасен — рассказываем про это в коротком ликбезе.
📌 Небольшая подсказка: определитель номера Яндекса работает не только с обычными звонками, но и в мессенджерах WhatsApp и Viber. Когда звонят с незнакомого номера, он подскажет, полезный это звонок или, возможно, мошенники.
Откройте приложение Яндекс с Алисой и скажите голосовому помощнику: «Алиса, включи определитель номера». В iOS определитель для мессенджеров заработает сразу, в Android нужно в настройках приложения нажать на пункт «Определять звонки в мессенджерах».
Этим летом в наш московский офис пришёл Глеб, 19-летний студент Уральского федерального университета. Он должен был пройти стажировку в одной из команд Яндекс Еды. С самого начала Глеб спросил, можно ли ему снимать в офисе, чтобы поделиться впечатлениями с друзьями из Екатеринбурга.
Мы подумали, что это классная идея, и предложили поделиться не только с друзьями, но и вообще со всеми, кто подумывает прийти на стажировку в Яндекс. Глеб снимал свою стажёрскую жизнь, мы ему в этом помогали.
Получился влог про стажировку от первого лица — с экскурсией по офису, первыми факапами и тусовками. Чтобы вам было проще понять особенности стажировки, мы сняли для влога интервью с менторами и руководителями команд.
Новая функция работает в режиме тестирования и доступна активным авторам Шедеврума. Все остальные могут посмотреть на примеры работ в ленте приложения — обновите его до последней версии.
Как это работает?
За генерацию отвечают нейросети Яндекса. Чтобы сгенерировать видео в Шедевруме, нужно описать текстом то, что хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъём и морфинг (постепенное изменение). За основу нейросеть берёт выбранное пользователем изображение, генерирует набор его изменённых версий и объединяет всё выбранным эффектом.
Приложение генерирует короткие ролики длиной четыре секунды с частотой 24 кадра/сек. Для создания кадров используется метод каскадной диффузии. Нейросеть сначала создаёт отдельные изображения в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями. Звука в таких роликах пока нет.
Мы встретились с популярными авторами, которые создают изображения в Шедевруме, нашем приложении с генеративными постами и картинками, и попросили дать полезные рекомендации, чтобы вы могли вместе с нейросетью создать настоящий шедевр.
💬Чтобы составить ленту ресторанов вприложении, мы используем порядка ста разных факторов.
Например, учитываем предпочтения пользователя и сделанные им ранее заказы: любите бургеры — в первую очередь будем показывать, откуда заказать именно их.
Другие важные факторы — день недели и время суток: утром покажем рестораны с завтраками, а в пятницу вечером — места, чтобы заказать еду на вечеринку.
За всем этим стоит техника машинного обучения под названием градиентный бустинг, которая часто применяется для классификации, а также наша библиотека CatBoost.
Недавно говорили о приложении Еды и фудтехе в целом в yet another podcast. Слушайте, чтобы узнать больше об алгоритмах, которые помогают привезти вам еду.
🛴Запустили новый формат наютьюбе— ПРОД. В нём познакомим с героями, которые создают технологии Яндекса, и покажем, из чего на самом деле состоит их работа.
В первом выпуске— самокаты Яндекса: посмотрите экскурсию по самокатной мастерской, познакомьтесь с профессией энерджайзера и узнайте, какие самокаты могут появиться в следующих сезонах.
Грабер: рассказываем об одной из главных особенностей нового робота Яндекса.
🏗 Это часть нового робота Dilectus. Он загружает себя товарами, а потом отвозит их в место, где работники собирают заказы. У робота внушительные размеры, поэтому за один раз он способен отвезти до девяти коробок с товарами.
📦 Грабер нужен, чтобы брать сполки тоты— те самые коробки, в которых на складе хранят товары. Сложная конструкция не ограничивает робота в его задачах и позволяет хватать не только ближайшие, но и те тоты, что стоят за ними.
👀 Чтобы снять тот сполки, его нужно сначала найти. Камеры Dilectus сканируют метки на стеллажах и помогают роботу ориентироваться на складе: в какой он стоит аллее и около какой ячейки. У грабера тоже есть своя камера — она ищет для него нужный тот.
Показываем нашего нового робота — Dilectus. И рассказываем, что тут происходит.
⏩Зачем он нужен:
Dilectus достаёт тяжёлые коробки с товарами — их называют тотами — и отвозит в зону сборки заказов. Именно поэтому робот такой большой и мощный: коробки, каждая из которых весит по 35 килограммов, он берёт с самых верхних полок стеллажей.
⏩Что это даёт:
Робот поможет работникам. Им не нужно будет самим искать товары и перемещать их по складу. Вместо этого они сосредоточатся на сборке заказов и более интересных задачах. Это и ускорит работу, и уменьшит количество ошибок.
⏩А какие ещё есть роботы:
Это третья разработка из нашей лаборатории роботов. Мы уже показывали Spectro и рассказывали про Motus. Первый занимается инвентаризацией, а второй перевозит тяжёлые грузы. А все вместе они создают автоматизированный склад, который сократит расходы на хранение товаров и освободит людей от некоторых задач.
Сходили в гости к разработчику Алисы Паше Капле. Он построил для себя и семьи по-настоящему умный дом, а мы посмотрели, как выглядит квартира, которой можно целиком управлять или с приложения в телефоне, или даже голосом.
Если хотите знать про все главные трейлеры и самые важные анонсы, подписывайтесь на Кинопоиск Ждём. А если ищете более детальные разборы фильмов или просто что-то на вечер, то поможет основной канал Кинопоиска.
— о событиях, технологиях илюдях, которые ихсоздают.
Разработчики рассказывают о важных технологических новостях, глубоких хардовых кейсах и работе в Яндексе. А ещё в канале публикуют анонсы мероприятий, которые мы проводим для программистов, ML‑инженеров и других специалистов из ИТ.
Первыми узнавайте обо всех обновлениях умных устройств Яндекса, находите полезные сценарии и команды для виртуального помощника, а ещё обменивайтесь опытом настройки умного дома в большом комьюнити.
Новости, статьи и полезные заметки обо всём, что связано с автомобилями и автомобилистами. Можно почитать про тест-драйв китайского электрокара, оперативно узнать о новых видах дорожной разметки или выбрать маршрут для отпуска.
Узнавайте о выгодных предложениях на электронику, красивые вещи для дома, одежду, обувь, товары для детей и многое другое. В общем, полезно, если регулярно покупаете на маркетплейсе.
🍥Слушайте этот подкаст— на ютьюбе или в Музыке— только сытыми! В нём обсуждаем вкусную еду, доставку и алгоритмы, которые за всем этим стоят. И что же там такого интересного?
🔘Инсайд отЯндексЕды: готовим инновационные сумки для огромной пиццы (чтобы не переворачивалась!)
🔘Десяток хитростей вЕде: как рестораны и пользователи пытаются перехитрить алгоритмы (но выходит далеко не всегда)?
🔘Тренды вдоставке еды: пицца, бургеры, роллы, хинкали — какие блюда популярны сейчас (и что будет в моде через год)?
Алло! Это курьер с доставкой: везу подкаст про фудтех и еду (yet another podcast #19)
Вы заказываете доставку из ресторанов в Яндекс Еде, но даже не представляете, какие сложные технологии стоят за тем, чтобы роллы появились у вас всего через полчаса. Аналитики сервиса Дмитрий Ефимов и Роман Халкечев рассказывают, как формируется цена в Еде, какие блюда заказывают чаще всего, и делятся инсайдом о том, что интересного они готовят на будущее.
yet another podcast — регулярный подкаст о новых технологиях, продуктах Яндекса и людях, которые над ними работают. В каждом выпуске ведущий Павел Кушелев с гостями обсуждают один продукт компании: большое обновление, важную разработку и стоящие за ними процессы.
🦸♂️ В гостях — Макс Брандт, фуд-блогер
https://www.youtube.com/@maxmakesvideo
🎧 yet another podcast на других платформах
• Яндекс Музыка: https://music.yandex.ru/album/24046885
• Apple Podcasts: https://clck.ru/34JYfc
• Google Podcasts: https://clck.ru/34JYPX
🕓 Что в подкасте:
00:00 — Начинаем ресторанную дискуссию!
01:54 — Что теперь с Delivery Club
03:58 — Инновационные новые сумки!
06:25 — Delivery Club и Еда: друзья или враги
08:15 — 🧐 «К России ближе всего Бразилия». Что?
10:22 — 🤔 «Еда — это соцсеть». Как?!
13:27 — 😤 «Картошку фри доставлять не умеют». Почему?!
14:26 — Что внутри алгоритма Еды
19:53 — Доставка еды в XIX веке
22:00 — Мама и папа Яндекс Еды
27:15 — Ливни отменили 30% заказов
31:13 — Сколько в среднем ждать еду
37:51 — 🍔 Самый популярный продукт в доставке
40:50 — 🍕 Заказали как-то 100 пицц...
42:22 — 🌯 Как пытаются обмануть Еду
47:32 — Честные лайфхаки
50:33 — Искусство фотографии в Яндекс Еде
54:24 — Продолжаем «олимпиаду фрода»
56:11 — Почему курьеры опаздывают?
58:05 — Почему не могут найти мой подъезд?
01:01:00 — Как собирается лента Еды?
01:03:14 — Почему заказ отменяют?
01:04:47 — Почему не расширяют зоны доставки?
01:07:53 — Когда заказывают чаще всего
01:11:34 — Что такое dark kitchen
01:14:31 — Обсуждаем калории
01:18:41 — Анекдот!
This site uses cookies to collect data and enhance your experience. Visit our Privacy Policy to learn more. By using this website you consent to their use. Accept and close.
