Яндекс выложил в открытый доступ исходный код YTsaurus Flow — технологии непрерывной обработки больших потоков данных. Она позволяет анализировать события почти сразу после их появления, не дожидаясь накопления крупных массивов информации.
Что именно открыл Яндекс
Яндекс открыл исходный код YTsaurus Flow — решения для непрерывной обработки больших потоков данных. Ключевая особенность в том, что анализировать информацию можно сразу, а не после того, как накопится большой объём.
По сути, система работает с событиями в реальном времени и не требует длительной подготовки данных перед обработкой.
Какие события попадают в обработку
YTsaurus Flow работает с кликами, показами, лайками, заказами и другими событиями — они обрабатываются в реальном времени. Это помогает сервисам быстрее реагировать на изменения интересов пользователей.
За счёт этого можно:
- оперативнее обновлять рекомендации и рекламные предложения;
- быстрее замечать изменения в поведении аудитории;
- выявлять подозрительную активность.
Цифры: скорость и нагрузка
В «Яндекс Рекламе» технология обрабатывает более 100 ГБ данных и миллионы событий каждую секунду. По данным компании, раньше подготовка информации для дообучения части рекламных моделей занимала свыше 10 часов, а с YTsaurus Flow эту задержку удалось практически устранить.
Отдельно отмечена устойчивость к сбоям: при отказах нагрузка распределяется между доступными серверами.
Где технология уже работает
YTsaurus Flow применяется в сервисах Яндекса. Среди направлений — анализ спроса в «Маркете», работа антифрод-систем, обновление данных в приложениях и подготовка информации для машинного обучения.
То есть речь не о лабораторном прототипе, а о решении, которое уже используется в продуктах компании.
Коротко
- Яндекс открыл исходный код YTsaurus Flow
- Технология обрабатывает большие потоки данных непрерывно
- События анализируются почти сразу после появления, без ожидания накопления массива
- Обрабатываются клики, показы, лайки, заказы и другие события
- В «Яндекс Рекламе» — более 100 ГБ данных и миллионы событий каждую секунду
- Раньше подготовка информации для дообучения части рекламных моделей занимала свыше 10 часов
Что это значит для бизнеса
Открытый код YTsaurus Flow снижает порог входа в потоковую аналитику: посмотреть, как устроено решение, теперь может любая команда, а не только крупные компании с собственными инженерами. Главная мысль для владельца сайта и маркетолога — ценность быстрых данных: чем меньше задержка между событием и его обработкой, тем актуальнее рекомендации, рекламные предложения и антифрод. Если ваши отчёты и данные для рекламных кампаний обновляются с большой задержкой, стоит оценить, где именно теряется время. Открытая технология — повод посмотреть на свою аналитику в реальном времени как на рабочую норму, а не как на роскошь.
Частые вопросы
Что такое YTsaurus Flow?
Это открытая Яндексом технология для непрерывной обработки больших потоков данных в реальном времени. Она анализирует события почти сразу после их появления.
Какие события она обрабатывает?
Клики, показы, лайки, заказы и другие события — по данным источника, они обрабатываются в реальном времени.
Где решение уже применяется?
В сервисах Яндекса: в «Яндекс Рекламе», для анализа спроса в «Маркете», в антифрод-системах, для обновления данных в приложениях и подготовки информации для машинного обучения.
Источники
Комментарии
Пока комментариев нет — будьте первым, кто поделится мнением.