Исследователи «Т-Технологий» разработали модели для повышения качества рекомендаций новых товаров на 35%

Исследователи «Т-Технологий» разработали два новых подхода, которые помогают рекомендательным системам лучше подбирать пользователям новые товары и контент, у которых еще нет истории покупок и просмотров. Разработанная рекомендательная модель E2L3AE объединяет обучение алгоритма рекомендаций и нейросети для анализа текстов, повышая качество подбора товаров и контента на 20,3% по полноте рекомендаций и на 17,2% по качеству ранжирования по сравнению с базовой L3AE. Вторая разработка — архитектура для рекомендательных моделей MoE-IGR, которая повысила качество ранжирования рекомендаций на 35% по сравнению с существующими решениями. Также исследователи показали, что способ проверки моделей перед запуском влияет на выбор лучшей: модели, выбранные без учета хронологии действий пользователей, ранжируют рекомендации до 81% хуже при проверке на будущих взаимодействиях, чем модели, выбранные с учетом хронологии. Об этом CNews сообщили представители «Т-Банка».

Почему это важно

Рекомендательные системы определяют большую часть того, что люди смотрят и покупают в интернете: по данным Netflix, около 80% просмотров на платформе приходится на рекомендации алгоритмов, а у Amazon, по некоторым оценкам, с рекомендациями связано около 35% продаж.

При этом одна из самых давних нерешенных задач в этой области – «холодный старт»: системе сложно давать точные рекомендации для новых товаров и пользователей, о которых мало данных. Каталоги пополняются каждый день, и без решения этой задачи новинки рискуют остаться незамеченными. Только в одном научном обзоре на эту тему собрано более 220 работ.

Что это дает

Интернет-магазины и сервисы смогут сразу показывать новинки тем, кому они действительно интересны, а не ждать, пока товар наберет продажи. Пользователи будут видеть в подборках больше подходящих им новых фильмов, книг и товаров. Компании смогут точнее выбирать модели для своих рекомендательных систем перед запуском и сэкономить на тестировании нерелевантных.

Суть открытия

Чтобы повысить качество рекомендаций новых или непопулярных товаров, исследователи используют текстовые описания товаров или контента вместе с историей взаимодействий пользователей. Один из способов это сделать — использовать модель L3AE, которая объединяет линейный автоэнкодер, обрабатывающий данные о поведении пользователей, и текстовый энкодер, анализирующий описания объектов.

Исследователи «Т-Технологий» создали модель Е2L3AE, которая снимает ограничение L3AE и совместно обучает текстовый энкодер и рекомендательную модель. Благодаря информации о взаимодействиях пользователя с товаром или контентом текстовый энкодер лучше понимает, какие особенности объекта важны пользователю.

Еще один способ повысить качество рекомендаций при недостатке данных о товарах — использовать графовые модели, которые представляют пользователей и объекты в виде узлов, а взаимодействия между ними в виде связей. Но графовые модели обрабатывают информацию обо всех объектах одинаково, не учитывая различия между ними.

Исследователи «Т-Технологий» разработали архитектуру MoE-IGR, объединив графовую рекомендательную модель с архитектурой «смесь экспертов» (Mixture of Experts). MoE-IGR анализирует характеристики товаров и определяет, какая специализированная нейросеть-эксперт или комбинация экспертов лучше подходит для каждого из них, а затем объединяет результаты их работы с разными весами.

Перед внедрением рекомендательные модели тестируют на исторических данных о покупках и просмотрах пользователей, разделенных на обучающую и тестовую выборки. При случайном разделении на выборки модель может обучаться на событиях, произошедших позже тестовых, тогда как в реальных условиях она не имеет доступа к будущим действиям пользователей. Проблема распространена: в одном из исследований авторы проанализировали 85 статей с ведущих конференций за 2017—2019 годы, и более чем в половине из них использовали случайное разделение данных, а по времени данные делили только в 12,3% работ. Исследователи предложили способ оценивать, как разные способы разделения данных влияют на выбор лучшей модели.

Область применения

E2L3AE может применяться во всех сервисах, где важно подбирать товары и контент с учетом интересов пользователей и где объекты имеют подробные текстовые описания, в том числе в интернет-магазинах косметики, игрушек, канцелярии и продуктов. Например, в небольших интернет-магазинах косметики модель может использовать состав, назначение и характеристики товаров вместе с предпочтениями пользователей, а в магазинах товаров для детей — описания игр, возрастную категорию и развиваемые игрушками навыки. Модель также закрывает проблему «холодных стартов»: даже если пользователи мало взаимодействовали с товаром или контентом, дообученный энкодер может использовать описание объекта для рекомендации. Исходный код E2L3AE открыт на GitHub.

Low/no-code-революция: новая архитектура цифровой независимости Конференция

MoE-IGR может быть полезна сервисам, каталоги которых постоянно пополняются, особенно в таких отраслях, как кинематограф, книжная индустрия, ресторанный бизнес. Например, в онлайн-кинотеатрах подход может учитывать особенности жанра и сюжета новых фильмов, которые еще не имеют истории просмотров, и их связи с другими фильмами, чтобы точнее определить потенциальных зрителей.

Способ оценки рекомендательных моделей пригодится командам, которые выбирают модель перед запуском в интернет-магазинах, онлайн-кинотеатрах, музыкальных и видеосервисах. Он помогает проверить, не завышена ли оценка модели из-за того, что данные для проверки разделили без учета хронологии.

Результаты экспериментов

Исследователи протестировали E2L3AE на пяти наборах данных: косметика и уход, игрушки и игры, продукты питания, офисные товары и одежда. Метод сравнили с L3AE и другими рекомендательными моделями. E2L3AE превзошла L3AE на всех тестах и пяти датасетах. Наибольший прирост получили метрики при рекомендации офисных товаров: полнота рекомендаций выросла на 20,3%, а качество ранжирования — на 17,2% относительно L3AE. Например, когда покупатель интернет-магазина выбирает товары для рабочего места, описания двух товаров могут быть похожи, но история выбора других покупателей лучше показывает, какие из них действительно полезно рекомендовать вместе. E2L3AE учитывает этот сигнал при обучении текстовой модели.

Исследователи также доказали, что текстовый автоэнкодер можно использовать отдельно от рекомендательной модели: по формированию рекомендаций он превосходит текстовые модели без дообучения. На четырех датасетах дообученный текстовый энкодер также повысил полноту рекомендаций новых товаров, которые не встречались при дообучении.

Исследователи протестировали архитектуру MoE-IGR на трех датасетах: фильмах, книгах и заведениях. Разработку сравнили с существующими методами в четырех сценариях: рекомендация уже известных объектов, новых объектов, новым пользователям, а также новых объектов новым пользователям. Наибольший прирост качества наблюдался при рекомендации новых объектов — например, на данных MovieLens модель улучшила ранжирование на 34,5% относительно PinSage. Это значит, что при выходе нового фильма, у которого еще нет истории просмотров в данных обучения, система может опираться на его описание и связи с другими объектами, чтобы интересные пользователям новые фильмы в среднем оказывались выше в списке.

Дополнительно ученые изучили, как распределяются задачи между экспертами. Оказалось, что для новых объектов модель чаще задействует ограниченный набор экспертов. Эксперты также учитывают особенности контента: например, для близких по тематике жанров фильмов, таких как драмы и мелодрамы или детские и анимационные фильмы, модель использует схожие комбинации экспертов.

В третьем исследовании сравнили рекомендательные модели на шести наборах данных: это фильмы, косметика, музыкальные инструменты, музыка, короткие видео и маркетплейс (на собственном датасете T-ECD). В 17 из 18 сравнений модели, выбранные без учета общей хронологии, показали более низкое качество при проверке на будущих взаимодействиях пользователей. Например, качество ранжирования рекомендаций снизилось на 49% на датасете фильмов и на 81% на коротких видео. На практике это означает, что подходящие пользователю фильмы или видео будут оказываться ниже в рекомендательной подборке, чем при использовании модели, выбранной с учетом хронологии взаимодействий.