Рекомендательные системы

Все темы Data Scientist

Подтемы:

• Рекомендательные системы
• Popularity Bias

Как решать cold start для нового пользователя в рекомендательной системе?

Для нового пользователя сначала дают неперсонализированный baseline: популярное или трендовое с учетом региона, времени и доступности. Onboarding может собрать несколько предпочтений, а контентные признаки профиля и объектов дают раннюю персонализацию. Часть показов оставляют для controlled exploration, чтобы быстрее узнать интересы и не замкнуть пользователя в первом выборе. После накопления событий растет вес коллаборативных сигналов. Оценивают activation, diversity, long-term retention и regret, а не только первые клики.

Чем коллаборативные рекомендации отличаются от контентных?

Коллаборативные методы учатся по матрице взаимодействий user-item и находят сходство пользователей или скрытые факторы. Они не требуют полного описания объектов, но страдают от cold start и feedback loop. Контентные методы сравнивают признаки пользователя и объекта, поэтому могут рекомендовать новый объект, но часто дают слишком похожие результаты. Гибрид объединяет оба сигнала и добавляет популярность, контекст и ограничения. Split делают по времени, чтобы будущие взаимодействия не попадали в признаки.

Popularity bias, как бороться?

Popularity bias (популярный биас) возникает, когда рекомендательная система предлагает пользователю только самые популярные или общеизвестные элементы, игнорируя индивидуальные предпочтения пользователя. Вот несколько способов борьбы с ним:

1. Персонализация: Используйте персонализированные методы ранжирования, которые учитывают предпочтения и историю взаимодействия конкретного пользователя с контентом.

2. Разнообразие: Интегрируйте в систему механизмы, которые обеспечивают разнообразие рекомендаций, чтобы предложения не были ограничены только самыми популярными элементами.

3. Фильтрация по контексту: Учитывайте контекст, такой как время, местоположение, текущая активность пользователя и т. д., для адаптации рекомендаций к конкретной ситуации.

4. Гибридные модели: Используйте комбинацию различных методов рекомендаций, таких как коллаборативная фильтрация, контентная фильтрация, гибридные подходы и т. д., для более точных и разнообразных рекомендаций.

5. Управление экспозицией: Регулируйте видимость популярных и непопулярных элементов с помощью техник, таких как балансировка и динамическая регулировка рекомендаций в зависимости от интересов пользователя.

Метрики качества рекомендаций. Помимо классических спросил еще про diversity, новизну контента.

Метрики качества рекомендаций оценивают эффективность рекомендательных систем. Вот несколько классических метрик:

1. Точность (Precision): Оценивает долю релевантных рекомендаций среди всех предложенных. Формула:

   $\frac {Кол-во релевантных рекомендаций} {Кол-во предложенных рекомендаций}$

   .

2. Полнота (Recall): Оценивает долю релевантных рекомендаций, найденных из всех релевантных элементов. Формула :

   $\frac {Кол-во релевантных рекомендаций} {Кол-во всех релевантных элементов}$

   .

3. F-мера (F1-score): Гармоническое среднее между точностью и полнотой, позволяющее учесть обе метрики. Формула:

   $𝐹1=2 \cdot \frac {Precision \cdot Recall} {Precision+Recall}$

   .

4. Средний ранг (Average Rank): Средний ранг релевантных элементов в списке рекомендаций.

5. Разнообразие (Diversity): Оценивает степень разнообразия предлагаемых рекомендаций. Может измеряться, например, как разнообразие жанров, авторов или других аспектов контента.

6. Новизна контента (Content Novelty): Оценивает степень, в которой рекомендации предлагают новый и неожиданный контент для пользователя. Может измеряться, например, как доля рекомендаций среди элементов, которые пользователь еще не видел или не взаимодействовал с ними.