--- title: Метрики оценки качества моделей seo: title: Метрики оценки качества моделей — Data Scientist description: Тема «Метрики оценки качества моделей» для собеседования Data Scientist. Какие метрики вы применяли для оценки результатов классификации и кластеризации? Что такое MAPE? --- [Все темы Data Scientist](/data-scientist) ## Какие метрики вы применяли для оценки результатов классификации и кластеризации? [#q-14bee738d69b81f3bed8da5ebe838b75] Для оценки результатов классификации часто используются следующие метрики: #### Для бинарной классификации: - Точность (Accuracy) - Полнота (Recall) - Точность (Precision) - F1-мера (F1-score) - AUC-ROC (Area Under the Receiver Operating Characteristic Curve) #### Для многоклассовой классификации: - Матрица ошибок (Confusion Matrix) - Макро и микро F1-мера - Взвешенная точность и полнота Для оценки результатов кластеризации часто используются следующие метрики: 1. Silhouette Score: Измеряет, насколько объект хорошо согласуется со своим кластером по сравнению с другими кластерами. 1. Davies-Bouldin Index: Мера сходства внутри кластера и различия между кластерами. Чем меньше значение, тем лучше разделение. 1. Calinski-Harabasz Index: Оценивает плотность и разделение между кластерами. 1. Adjusted Rand Index (ARI): Измеряет сходство между двумя кластерными разбиениями, учитывая случайные перестановки. :::note[Ссылки для изучения] 1. [Метрики в задачах машинного обучения](https://habr.com/ru/companies/ods/articles/328372/) ::: --- ## Что такое MAPE? [#q-14bee738d69b81539065f37d92cb8215] MAPE (Mean Absolute Percentage Error) - это метрика оценки точности прогнозирования, которая измеряет среднее абсолютное процентное отклонение между прогнозируемыми и фактическими значениями. Это выражается в процентах и позволяет оценить точность модели прогнозирования, особенно при работе с временными рядами и прогнозировании количественных значений. Чем ниже значение MAPE, тем лучше модель. :::note[Ссылки для изучения] 1. [Метрики в задачах машинного обучения](https://habr.com/ru/companies/ods/articles/328372/) ::: --- ## Приведите метрики для прогнозирования временных рядов. [#q-14bee738d69b8159b050c1bf42c9f44f] Для оценки точности прогнозирования временных рядов часто используются следующие метрики: 1. MAE (Mean Absolute Error): Средняя абсолютная ошибка, которая измеряет среднее абсолютное отклонение между прогнозируемыми и фактическими значениями. 1. MSE (Mean Squared Error): Средняя квадратичная ошибка, которая измеряет среднее квадратичное отклонение между прогнозируемыми и фактическими значениями. 1. RMSE (Root Mean Squared Error): Корень из средней квадратичной ошибки, выраженный в единицах целевой переменной. Совпадает со стандартным отклонением ошибок только при их нулевом среднем. 1. MAPE (Mean Absolute Percentage Error) : Среднее абсолютное процентное отклонение между прогнозируемыми и фактическими значениями, выраженное в процентах. 1. SMAPE (Symmetric Mean Absolute Percentage Error): Симметричное среднее абсолютное процентное отклонение, которое учитывает масштаб исходных данных. :::note[Ссылки для изучения] 1. [Метрики в задачах машинного обучения](https://habr.com/ru/companies/ods/articles/328372/) ::: --- ## Вычислить кумулятивную сумму для определенной метрики по месяцам. [#q-14bee738d69b810ebfb5d867991a1b2b] Решение: ```python import pandas as pd # Загрузка данных data = pd.read_csv("your_data.csv") # Преобразование столбца с датой в формат даты data['date'] = pd.to_datetime(data['date']) # Сортировка данных по дате data = data.sort_values('date') # Группировка данных по месяцам и вычисление кумулятивной суммы data['cumulative_metric'] = data.groupby(data['date'].dt.to_period('M'))['metric'].cumsum() ``` :::note[Ссылки для изучения] 1. [Метрики в задачах машинного обучения](https://habr.com/ru/companies/ods/articles/328372/) ::: --- ## Метрики качества рекомендаций. Помимо классических спросил еще про diversity, новизну контента. [#q-14bee738d69b8172b8a5c24a7634a12a] Метрики качества рекомендаций оценивают эффективность рекомендательных систем. Вот несколько классических метрик: 1. Точность (Precision): Оценивает долю релевантных рекомендаций среди всех предложенных. Формула: . 1. Полнота (Recall): Оценивает долю релевантных рекомендаций, найденных из всех релевантных элементов. Формула : . 1. F-мера (F1-score): Гармоническое среднее между точностью и полнотой, позволяющее учесть обе метрики. Формула: . 1. Средний ранг (Average Rank): Средний ранг релевантных элементов в списке рекомендаций. 1. Разнообразие (Diversity): Оценивает степень разнообразия предлагаемых рекомендаций. Может измеряться, например, как разнообразие жанров, авторов или других аспектов контента. 1. Новизна контента (Content Novelty): Оценивает степень, в которой рекомендации предлагают новый и неожиданный контент для пользователя. Может измеряться, например, как доля рекомендаций среди элементов, которые пользователь еще не видел или не взаимодействовал с ними. :::note[Ссылки для изучения] 1. [Метрики в задачах машинного обучения](https://habr.com/ru/companies/ods/articles/328372/) ::: --- ## Какие существуют метрики качества классификатора? [#q-14bee738d69b8124ac15c3a959b90c1b] Для оценки качества классификатора используются различные метрики, каждая из которых подходит для определенных задач и условий. Вот некоторые из наиболее часто используемых метрик: 1. Точность (Accuracy): доля правильно классифицированных объектов среди всех объектов. Подходит для сбалансированных наборов данных, где классы представлены примерно в равных пропорциях. 1. Точность (Precision): доля правильно классифицированных положительных объектов среди всех объектов, классифицированных как положительные. Важна, когда стоимость ложноположительных ошибок высока. 1. Полнота (Recall): доля правильно классифицированных положительных объектов среди всех реальных положительных объектов. Критична, когда стоимость ложноотрицательных ошибок высока. 1. F1-мера: гармоническое среднее между точностью и полнотой. Используется, когда необходимо учитывать обе эти метрики. 1. AUC-ROC (Area Under the Receiver Operating Characteristic curve) : площадь под ROC-кривой, которая показывает зависимость между долей истинно положительных классификаций и долей ложноположительных классификаций при различных порогах решения. Хороша для сравнения разных моделей. 1. Матрица ошибок (Confusion Matrix): таблица, показывающая распределение правильных и неправильных предсказаний по классам. Позволяет более детально проанализировать типы ошибок. Эти метрики помогают понять разные аспекты производительности классификатора и выбрать подходящую стратегию для улучшения модели. :::note[Ссылки для изучения] 1. [Метрики в задачах машинного обучения](https://habr.com/ru/companies/ods/articles/328372/) ::: --- ## Когда применять метрику accuracy вместо loss в машинном обучении? [#q-14bee738d69b81ac9661d56bd922970a] Метрика accuracy обычно используется для оценки качества модели в случае задач классификации, когда интересует доля правильных предсказаний по всей выборке. Это особенно полезно, когда классы в данных сбалансированы. Однако, метрика accuracy может давать искаженные результаты в случае несбалансированных классов, поэтому в таких случаях часто предпочтительнее использовать другие метрики, такие как precision, recall или F1-score. Loss-функции, напротив, обычно используются в процессе обучения модели для оптимизации параметров на основе разницы между предсказанными и истинными значениями. :::note[Ссылки для изучения] 1. [Метрики в задачах машинного обучения](https://habr.com/ru/companies/ods/articles/328372/) ::: --- ## Разница между триплетом и контрастив лосс? [#q-14bee738d69b81b0b4ddebbd5e751ff6] Между двумя этими лоссами, есть основная разница: - Triplet Loss минимизирует расстояние между "позитивными" парами (правильные примеры) и увеличивает расстояние между "негативными" парами (неправильные примеры) с использованием трёх элементов: анкора, положительного и отрицательного примера. - Contrastive Loss минимизирует расстояние между парой похожих примеров и увеличивает между непохожими, обычно в задачах бинарной классификации пар примеров. :::note[Ссылки для изучения] 1. [Метрики в задачах машинного обучения](https://habr.com/ru/companies/ods/articles/328372/) :::