PR Кривая

Все темы Data Scientist

Расскажите про PR-кривую и как она строится.

PR-кривая (Precision-Recall curve) является инструментом для оценки производительности модели в задачах классификации, особенно в случаях, когда классы в данных несбалансированы. Она показывает отношение между точностью (precision) и полнотой (recall) модели при различных пороговых значениях для принятия решения.

1. Точность (Precision): Это доля истинно положительных результатов среди всех положительных результатов, предсказанных моделью. Формула: $\frac {TP} {(TP + FP)}$, где TP - количество истинно положительных предсказаний, а FP - количество ложно положительных предсказаний.

2. Полнота (Recall): Это доля истинно положительных результатов среди всех реальных положительных результатов в данных. Формула: $\frac {TP} {(TP + FN)}$, где TP - количество истинно положительных предсказаний, а FN - количество ложно отрицательных предсказаний.

PR-кривая строится путем изменения порогового значения для классификации и подсчета точности и полноты при каждом значении порога. Затем эти точки объединяются в кривую, где по оси X отображается полнота, а по оси Y - точность.

Чем ближе PR-кривая к верхнему правому углу графика (то есть к точке (1, 1)), тем лучше производительность модели. Однако не всегда возможно добиться высоких значений и точности, и полноты одновременно, поэтому необходимо находить баланс между этими метриками в зависимости от конкретной задачи.