Поиск выбросов · часть 1

Все темы Data Scientist

Какие методы поиска выбросов вы знаете?

Некоторые методы поиска выбросов:

1. Метод межквартильного размаха (IQR) : Определяет выбросы как значения, находящиеся за пределами интервала $Q1−1.5×IQR и Q3+1.5×IQR$, где $Q1$ - первый квартиль, $Q3$ - третий квартиль, а $IQR$ - межквартильный размах.

2. Z-оценка (Z-score): Оценивает, насколько значение отклоняется от среднего значения в единицах стандартного отклонения. Значения, сильно отклоняющиеся от среднего на основе Z-оценки, могут быть выбросами.

3. Local Outlier Factor (LOF): Сравнивает локальную плотность объекта с плотностями соседей. Чем больше LOF, тем подозрительнее объект. В scikit-learn атрибут negative_outlier_factor_ хранит отрицательный LOF, поэтому у выбросов он ниже.

4. Изолирующий лес (Isolation Forest): Основанный на идее того, что выбросы имеют более короткие пути в деревьях решений, чем нормальные наблюдения. Алгоритм строит лес случайных деревьев и измеряет среднюю длину пути до выбранного объекта.

5. DBSCAN

   (Density-Based Spatial Clustering of Applications with Noise)

   : Кластеризует точки пространства данных на основе их плотности. Точки, не попадающие в какой-либо кластер, считаются выбросами.