Метод наименьших квадратов

Все темы Data Scientist

Что такое метод наименьших квадратов (МНК)?

Метод наименьших квадратов (МНК) - это статистический метод, используемый для оценки параметров линейной модели путем минимизации суммы квадратов разностей между наблюдаемыми значениями и значениями, предсказанными моделью. В основе МНК лежит принцип нахождения “наилучшей” прямой (или плоскости в случае многомерных данных), которая наилучшим образом соответствует набору данных. Этот метод широко используется в регрессионном анализе для оценки параметров линейной зависимости между переменными.

Почему МНК именно метод наименьших квадратов, а не кубов?

Квадраты ошибок неотрицательны и не компенсируют друг друга. Для линейной модели их сумма образует гладкую выпуклую функцию. Кубы сохраняют знак, поэтому положительные и отрицательные ошибки могут компенсироваться, а цель может быть не ограничена снизу. Квадратичная потеря при этом чувствительна к выбросам; для устойчивости используют, например, MAE или Huber loss.