Регуляризация

Какая разница между регуляризацией `L1` и `L2`?

Регуляризация L1 (Lasso) и L2 (Ridge) являются двумя различными методами регуляризации, применяемыми для уменьшения переобучения и улучшения обобщающей способности модели в машинном обучении:

`L1 (Lasso)` регуляризация:

Использует сумму абсолютных значений весовых коэффициентов как часть функции потерь.
Приводит к разреженности модели, так как может установить некоторые весовые коэффициенты в ноль, что эквивалентно отбору признаков.
Часто используется для отбора признаков и уменьшения размерности модели.

`L2 (Ridge)` регуляризация:

Использует сумму квадратов весовых коэффициентов как часть функции потерь.
Предотвращает переобучение путем штрафования больших значений весовых коэффициентов, но не обнуляет их.
Обычно используется для стабилизации обучения и уменьшения чувствительности модели к изменениям в данных.

Как именно работают `L1` и `L2`?

Регуляризация L1 (Lasso) и L2 (Ridge) работают путем добавления штрафа к функции потерь во время обучения модели. Этот штраф помогает управлять сложностью модели и предотвращать переобучение.

`L1 (Lasso)` регуляризация:

Добавляет к функции потерь сумму абсолютных значений весовых коэффициентов где $λ$ - это параметр регуляризации, а $w_i$ - весовой коэффициент для i-го признака.:

\lambda \sum_{i=1}^n |w_i|

Такой штраф приводит к тому, что некоторые весовые коэффициенты становятся равными нулю, что эквивалентно отбору признаков.

`L2 (Ridge)` регуляризация:

Добавляет к функции потерь сумму квадратов весовых коэффициентов:

$\lambda \sum_{i=1}^n w_i^2$

Этот штраф предотвращает слишком большие значения весовых коэффициентов, но не обнуляет их, сохраняя все признаки в модели.

Каким образом `L1` обнуляет веса?

Регуляризация L1 (Lasso) обнуляет веса путем добавления суммы абсолютных значений весовых коэффициентов к функции потерь. Это приводит к тому, что некоторые веса будут установлены в ноль в процессе обучения модели.

Когда выполняется оптимизация функции потерь с использованием L1-регуляризации, в процессе минимизации потерь оптимизатор стремится уменьшить сумму абсолютных значений весовых коэффициентов. Поскольку это включает в себя абсолютные значения, существует возможность, что некоторые весовые коэффициенты будут равны нулю, особенно если штраф за регуляризацию (задаваемый параметром $λ$ ) достаточно большой.

Почему происходит зануление весов в случае с `L1`?

В случае L1 (Lasso) регуляризации, происходит зануление весов из-за того, что L1-регуляризация добавляет штраф к модели за абсолютные значения весов. Это приводит к тому, что в процессе минимизации функции потерь с учетом штрафа, некоторые веса становятся точно нулевыми, что в свою очередь приводит к отбору признаков и упрощению модели.

Регуляризация, что такое и зачем нужна? МНК и регуляризация, как она тут работает?

Регуляризация - это метод контроля за сложностью модели путем добавления штрафа за большие значения параметров. Она используется для предотвращения переобучения и улучшения обобщающей способности модели.

В методе наименьших квадратов (МНК) с регуляризацией, к функции потерь добавляется штрафной член, зависящий от параметров модели. Например, в случае L2-регуляризации к функции потерь добавляется сумма квадратов значений параметров, умноженная на коэффициент регуляризации. Это заставляет модель учитывать не только точность предсказаний, но и сложность модели, помогая избежать переобучения.