---
title: Регуляризация
seo:
  title: Регуляризация — Data Scientist
  description: Тема «Регуляризация» для собеседования Data Scientist. Какая разница между регуляризацией L1 и L2? Как именно работают L1 и L2?
---

[Все темы Data Scientist](/data-scientist)

## <strong>Какая разница между регуляризацией</strong> <code>L1</code> <strong>и</strong> <code>L2</code><strong>?</strong> [#q-14bee738d69b814383cff0756ecc66b8]

Регуляризация <code>L1 &#40;Lasso&#41;</code> и <code>L2 &#40;Ridge&#41;</code> являются двумя различными методами регуляризации, применяемыми для уменьшения переобучения и улучшения обобщающей способности модели в машинном обучении&#58;

#### <code>L1 &#40;Lasso&#41;</code> <strong>регуляризация</strong>&#58;

- Использует сумму абсолютных значений весовых коэффициентов как часть функции потерь.

- Приводит к разреженности модели, так как может установить некоторые весовые коэффициенты в ноль, что эквивалентно отбору признаков.

- Часто используется для отбора признаков и уменьшения размерности модели.

#### <code>L2 &#40;Ridge&#41;</code> <strong>регуляризация</strong>&#58;

- Использует сумму квадратов весовых коэффициентов как часть функции потерь.

- Предотвращает переобучение путем штрафования больших значений весовых коэффициентов, но не обнуляет их.

- Обычно используется для стабилизации обучения и уменьшения чувствительности модели к изменениям в данных.

:::note[Ссылки для изучения]

1. [Регуляризация в машинном обучении](https://neerc.ifmo.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%83%D0%BB%D1%8F%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F)
   :::

---

## <strong>Как именно работают</strong> <code>L1</code> <strong>и</strong> <code>L2</code><strong>?</strong> [#q-14bee738d69b81a88179ea54d1962e8b]

Регуляризация <code>L1 &#40;Lasso&#41;</code> и <code>L2 &#40;Ridge&#41;</code> работают путем добавления штрафа к функции потерь во время обучения модели. Этот штраф помогает управлять сложностью модели и предотвращать переобучение.

#### <code>L1 &#40;Lasso&#41;</code> <strong>регуляризация</strong>&#58;

- Добавляет к функции потерь сумму абсолютных значений весовых коэффициентов где <InlineMath tex={"λ"} /> - это параметр регуляризации, а <InlineMath tex={"w_i"} /> - весовой коэффициент для i-го признака.&#58;

$$
\lambda \sum_{i=1}^n |w_i|
$$

Такой штраф приводит к тому, что некоторые весовые коэффициенты становятся равными нулю, что эквивалентно отбору признаков.

#### <code>L2 &#40;Ridge&#41;</code> <strong>регуляризация</strong>&#58;

- Добавляет к функции потерь сумму квадратов весовых коэффициентов&#58;

  $$
  \lambda \sum_{i=1}^n w_i^2
  $$

Этот штраф предотвращает слишком большие значения весовых коэффициентов, но не обнуляет их, сохраняя все признаки в модели.

:::note[Ссылки для изучения]

1. [Регуляризация в машинном обучении](https://neerc.ifmo.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%83%D0%BB%D1%8F%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F)
   :::

---

## <strong>Каким образом</strong> <code>L1</code> <strong>обнуляет веса?</strong> [#q-14bee738d69b81b0ba85c522b2b4b294]

Регуляризация <code>L1 &#40;Lasso&#41;</code> обнуляет веса путем добавления суммы абсолютных значений весовых коэффициентов к функции потерь. Это приводит к тому, что некоторые веса будут установлены в ноль в процессе обучения модели.

Когда выполняется оптимизация функции потерь с использованием <code>L1</code>-регуляризации, в процессе минимизации потерь оптимизатор стремится уменьшить сумму абсолютных значений весовых коэффициентов. Поскольку это включает в себя абсолютные значения, существует возможность, что некоторые весовые коэффициенты будут равны нулю, особенно если штраф за регуляризацию (задаваемый параметром <InlineMath tex={"λ"} />) достаточно большой.

:::note[Ссылки для изучения]

1. [Регуляризация в машинном обучении](https://neerc.ifmo.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%83%D0%BB%D1%8F%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F)
   :::

---

## <strong>Почему происходит зануление весов в случае с</strong> <code>L1</code><strong>?</strong> [#q-14bee738d69b817da8aecd7af1a2792e]

В случае <code>L1 &#40;Lasso&#41;</code> регуляризации, происходит зануление весов из-за того, что <code>L1</code>-регуляризация добавляет штраф к модели за абсолютные значения весов. Это приводит к тому, что в процессе минимизации функции потерь с учетом штрафа, некоторые веса становятся точно нулевыми, что в свою очередь приводит к отбору признаков и упрощению модели.

:::note[Ссылки для изучения]

1. [Регуляризация в машинном обучении](https://neerc.ifmo.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%83%D0%BB%D1%8F%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F)
   :::

---

## <strong>Регуляризация, что такое и зачем нужна? МНК и регуляризация, как она тут работает?</strong> [#q-14bee738d69b8127b5ade5d1fa136aa1]

Регуляризация - это метод контроля за сложностью модели путем добавления штрафа за большие значения параметров. Она используется для предотвращения переобучения и улучшения обобщающей способности модели.

В методе наименьших квадратов (МНК) с регуляризацией, к функции потерь добавляется штрафной член, зависящий от параметров модели. Например, в случае L2-регуляризации к функции потерь добавляется сумма квадратов значений параметров, умноженная на коэффициент регуляризации. Это заставляет модель учитывать не только точность предсказаний, но и сложность модели, помогая избежать переобучения.

:::note[Ссылки для изучения]

1. [Регуляризация в машинном обучении](https://neerc.ifmo.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%83%D0%BB%D1%8F%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F)
   :::