Тюнинг модели

Все темы Data Scientist

С точки зрения тюнинга - использовалась готовая модель или тюнили?

Опишите, использовали ли готовую конфигурацию или подбирали гиперпараметры. Для собственного примера укажите метод поиска, валидационное разбиение, метрику и результат. Веса модели обучают на тренировочных данных, а гиперпараметры выбирают по валидации.

Какие основные параметры в бустинге по Вашему опыту надо тюнить, чтобы алгоритм работал как следует? На примере CatBoost.

В бустинге, особенно в алгоритме CatBoost, ключевыми параметрами для тюнинга являются:

1. Learning Rate (Шаг обучения): Контролирует величину корректировки весов модели на каждом шаге. Небольшие значения обычно предпочтительны, но слишком маленький шаг может замедлить обучение.

2. Depth of Trees (Глубина деревьев): Определяет, насколько глубоко деревья будут разветвляться. Глубокие деревья могут привести к переобучению, поэтому важно контролировать их глубину.

3. Number of Trees (Количество деревьев) : Определяет, сколько деревьев будет использоваться в ансамбле. Большое количество деревьев может улучшить качество модели, но также увеличивает время обучения.

4. Regularization Parameters (Параметры регуляризации): Например, параметры L2-регуляризации для ограничения весов признаков или параметры для контроля сложности модели.

5. Feature Fraction (Доля признаков): Определяет, какая часть признаков будет использоваться при построении каждого дерева. Это помогает снизить переобучение и улучшить обобщающую способность модели.

6. Bagging Parameters (Параметры бэггинга) : Определяют, какие объекты и в каком количестве будут использоваться при построении каждого дерева. Это также помогает справиться с переобучением.