Собеседование на Senior аналитика данных | Валерий Бабушкин | karpov.courses

Коротко о видео

Запись учебного лайв-кодинг-собеседования на позицию аналитика данных: Игорь исследует связь возраста, числа цилиндров, вибрации и надёжности в небольшом датасете. После положительной агрегированной корреляции возраста и надёжности участники разбивают данные по числу цилиндров, получают обратную зависимость внутри групп и обсуждают парадокс Симпсона. Затем они используют множественную линейную регрессию, стандартизацию, взаимодействия признаков и Lasso, отмечая, что без происхождения данных и при малом числе наблюдений выводы следует считать предварительными.

Затронутые темы

Что взять на заметку

• Агрегированная корреляция возраста и надёжности может иметь противоположный знак по сравнению с корреляцией внутри групп по числу цилиндров — это пример парадокса Симпсона.
• Перед выводами по корреляционной матрице полезно проверять возможные смешивающие факторы и анализировать данные по однородным когортам.
• В множественной линейной регрессии коэффициент возраста интерпретируют как изменение надёжности при фиксированных остальных включённых признаках, в частности числа цилиндров.
• До интерпретации коэффициентов нужно проверить диапазон целевой переменной, пропуски и масштаб признаков; в беседе эти проверки были сделаны уже после построения модели.
• Стандартизация через StandardScaler приводит признаки к среднему 0 и стандартному отклонению 1, что помогает сопоставлять величины коэффициентов в стандартных единицах.
• Добавление взаимодействий и квадратов признаков само по себе не подтвердило более сложную зависимость; участники не увидели заметного полезного вклада этих членов.
• Lasso-регуляризация в этом упражнении зануляла большинство коэффициентов; собеседники предположили, что для устойчивых результатов может не хватать наблюдений.