Продуктовые метрики

Все темы Product Analyst

Можно ли использовать самоотчет продавца как метрику сделки?

Самоотчет можно использовать как сигнал, но не сразу как число сделок. Нужно измерить coverage и response rate: кто вообще отвечает и чем неответившие отличаются. Затем на выборке со сверкой по CRM, оплатам или ручной проверке оценить precision и recall. Формулировку вопроса и момент опроса стандартизируют. Продавец может иметь стимул ответить выгодным способом, поэтому возможен incentive bias. Метрику регулярно перекалибровывают по сегментам и показывают вместе с неопределенностью.

Как выбрать целевую метрику для новой коммуникационной функции?

Метрика должна отражать пользовательскую ценность функции. Сначала задают единицу, например eligible пользователь в неделю, затем adoption и глубину полезного использования. Для стикеров это может быть доля начавших пользоваться и изменение числа успешных диалогов, но сырое число отправок легко накрутить и оно отражает новизну. Нужны quality-сигналы, retention и guardrails по блокировкам, жалобам и времени до ответа. Primary metric и горизонт фиксируют до эксперимента.

Почему установки приложения могут быть плохим KPI?

Установка показывает привлечение, но почти ничего не говорит о полученной ценности. Кампания может купить дешевые установки с низкими first open, activation и retention. Атрибуция органики и платного трафика также несовершенна. KPI выбирают по цели команды: activation для первого полезного сценария, retained users для устойчивого использования, CAC и LTV или маржинальный доход для экономики. Установки оставляют диагностическим верхом воронки, а не единственным критерием успеха.

Как корректно посчитать долю объектов с проблемой?

Нужно заранее определить объект, eligibility, проблему и период. Если объектом является уникальный чат, числитель равен числу eligible чатов хотя бы с одной проблемой, знаменатель всем eligible чатам, а повторные события внутри чата не увеличивают числитель. Исключают ботов, тестовый трафик и технические повторы. Долю показывают с доверительным интервалом и по сегментам. Если длительность чатов разная, дополнительно полезна частота проблем на сообщение или минуту, но это уже другой estimand.

Как спроектировать интегральную метрику качества поисковых подсказок?

Сначала определяют успешный сценарий подсказки, например выбор подсказки с последующим релевантным результатом. Ядром может быть success rate, дополненный time-to-success, reformulation rate и abandonment. Компоненты приводят к сопоставимой шкале и веса задают по связи с пользовательской оценкой или бизнес-целью, а не на глаз. Latency и ошибки служат guardrails. Интегральное число удобно для выбора, но рядом сохраняют компоненты, иначе улучшение одной части скроет деградацию другой.

Как определить активного пользователя продукта?

Активным считают пользователя, совершившего за период действие, которое отражает полученную ценность, а не фоновый ping или простое открытие. Для мессенджера это может быть отправка сообщения, звонок или осмысленное чтение, в зависимости от продукта. Нужно зафиксировать период, eligible аудиторию, дедупликацию устройств и исключение ботов. Несколько сценариев лучше показывать сегментами или уровнями активности. Определение проверяют на связи с retention и чувствительности метрики к порогу.

Почему число контактов плохо заменяет число сделок?

Контакт находится раньше сделки и имеет разное качество. Один пользователь может создать несколько контактов, часть из них не получит ответа, а сделка завершится через недели и вне платформы. Поэтому рост контактов может не увеличить сделки. Строят воронку контакт → ответ → договоренность → подтвержденная сделка, учитывают лаг и сегменты, а proxy калибруют по CRM, платежам или опросной ground truth. Метрика контактов также легко оптимизируется спамом, поэтому нужны quality guardrails.

Как переформулировать продуктовую гипотезу в гипотезу о монетизации?

Гипотеза о функции должна назвать механизм ценности и платящий сегмент. Затем формулируют, какое платежное поведение изменится: conversion to pay, ARPPU, частота покупки или маржинальный доход за фиксированный горизонт. Например, не «фильтр повысит вовлеченность», а «фильтр сократит поиск для профессиональных продавцов и увеличит продление подписки». Одновременно проверяют каннибализацию других тарифов, скидки, churn и retention. Рост краткосрочной выручки без учета этих эффектов не доказывает улучшение монетизации.

Как выбрать общую метрику для двух сторон маркетплейса?

Общая метрика должна считать единицу успешного взаимодействия, создающего ценность обеим сторонам, например завершенную качественную сделку на eligible пару или пользователя. Одной конверсии спроса мало: ее можно поднять, перегрузив продавцов плохими лидами. Поэтому рядом измеряют баланс спроса и предложения, время до матча, качество, отмены и концентрацию. Метрику нормируют на подходящий знаменатель и проверяют по сегментам. Ее выбирают из механизма marketplace, а не усредняют два независимых KPI.

Какие guardrail-метрики нужны эксперименту с push-уведомлениями?

Рядом с целевой конверсией смотрят отписки от рассылки, отключение уведомлений, жалобы, блокировки, uninstall и краткосрочный и долгосрочный retention. Частотные guardrails ограничивают число push на пользователя и учитывают накопленный эффект нескольких кампаний. Метрики считают по назначению, включая недоставленные сообщения, и по сегментам чувствительности. Порог вреда задают до теста. Рост кликов не считается успехом, если он покупается раздражением и снижением будущей активности.