«Пользователям нужна функция сравнения». «Клиенты готовы платить за премиум». «Упрощённая форма повысит конверсию». Такие фразы часто называют гипотезами, кладут в бэклог и идут делать. Через месяц функция вышла, цифры как-то изменились, и команда спорит, подтвердилось или нет.

А спорят потому, что гипотезу сформулировали так, что её невозможно опровергнуть. Любой результат можно истолковать в её пользу. И такая гипотеза, по сути, ничему не учит.

Чем гипотеза отличается от идеи

Идея говорит, что сделать. Гипотеза — что изменится в поведении людей, если это сделать, и по какому признаку мы поймём, что ошиблись. «Добавить сравнение тарифов» — это идея. Гипотезой она становится, когда появляется ожидаемый результат, который можно увидеть и измерить.

Себя я проверяю одним вопросом: какой результат заставит меня признать, что я была неправа? Если ответа нет, передо мной всё ещё идея.

Из чего состоит проверяемая гипотеза

В рабочей гипотезе шесть частей:

  • изменение: что конкретно мы делаем;
  • аудитория: для кого, какой сегмент или ситуация;
  • метрика: какое поведение изменится и как мы его посчитаем;
  • порог: насколько оно должно измениться, чтобы считать гипотезу подтверждённой;
  • срок: за какое время ждём результат;
  • основание: почему мы вообще в это верим.

В одну фразу это складывается так:

Если мы сделаем [изменение] для [аудитории], то [метрика] изменится с [текущего значения] до [порога] за [срок], потому что [основание].

Шаблон громоздкий, и в жизни так никто не разговаривает:) Но записать гипотезу целиком хотя бы раз полезно — сразу видно, каких частей не хватает.

Три примера: как переписать

«Людям нужен мой онлайн-курс»

Типичная формулировка эксперта, который хочет упаковать свои знания. Опровергнуть её невозможно: кому-нибудь курс точно нужен.

Проверяемая версия: если показать подписчикам канала страницу курса с ценой 30 000 ₸ и кнопкой предзаписи, не меньше 3% из тех, кто открыл страницу, оставят заявку за две недели. Основание: в личку регулярно пишут с вопросами на эту тему.

Тут есть цена, конкретная аудитория и порог. Если заявок меньше, мы узнали что-то важное ещё до того, как записан первый урок.

«Упрощённая форма повысит конверсию»

Непонятно, что именно упрощаем, какую конверсию считаем и насколько она должна вырасти.

Проверяемая версия: если убрать из формы записи поле «Отчество», доля завершивших запись среди начавших вырастет с 40% до 48% за две недели. Основание: в записях сессий заметная часть людей останавливается именно на этом поле.

Теперь понятно, что смотреть в аналитике и какой результат считать успехом.

«Push-напоминания увеличат удержание»

Удержание чего, у кого и за какой период? Под эту фразу подходит любой рост любой метрики.

Проверяемая версия: если новым пользователям, которые не вернулись на третий день, отправлять одно напоминание с незавершённым действием, доля вернувшихся на седьмой день в этой группе вырастет с 12% до 16% по сравнению с контрольной группой без напоминания. Основание: в интервью люди говорят, что просто забывают про приложение после первого визита.

Здесь появилась контрольная группа. Без неё рост легко приписать напоминаниям, хотя на самом деле его дала сезонность или маркетинговая кампания.

Порог успеха пишется до проверки

Это правило я считаю самым важным. Если порог не записан заранее, после проверки его почти всегда подгоняют под результат. Выросло на 2% — «ну, небольшой, но рост». Не выросло — «наверное, мало времени прошло».

Откуда брать порог? Из того, какое изменение оправдает затраты. Если функция стоит месяц работы команды, рост на полпроцента её не окупит, и это лучше понимать до начала.

Частые ошибки

  • Гипотеза описывает решение, а про проблему молчит. «Нужен чат-бот» ничего не говорит о том, что мешает пользователю сейчас.
  • Метрику выбрали по принципу «что уже есть в дашборде», хотя смотреть надо на поведение, которое должно измениться.
  • Проверить можно только полной разработкой. Часто есть способ дешевле, его стоит поискать.
  • В одной проверке меняют сразу несколько вещей. Результат есть, а что сработало — непонятно.
  • Основание — «нам так кажется». Так тоже можно, но тогда честнее сначала проверить само основание: поговорить с пользователями или посмотреть данные.

Как проверять без разработки

Многие гипотезы проверяются за несколько дней: страница с кнопкой, которая считает клики ещё до того, как функция существует, ручная версия сервиса для небольшой группы, интервью про прошлое поведение. Почему это важно, я подробнее разбирала в статье о том, почему фичами никто не пользуется. А понять, какую гипотезу проверять первой, помогает приоритизация по цене бездействия.

Чек-лист перед проверкой

  • Какой результат докажет, что я неправа?
  • Для кого именно это изменение?
  • Какую метрику смотрим и какое у неё текущее значение?
  • Какой порог записан заранее?
  • Сколько времени ждём результат?
  • Можно ли проверить дешевле, чем разработкой?

Если на все шесть вопросов есть ответ, гипотеза готова к проверке. Если нет — недостающая часть и есть следующая задача.

Если хочется разобрать гипотезы своего проекта вместе, приходите на продуктовую консультацию, первая встреча бесплатная. Больше разборов про продуктовое мышление — в моём телеграм-канале.

Частые вопросы

Чем гипотеза отличается от идеи?

Идея говорит, что сделать. Гипотеза описывает, что изменится в поведении людей, если это сделать, и по какому признаку станет понятно, что вы ошиблись.

Из чего состоит проверяемая гипотеза?

Из шести частей: изменение, аудитория, метрика, порог, срок и основание. Шаблон: «Если мы сделаем [изменение] для [аудитории], то [метрика] изменится с [текущего значения] до [порога] за [срок], потому что [основание]».

Когда задавать порог успеха?

До проверки. Если порог не записан заранее, после проверки его почти всегда подгоняют под результат. Порог берут из того, какое изменение оправдает затраты.

Можно ли проверить гипотезу без разработки?

Часто да: страница с кнопкой, которая считает клики до появления функции, ручная версия сервиса для небольшой группы или интервью про прошлое поведение.