→ о проведении A/B тестирований
день 05
Это жизнь, девочки
(или мальчики)
(или мальчики)
Сегодня на волнах нашего дата-эфира
Сегодня мы поговорим о проведении умного тестирования на практике — как проверить какой из двух предлагаемых вариантов эффективнее и не ошибиться с принятием решения.
Как выбрать лучший вариант — A/B тестирования
Иногда, нам нужно принимать потенциально важные решения, но данных для принятия этих решений у нас нет. По идее, мы можем сами добыть нужные данные, например, проведя эксперимент. Наиболее распространенным видом эксперимента являются A/B-тестирования.
Представим, что мы владельцы интернет-магазина. В целом, наш магазин можно считать успешным, однако объем продаж в последнее время не увеличивается. Нам бы хотелось узнать как повысить наши продажи, не увеличивая издержек.
Мы собираемся вместе с командой, чтобы обсудить имеющуюся проблему. Во время обсуждения, выдвигается несколько предложений по улучшению процесса покупки:
→ изменить местоположение кнопки «перейти в корзину»
→ изменить дизайн индикатора скидки
→ использовать новый формат email-рассылок для анонсов
Мы можем иметь большое количество предложений по улучшению сайта, но нам нужно быть уверенными, что это идеи сработают. Что они правда улучшат процесс покупки, а не оттолкнут пользователей. Для того, чтобы принять правильное решение, мы можем провести A/B тестирование.
Представим, что мы владельцы интернет-магазина. В целом, наш магазин можно считать успешным, однако объем продаж в последнее время не увеличивается. Нам бы хотелось узнать как повысить наши продажи, не увеличивая издержек.
Мы собираемся вместе с командой, чтобы обсудить имеющуюся проблему. Во время обсуждения, выдвигается несколько предложений по улучшению процесса покупки:
→ изменить местоположение кнопки «перейти в корзину»
→ изменить дизайн индикатора скидки
→ использовать новый формат email-рассылок для анонсов
Мы можем иметь большое количество предложений по улучшению сайта, но нам нужно быть уверенными, что это идеи сработают. Что они правда улучшат процесс покупки, а не оттолкнут пользователей. Для того, чтобы принять правильное решение, мы можем провести A/B тестирование.
А/B тестирование — это методология проверки предположений, позволяющая оценивать эффект от каждого из них. Во время проведения A/B теста, выдвигается гипотеза, выполнение которой отслеживается в одинаковых внешних условиях, но на двух разных группах пользователей.
Посмотрим на проведение A/B теста на примере первого предположения. Допустим, мы хотим проверить такую мысль: увеличатся ли продажи если мы перенесем кнопку «Перейти в корзину» в более заметное место страницы?
A/B тестирование начинается с того, что мы разделяем всех посетителей интернет-магазина на две группы: контрольная группа и тестовая (А- и B-группы).
A/B тестирование начинается с того, что мы разделяем всех посетителей интернет-магазина на две группы: контрольная группа и тестовая (А- и B-группы).
как именно мы их разделяем?
Обычно, в сервисе веб-аналитики (Яндекс.Метрика, Google Analytics) пользователям в случайном порядке выдается их идентификатор принадлежности к той или иной группе в формате cookie-файла. В той же системе веб-аналитики данные по каждой из групп пользователей затем агрегируются и предоставляют базу для принятия решений.
А/B тестирования помогают делать правильный выбор, принимать решение в какую сторону двигаться
Контрольная группа будет продолжать работать с интернет-магазином в том виде, в котором он есть сейчас. Тестовой группе будут показаны изменения в дизайне — например, тестовая группа увидит кнопку «Перейти в корзину» не в нижнем правом углу, а наверху страницы. По окончанию A/B-теста, аналитика действий на сайте покажет, какая из групп чаще нажимала на кнопку «Перейти в корзину» — т. е. какое местоположение кнопки более эффективно.
На что обращать внимание
На практике важно уделить много внимания подготовке к тестированию, определению групп пользователей и параметров исследования. От этапа подготовки зависит и качество результатов.
Группы пользователей:
→ должны быть независимыми
→ должны быть выбраны случайным образом
→ один и тот же пользователь должен быть только в одной группе в один момент времени
Длительность проведения A/B-тестирования может быть разной, но:
→ тестирование не должно быть слишком долгим, т.к. возможно ваша гипотеза неэффективна и вы теряете ресурсы во время теста
→ тестирование не должно быть слишком коротким, т.к. возможно у вас не получится собрать достаточное количество данных
Группы пользователей:
→ должны быть независимыми
→ должны быть выбраны случайным образом
→ один и тот же пользователь должен быть только в одной группе в один момент времени
Длительность проведения A/B-тестирования может быть разной, но:
→ тестирование не должно быть слишком долгим, т.к. возможно ваша гипотеза неэффективна и вы теряете ресурсы во время теста
→ тестирование не должно быть слишком коротким, т.к. возможно у вас не получится собрать достаточное количество данных
В любом случае, в каждой предметной области могут быть свои уникальные факторы, которые повлияют на объем тестовых групп и на длительность тестирования
Последовательность изменений
Наиболее важное правило при проведения A/B тестов заключается в последовательности изменений. В один промежуток времени необходимо тестировать одно изменение. Например, если мы не только перенесем кнопку «Перейти в корзину» снизу наверх, но и поменяем ее цвет или размер — как мы узнаем, что именно повлияло на увеличение взаимодействия в тестовой выборке пользователей – перемещение кнопки или изменение ее дизайна.
A/B тестирование подразумевает одновременное сравнение и анализ лишь одного элемента (кнопки) в двух его состояниях (внизу страницы и наверху страницы). Для проверки изменений по нескольким переменным используется многовариантное тестирование, в котором вместо проверки А-версии и B-версии одного элемента, можно протестировать неограниченное количество версий (A, B, C, D…) сразу.
→ подробнее по A/B тестирования
A/B тестирование подразумевает одновременное сравнение и анализ лишь одного элемента (кнопки) в двух его состояниях (внизу страницы и наверху страницы). Для проверки изменений по нескольким переменным используется многовариантное тестирование, в котором вместо проверки А-версии и B-версии одного элемента, можно протестировать неограниченное количество версий (A, B, C, D…) сразу.
→ подробнее по A/B тестирования
Правила A/B тестирований
1
Не спешите с выводами
Не нужно принимать скорые решения и предположения, это может сформировать искажения вашего восприятия.
2
Тестируйте одно изменение за раз
Иначе вы рискуете только увеличить свое непонимание. Разбивайте сложные комбинации вариантов на несколько отдельных гипотез, двигайтесь итерациями, чтобы точно знать, какие изменение к чему приводят.
3
Всегда выдвигайте четкое предположение
Предположение может казаться слишком простым, но оно заставляет держать тест в рамках поставленного вопроса и не искажать результаты. Помните об итерациях. Лучше иметь несколько простых идей, которые однозначно подтверждаются или опровергаются, чем одну сложную гипотезу, которая только запутает.
«Возможно, вы забыли заказать»
Данила Наумов
Директор по данным, Утконос ОНЛАЙН
В мобильном приложении Утконос ОНЛАЙН при оформлении заказа нужно было изменить блок предложения дополнительных товаров, которые могли бы быть необходимы клиенту: «Возможно, вы забыли заказать».
Как вы думаете, какой из вариантов B или C оказался наиболее эффективным? Под «эффективностью» мы понимаем:
→ увеличение конверсии, т. е. с блоком рекомендаций взаимодействовали чаще, чем в нынешнем варианте А
→ увеличение среднего чека, т. е. новый блок рекомендаций действительно увеличивал продажи
Как вы думаете, какой из вариантов B или C оказался наиболее эффективным? Под «эффективностью» мы понимаем:
→ увеличение конверсии, т. е. с блоком рекомендаций взаимодействовали чаще, чем в нынешнем варианте А
→ увеличение среднего чека, т. е. новый блок рекомендаций действительно увеличивал продажи
В команде Утконос ОНЛАЙН провели эксперимент, показывая три варианта A, B и С трем одинаковым группам пользователей.
Показатели для отслеживания эффективности были следующими, а результаты вы можете увидеть в таблице ниже:
CR – Conversion Rate – конверсия
ARPU – Average Revenue per User – средний доход на пользователя
AOV – Average Order Value – средний чек
Показатели для отслеживания эффективности были следующими, а результаты вы можете увидеть в таблице ниже:
CR – Conversion Rate – конверсия
ARPU – Average Revenue per User – средний доход на пользователя
AOV – Average Order Value – средний чек
Посмотрите на цифры эффектов двух вариантов. Эксперимент B относительно A показал статистическую значимость по всем основным метрикам, при этом разница между B/C и A/C значимой не является.
Поэтому, в команде приняли решение выбрать вариант B как победителя, выкатить его на всех пользователей приложения и внести изменения в процесс оформления заказа.
Поэтому, в команде приняли решение выбрать вариант B как победителя, выкатить его на всех пользователей приложения и внести изменения в процесс оформления заказа.
а теперь... Практика
Задание 01.
Давайте попробуем представить себя владельцами какого-либо продукта. Можете выбрать любое интересное приложение или веб-сайт на любую тему, которая вам нравится. Это может быть интернет-магазин растений или материалов для дома, приложение для заказа еды или сервис для просмотра кино и сериалов. Последние, кстати, имеют много вариативности. Netflix, например, анализирует ваши предпочтения и историю просмотра, чтобы вывести в ленте то, что вам понравится сильнее всего.
→ 01.1. Сыграем роль нового пользователя этого сайта или приложения. Пройдите клиентский путь – запишите основные шаги, которые нужно сделать, чтобы принести выручку продукту (купить товар, оформить подписку, заказать услугу)
→ 01.2. Как вы думаете, какой шаг мог вызвать (или вызвал) у вас сложности? Что было непонятно? Что вам не понравилось и почему? Можно попробовать поставить себя на место разных групп пользователей. Например, если человек никогда не заказывал еду, увидит ли он подсказки интерфейса, будет ли ему понятен каждый шаг?
→ 01.3. Напишите от 3 до 10 предложений по улучшению сервиса. Интерфейс, процесс покупки, взаимодействие, возможность обратиться за помощью. Список можно отправлять менеджменту сервиса! Или в наш чат.
→ 01.1. Сыграем роль нового пользователя этого сайта или приложения. Пройдите клиентский путь – запишите основные шаги, которые нужно сделать, чтобы принести выручку продукту (купить товар, оформить подписку, заказать услугу)
→ 01.2. Как вы думаете, какой шаг мог вызвать (или вызвал) у вас сложности? Что было непонятно? Что вам не понравилось и почему? Можно попробовать поставить себя на место разных групп пользователей. Например, если человек никогда не заказывал еду, увидит ли он подсказки интерфейса, будет ли ему понятен каждый шаг?
→ 01.3. Напишите от 3 до 10 предложений по улучшению сервиса. Интерфейс, процесс покупки, взаимодействие, возможность обратиться за помощью. Список можно отправлять менеджменту сервиса! Или в наш чат.
а теперь... Материалы
Валерий Бабушкин, руководитель управления развития данных Х5 Retail Group на конференции Матемаркетинг рассказывает о том, что эффективная обработка всех данных потенциально может при минимальных затратах привести бизнес к конкурентным решениям за счет проведения строго таргетированных маркетинговых кампаний, оптимального размещения магазинов и выбора для них конкретного ассортимента с точным прогнозом срока их выхода на окупаемость, а также выявления «больных» магазинов.
A/B-тестирования при невозможности разбиения покупательской аудитории на группы
A/B-тестирования: как сделать так, чтобы оно заработало
A/B-тесты — главный двигатель развития продукта. В крупных компаниях ежедневно проводятся сотни экспериментов, а их результаты могут стоить миллионов рублей — как выручки, так и убытков. Анатолий Карпов рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов.
Спасибо за эфир!
Вот и справились с первой неделей Марафона и разобрали A/B тестирования. Впереди — еще 5 интересных дней и много новых знаний.
