Мальцева Е.С., Рахманова А.Ю. Теоретические аспекты A/B тестирования и практика реализации российской экономике
Мальцева Е.С., Рахманова А.Ю. Теоретические аспекты A/B тестирования и практика реализации российской экономике
ЭКОНОМИКА. ЭКОНОМИЧЕСКИЕ НАУКИ
Образец ссылки на эту статью: Мальцева Е.С., Рахманова А.Ю. Теоретические аспекты A/B тестирования и практика реализации российской экономике // Бизнес и дизайн ревю. 2021. № 4 (24). С. 1.
УДК 339.138
ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ A/B ТЕСТИРОВАНИЯ И ПРАКТИКА РЕАЛИЗАЦИИ
Мальцева Елена Сергеевна
АНО ВО «Институт бизнеса и дизайна», Москва, Россия (129090, Москва, Протопоповский переулок, 9), зав. кафедрой менеджмента и маркетинга, кандидат экономических наук, доцент, Maltsevs1@mail.ru +7(495) 684-25-26, 109.
Рахманова Алиса Юрьевна
АНО ВО «Институт бизнеса и дизайна», Москва, Россия (129090, Москва, Протопоповский переулок, 9), магистр, профиль «Бренд-менеджмент», alisa-rax@mail.ru
Аннотация. Статья посвящена метода маркетинговых исследований – A/B тестированию. Цель исследования - раскрыть теоретические основы A/B тестирования, как инструмента совершенствования и оценки взаимодействия бренда с потребителями в диджитал-среде. Методы исследования: наблюдение, интервью, сравнение, измерение, анализ и синтез. Авторы показывают, как A/B тестирование способно помочь компаниям при принятии управленческих решений относительно построения коммуникационной стратегии. Показано, что A/B следует использовать для снижения рисков и возможности терпеть неудачи быстрее, только не в реальности, а в режиме теста; получения знания, что работает, а что нет; внесения изменений в режиме реального времени. Главный научный результат: авторы пришли к выводу, что на текущий момент времени весь потенциал A/B тестирования раскрывается неполностью.
Ключевые слова: A/B тестирование; маркетинговое исследование; диджитал-инструменты; бренд.
THEORETICAL ASPECTS OF A / B TESTING AND IMPLEMENTATION PRACTICE
Maltseva Elena Sergeevna
Institute of Business and Design (B&D), Moscow, Russia (129090, Moscow Protopopovskiy lane, 9), candidate of economic Sciences, The Head of the Department of Management and Marketing, Maltsevs1@mail.ru, +7(495) 684-25-26, 109.
Rakhmanova Alisa Yurevna
Institute of Business and Design (B&D), Moscow, Russia (129090, Moscow, Protopopovskiy lane, 9), Master, «Brand Management», alisa-rax@mail.ru
Abstract. The article is devoted to the method of marketing research - A / B testing. The purpose of the study is to reveal the theoretical foundations of A / B testing as a tool for improving and assessing brand interaction with consumers in a digital environment. Research methods: observation, interview, comparison, measurement, analysis and synthesis. The authors show how A / B testing can help companies make management decisions about building a communication strategy. It has been shown that A / B should be used to reduce risks and the ability to fail faster, not in reality, but in a test mode; gaining knowledge of what works and what doesn't; making changes in real time. The main scientific result: the authors came to the conclusion that at the current moment in time, the full potential of A / B testing is not fully revealed.
Key words: A / B testing; marketing research; digital tools; brand.
Введение
Согласно результатам исследования креативного агентства We Are Social 2020 г. в России среднестатистический пользователь ежедневно проводил в Интернете 7 часов 17 минут, то есть более четверти своей жизни [11]. Это говорит о том, что для многих видов бизнеса России Интернет стал если не основным каналом продаж, то одной из самых важных точек взаимодействия с аудиторией.
Основываясь на результатах анализа трендов электронной коммерции 2019-2020 гг., главной целью деятельности брендов в цифровом пространстве является продажа. Компании всеми инструментами среды пытаются привлечь к себе внимание аудитории (особенно той, которая ранее имела опыт покупок у бренда), используя накопленные данные о ней. Потребители, в свою очередь, в основном приходят в Интернет за поиском определенного контента. И они готовы вовлекаться во взаимодействие с брендом и совершать покупки, если активность бренда ненавязчива, он проявляет персонализированный подход в коммуникациях, оправдывает ожидания и удовлетворяет потребности клиентов напрямую, а не через посредников [9, с. 503]. Из этого следует, что цифровое пространство становится новой средой обитания человека и поэтому должно быть комфортным и понятным для него.
Сделать цифровое пространство комфортным и понятным позволяет доступ к накопленной информации о пользователях, конкурентах, рынке и бизнесе, которая должна агрегироваться и систематизироваться профильными специалистами для того, чтобы под сегменты аудитории они могли разрабатывать и тестировать через диджитал-инструменты различные варианты вербальных и визуальных коммуникаций и оценивать результирующее взаимодействие аудитории с брендом через сравнение показателей эффективности [2, с. 14-15; 8, с. 317-322; 14, p. 142]. И продвинутые профильные компании для тестирования используют метод маркетинговых исследований – A/B тестирование.
Цель исследования
Раскрыть теоретические основы A/B тестирования, как инструмента совершенствования и оценки взаимодействия бренда с потребителями в диджитал-среде.
Методы исследования
В качестве методов исследования использовались наблюдение, интервью, сравнение, измерение, анализ и синтез.
Результаты исследования и их обсуждение
A/B тестирование позволяет усовершенствовать процесс взаимодействия бренда с потребителями благодаря проверке гипотез бизнеса относительно того, какие изменения в точках контакта с пользователями способны увеличить ключевые показатели.
Благодаря A/B тестированию можно проверять эффективность изменений на сайте, в приложении, рекламных баннеров, текстов рекламных сообщений контекстной рекламы, в email-маркетинге и т.д.
Соответственно, эффективность вносимых изменений оценивается разными показателями, например: конверсионностью форм, кнопок, рекламы (CR); CTR, CPO, ДРР, посещаемостью сайта, значением показателя отказов, объемами онлайн-продаж, выручки, прибыли и т.д.
На текущий момент A/B тестирование считается достоверным инструментом для принятия решений относительно внесения изменений в точки контакта с потребителями в диджитал среде, так как решения принимаются не субъективно, а благодаря данным, полученным в результате проведения экспериментов.
Анализ результатов интервью с менеджерами продаж компаний kokocgroup.ru и texterra.ru, а также статей профильных агентств о практике реализации A/B тестирования показал, что гипотезы для экспериментов выдвигаются двумя способами:
Таким образом нарушаются правила реализации A/B-тестирования, как метода маркетинговых исследований в существующей его форме, который включает в себя перед запуском экспериментов подробное исследование целевой аудитории. Также упускаются возможности, которые можно было бы привнести в рассматриваемый метод маркетинговых исследований за счет бренд-маркетинга. Это означает, что на текущий момент времени не раскрывается весь потенциал A/B тестирования, полнота результатов подвергается сомнению.
Также в результате анализа деятельности и публикаций агентств, которые занимаются улучшением юзабилити сайтов, приложений и проводят тестирования (A/B-тестирования, в частности) удалось выяснить, что они формируют свод правил, подкрепленные кейсами, по расположению элементов на сайте, по цветовым решениям и т.д., которые способны привести к увеличению конверсионных показателей. Например, существует электронный учебник «Конверсия на стероидах», в котором 2 000 часов исследований пользовательского опыта преобразованы в 122 точки роста конверсии для сайтов, интернет-магазинов, лендингов и т.д.
Использование такой информации в экспериментах возможно, однако специалисты переступают грань идентичности. В погоне за результатами они упускают айдентику – визуальную составляющую бренда, которая повышает его узнаваемость и создает впечатление целостности в сознании потребителей [1, с. 70-82; 5, с. 34-37; 10, с. 194-212]. Следовательно это приводит к тому, что бренды в диджитал среде становятся похожими друг на друга.
По мнению Андрея Малеваник – арт-директора и куратора образовательных программ в CONTENTED EDUCATION «функциональность убила дизайн, красоту и индивидуальность» [6].
И если взглянуть на тренды современности, то потребитель становится все более искушенным. На первое место для него стали выходить эмоции и чувства, которые связаны с брендом; ценности, которые разделяет бренд; его характер и т.д. [3, с. 76-81; 4, с. 198-203]. Из этого следует, что бренд во всех точках контакта с потребителями должен быть консистентным и передавать единые смыслы.
Таким образом, в существующей ситуации диджитализации тема модернизации метода A/B тестирования, как инструмента совершенствования и оценки взаимодействия бренда с потребителями в диджитал-среде, на основе бренд-маркетинга является весьма актуальной.
Одной из потребностей, которую закрывает диджита-среда для пользователя – это помощь в нахождении брендов, которые разделяют его ценности. Пользователь воспринимает данную информацию через восприятие коммуникаций, которые транслирует бренд.
Компании при принятии управленческих решений относительно построения коммуникационной стратегии со своей аудиторией в диджитал-среде обращаются к услугам рекламных, брендинговых агентств, которые продвигают бренды в цифровой среде. Компании стремятся принимать решения на основе данных, однако они вынуждены рисковать, так как далеко не каждое агентство способно оценить экономическую эффективность своих предложений. Решению этого вопроса как раз способствует A/B тестирование.
A/B тестирование – это метод маркетингового исследования, суть которого заключается в сравнении контрольной группы элементов с набором или наборами тестовых групп (все сравниваемые группы различаются между собой) с целью выяснения какая из групп улучшает целевой показатель.
Благодаря методу проводятся контролируемые эксперименты, которые предоставляют наиболее надежный и чувствительный механизм для оценки вносимых изменений.
A/B тестирование принято использовать для:
Любой тест проводится с определенной целью. Поэтому первым этапом является формулирование целей. К целям A/B тестирования можно отнести: увеличение заявок с сайта; увеличения количества регистраций; рост конверсий (переходы, звонки, отправка форм); улучшение поведенческих факторов:
Следующий этап – формулирование гипотез. Гипотеза – это утверждение, которое проверяется опытным путем. Примерами гипотез могут быть:
Существует продвинутая формула для формулирования гипотез:
Как было замечено ранее, хорошая гипотеза формулируется на основе результатов качественных и количественных данных.
Качественные данные выявляют проблемы, с которыми сталкиваются пользователи, а количественные подтверждают их. В первую очередь необходимо решать проблемы большинства, то есть акцентировать внимание не на частные случаи, а на общие.
На этом этапе аналитики исследуют поведение пользователей, выявляют особенности продукта и находят узкие места.
Количественные данные хорошо рассматривать через:
После того, как выявлены узкие места продукта, переходят к подробному исследованию найденных проблем. Для этого подбирают оптимальный набор количественных и качественных методов: очные и дистанционные юзабилити-исследования, глубинные интервью, фокус-группы, включенные наблюдения и т.д. Методов много, поэтому в процессе их выбора важно исходить из бизнес-задачи и выбрать оптимальные решения.
Следующий этап – это проверка гипотез через запуск экспериментов.
Существуют специальные сервисы и программы для проведения экспериментов, которые будут подробно описаны ниже.
Если рассматривать устройство эксперимента (см. рисунок 1), то 100% трафика сайта рандомно разделяется равномерно на две или более групп (в зависимости от количества сравниваемых версий сайта).
Одна из групп называется «Контрольная группа» – это группа пользователей, которые видят версию без изменений, следующие группы пользователей можно назвать «Тестовые группы», так как они видят тестируемые версии сайта, т.е. версии, которые были подвержены изменениям.
Согласно правилам тестирования группы пользователей при соприкосновении с сайтом будут всегда видеть только одну версию сайта.
При принятии решения о целесообразности проведения A/B тестов важно определить объем необходимого трафика. Бывают случаи, когда посетителей сайта недостаточно, чтобы запустить эксперимент.
Для расчета требуемого количества пользователей используют специальные калькуляторы, например калькулятор Эвана Миллера (см. рисунок 2).
В калькуляторе указывается существующая конверсия и прирост конверсии, который необходимо получить. На выходе калькулятор показывает количество пользователей необходимое для проверки одной версии сайта. Так, в примере текущий коэффициент конверсии составляет 3%, и есть задача увеличить его на 10%. Калькулятор показывает, что для этого каждый вариант сайта должно посмотреть около 30 тыс. пользователей.
Результирующее количество пользователей в калькуляторе необходимо сравнить с трафиком пользователей, который фиксируют аналитические системы (см. рисунок 3), чтобы рассчитать примерное время эксперимента.
Средняя продолжительность теста составляет 1,5 месяца. Тест может закончиться гораздо быстрее, ключевым фактором скорости проведения эксперимента является объем трафика. Если трафик сайта большой, то это может гарантировать достижение результатов экспериментов за короткий срок.
Специалисты могут манипулировать количеством тестируемых версий сайта, от этого также будет зависеть скорость проведения экспериментов. Специальные сервисы и программы в течение эксперимента сравнивают и анализируют поведение пользователей и затем предоставляют финальный результат эксперимента, который дает ответ относительно достоверности проверяемой гипотезы – это и есть 4-й этап тестирования: сравнение поставленной цели с достигнутыми результатами.
В Интернете можно увидеть большое количество историй успеха проведения A/B тестов, однако отрицательные результаты принято замалчивать, что приводит к тому, что заказчики А/Б тестов от каждого эксперимента ждут положительных результатов. В этом ключе стоит обратить внимание на то, что: большинство экспериментов – провальные; эксперименты с большим эффектом – редки; маленькие изменения могут привести к большим результатам.
При постановке экспериментов необходимо понимать, что может являться объектом изменений:
Если существует необходимость в оптимизации сайта, то A/B тестирование – отличное решение, так как позволяет:
Выводы
На текущий момент времени A/B тестирование – это востребованный и широкий в применении метод маркетингового исследования, улучшающий взаимодействие бренда с потребителями, суть которого заключается в сравнении контрольной группы элементов с набором или наборами тестовых групп (все сравниваемые группы различаются между собой) с целью выяснения какая из групп улучшает целевой показатель.
Проведение A/B тестов в существующей форме приводит к результатам. Однако весь потенциал метода не раскрыт. Усовершенствованный метод A/B тестирования предполагает переход к формулированию гипотез только после того, как пройден исследовательский этап, сформированный из анализа: целевой аудитории; конкурентов; бизнеса; рынка; визуальных трендов.
Список литературы
References
Рецензент:
Рудакова Ольга Викторовна – ФГБОУ ВО «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации», Среднерусский институт управления, Орел, Россия (302028, г. Орел, бульвар Победы, д. 5А), доктор экономических наук, профессор кафедры менеджмента и государственного управления, rudakova71@yandex.ru.
Rudakova Olga Viktorovna - Russian Presidential Academy of National Economy and Public Administration, Central Russian Institute of Management, Orel, Russia (302028, Orel, Pobedy Boulevard, 5A), Doctor of Economics, Professor of the Department of Management and Public Administration, rudakova71@yandex.ru.
Работа поступила в редакцию: 10.10.2021 г.
Образец ссылки на эту статью: Мальцева Е.С., Рахманова А.Ю. Теоретические аспекты A/B тестирования и практика реализации российской экономике // Бизнес и дизайн ревю. 2021. № 4 (24). С. 1.
УДК 339.138
ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ A/B ТЕСТИРОВАНИЯ И ПРАКТИКА РЕАЛИЗАЦИИ
Мальцева Елена Сергеевна
АНО ВО «Институт бизнеса и дизайна», Москва, Россия (129090, Москва, Протопоповский переулок, 9), зав. кафедрой менеджмента и маркетинга, кандидат экономических наук, доцент, Maltsevs1@mail.ru +7(495) 684-25-26, 109.
Рахманова Алиса Юрьевна
АНО ВО «Институт бизнеса и дизайна», Москва, Россия (129090, Москва, Протопоповский переулок, 9), магистр, профиль «Бренд-менеджмент», alisa-rax@mail.ru
Аннотация. Статья посвящена метода маркетинговых исследований – A/B тестированию. Цель исследования - раскрыть теоретические основы A/B тестирования, как инструмента совершенствования и оценки взаимодействия бренда с потребителями в диджитал-среде. Методы исследования: наблюдение, интервью, сравнение, измерение, анализ и синтез. Авторы показывают, как A/B тестирование способно помочь компаниям при принятии управленческих решений относительно построения коммуникационной стратегии. Показано, что A/B следует использовать для снижения рисков и возможности терпеть неудачи быстрее, только не в реальности, а в режиме теста; получения знания, что работает, а что нет; внесения изменений в режиме реального времени. Главный научный результат: авторы пришли к выводу, что на текущий момент времени весь потенциал A/B тестирования раскрывается неполностью.
Ключевые слова: A/B тестирование; маркетинговое исследование; диджитал-инструменты; бренд.
THEORETICAL ASPECTS OF A / B TESTING AND IMPLEMENTATION PRACTICE
Maltseva Elena Sergeevna
Institute of Business and Design (B&D), Moscow, Russia (129090, Moscow Protopopovskiy lane, 9), candidate of economic Sciences, The Head of the Department of Management and Marketing, Maltsevs1@mail.ru, +7(495) 684-25-26, 109.
Rakhmanova Alisa Yurevna
Institute of Business and Design (B&D), Moscow, Russia (129090, Moscow, Protopopovskiy lane, 9), Master, «Brand Management», alisa-rax@mail.ru
Abstract. The article is devoted to the method of marketing research - A / B testing. The purpose of the study is to reveal the theoretical foundations of A / B testing as a tool for improving and assessing brand interaction with consumers in a digital environment. Research methods: observation, interview, comparison, measurement, analysis and synthesis. The authors show how A / B testing can help companies make management decisions about building a communication strategy. It has been shown that A / B should be used to reduce risks and the ability to fail faster, not in reality, but in a test mode; gaining knowledge of what works and what doesn't; making changes in real time. The main scientific result: the authors came to the conclusion that at the current moment in time, the full potential of A / B testing is not fully revealed.
Key words: A / B testing; marketing research; digital tools; brand.
Введение
Согласно результатам исследования креативного агентства We Are Social 2020 г. в России среднестатистический пользователь ежедневно проводил в Интернете 7 часов 17 минут, то есть более четверти своей жизни [11]. Это говорит о том, что для многих видов бизнеса России Интернет стал если не основным каналом продаж, то одной из самых важных точек взаимодействия с аудиторией.
Основываясь на результатах анализа трендов электронной коммерции 2019-2020 гг., главной целью деятельности брендов в цифровом пространстве является продажа. Компании всеми инструментами среды пытаются привлечь к себе внимание аудитории (особенно той, которая ранее имела опыт покупок у бренда), используя накопленные данные о ней. Потребители, в свою очередь, в основном приходят в Интернет за поиском определенного контента. И они готовы вовлекаться во взаимодействие с брендом и совершать покупки, если активность бренда ненавязчива, он проявляет персонализированный подход в коммуникациях, оправдывает ожидания и удовлетворяет потребности клиентов напрямую, а не через посредников [9, с. 503]. Из этого следует, что цифровое пространство становится новой средой обитания человека и поэтому должно быть комфортным и понятным для него.
Сделать цифровое пространство комфортным и понятным позволяет доступ к накопленной информации о пользователях, конкурентах, рынке и бизнесе, которая должна агрегироваться и систематизироваться профильными специалистами для того, чтобы под сегменты аудитории они могли разрабатывать и тестировать через диджитал-инструменты различные варианты вербальных и визуальных коммуникаций и оценивать результирующее взаимодействие аудитории с брендом через сравнение показателей эффективности [2, с. 14-15; 8, с. 317-322; 14, p. 142]. И продвинутые профильные компании для тестирования используют метод маркетинговых исследований – A/B тестирование.
Цель исследования
Раскрыть теоретические основы A/B тестирования, как инструмента совершенствования и оценки взаимодействия бренда с потребителями в диджитал-среде.
Методы исследования
В качестве методов исследования использовались наблюдение, интервью, сравнение, измерение, анализ и синтез.
Результаты исследования и их обсуждение
A/B тестирование позволяет усовершенствовать процесс взаимодействия бренда с потребителями благодаря проверке гипотез бизнеса относительно того, какие изменения в точках контакта с пользователями способны увеличить ключевые показатели.
Благодаря A/B тестированию можно проверять эффективность изменений на сайте, в приложении, рекламных баннеров, текстов рекламных сообщений контекстной рекламы, в email-маркетинге и т.д.
Соответственно, эффективность вносимых изменений оценивается разными показателями, например: конверсионностью форм, кнопок, рекламы (CR); CTR, CPO, ДРР, посещаемостью сайта, значением показателя отказов, объемами онлайн-продаж, выручки, прибыли и т.д.
На текущий момент A/B тестирование считается достоверным инструментом для принятия решений относительно внесения изменений в точки контакта с потребителями в диджитал среде, так как решения принимаются не субъективно, а благодаря данным, полученным в результате проведения экспериментов.
Анализ результатов интервью с менеджерами продаж компаний kokocgroup.ru и texterra.ru, а также статей профильных агентств о практике реализации A/B тестирования показал, что гипотезы для экспериментов выдвигаются двумя способами:
- На основе интуиции и личного опыта, не имея исследовательской доказательной базы для своих действий по отношению к конкретному клиенту. В качестве примера можно привести формулировки на сайте агентства bdbd.ru, которое входит в KOKOC GROUP: «…Наше решение — это интуитивное предположение о том, что…», «…Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса...» [12].
- Только на основе поверхностного анализа сомнительной потенциальной аудитории клиента (качественные и количественные исследования на нерепрезентативной выборке – без установленных критериев отбора).
Таким образом нарушаются правила реализации A/B-тестирования, как метода маркетинговых исследований в существующей его форме, который включает в себя перед запуском экспериментов подробное исследование целевой аудитории. Также упускаются возможности, которые можно было бы привнести в рассматриваемый метод маркетинговых исследований за счет бренд-маркетинга. Это означает, что на текущий момент времени не раскрывается весь потенциал A/B тестирования, полнота результатов подвергается сомнению.
Также в результате анализа деятельности и публикаций агентств, которые занимаются улучшением юзабилити сайтов, приложений и проводят тестирования (A/B-тестирования, в частности) удалось выяснить, что они формируют свод правил, подкрепленные кейсами, по расположению элементов на сайте, по цветовым решениям и т.д., которые способны привести к увеличению конверсионных показателей. Например, существует электронный учебник «Конверсия на стероидах», в котором 2 000 часов исследований пользовательского опыта преобразованы в 122 точки роста конверсии для сайтов, интернет-магазинов, лендингов и т.д.
Использование такой информации в экспериментах возможно, однако специалисты переступают грань идентичности. В погоне за результатами они упускают айдентику – визуальную составляющую бренда, которая повышает его узнаваемость и создает впечатление целостности в сознании потребителей [1, с. 70-82; 5, с. 34-37; 10, с. 194-212]. Следовательно это приводит к тому, что бренды в диджитал среде становятся похожими друг на друга.
По мнению Андрея Малеваник – арт-директора и куратора образовательных программ в CONTENTED EDUCATION «функциональность убила дизайн, красоту и индивидуальность» [6].
И если взглянуть на тренды современности, то потребитель становится все более искушенным. На первое место для него стали выходить эмоции и чувства, которые связаны с брендом; ценности, которые разделяет бренд; его характер и т.д. [3, с. 76-81; 4, с. 198-203]. Из этого следует, что бренд во всех точках контакта с потребителями должен быть консистентным и передавать единые смыслы.
Таким образом, в существующей ситуации диджитализации тема модернизации метода A/B тестирования, как инструмента совершенствования и оценки взаимодействия бренда с потребителями в диджитал-среде, на основе бренд-маркетинга является весьма актуальной.
Одной из потребностей, которую закрывает диджита-среда для пользователя – это помощь в нахождении брендов, которые разделяют его ценности. Пользователь воспринимает данную информацию через восприятие коммуникаций, которые транслирует бренд.
Компании при принятии управленческих решений относительно построения коммуникационной стратегии со своей аудиторией в диджитал-среде обращаются к услугам рекламных, брендинговых агентств, которые продвигают бренды в цифровой среде. Компании стремятся принимать решения на основе данных, однако они вынуждены рисковать, так как далеко не каждое агентство способно оценить экономическую эффективность своих предложений. Решению этого вопроса как раз способствует A/B тестирование.
A/B тестирование – это метод маркетингового исследования, суть которого заключается в сравнении контрольной группы элементов с набором или наборами тестовых групп (все сравниваемые группы различаются между собой) с целью выяснения какая из групп улучшает целевой показатель.
Благодаря методу проводятся контролируемые эксперименты, которые предоставляют наиболее надежный и чувствительный механизм для оценки вносимых изменений.
A/B тестирование принято использовать для:
- снижения рисков и возможности терпеть неудачи быстрее, только не в реальности, а в режиме теста. Можно доказать влияние новых функций, улучшений производительности и других элементов на целевые показатели, прежде чем развертывать их для всех пользователей;
- получения знания, что работает, а что нет. Статистически значимые результаты в режиме реального времени позволяют быстрее принимать решения о целесообразности внедрения изменений в цифровой продукт. Также можно узнать, экспериментируя, какая идея лучше всего работает независимо от того, кому из команды она принадлежит;
- внесения изменений в режиме реального времени. Можно обновлять приложение удаленно и экспериментировать в режиме реального времени, избегая сложные и длительные циклы запуска.
Любой тест проводится с определенной целью. Поэтому первым этапом является формулирование целей. К целям A/B тестирования можно отнести: увеличение заявок с сайта; увеличения количества регистраций; рост конверсий (переходы, звонки, отправка форм); улучшение поведенческих факторов:
- уменьшение коэффициента отказов;
- увеличение среднего времени, проводимого на сайте;
- увеличение среднего количества просматриваемых страниц;
- изменение пути пользователя согласно сценарию создателей.
Следующий этап – формулирование гипотез. Гипотеза – это утверждение, которое проверяется опытным путем. Примерами гипотез могут быть:
- уменьшение количества полей в форме приведет к увеличению заявок;
- изменение цвета и формы кнопки приведет к увеличению кликабельности;
- использование нового баннера позволит увеличить продажи товара;
- изменение контента сайта позволит снизить коэффициент отказов и увеличить среднее время на сайте.
Существует продвинутая формула для формулирования гипотез:
- так как были получены (качественные и количественные данные);
- ожидается, что (изменение) на сайте вызовет (эффект);
- ожидается увидеть (изменение метрик данных) за (период).
Как было замечено ранее, хорошая гипотеза формулируется на основе результатов качественных и количественных данных.
Качественные данные выявляют проблемы, с которыми сталкиваются пользователи, а количественные подтверждают их. В первую очередь необходимо решать проблемы большинства, то есть акцентировать внимание не на частные случаи, а на общие.
На этом этапе аналитики исследуют поведение пользователей, выявляют особенности продукта и находят узкие места.
Количественные данные хорошо рассматривать через:
- воронку (позволяет проанализировать поведение пользователей на сайте. Стоит отметить важность разделения пользователей на кластеры, чтобы подметить проблемы определенных групп пользователей, которые имеют схожее поведение);
- динамику (позволяет отличить случайные колебания в данных от статистически значимого роста и падения ключевых метрик);
- когорты (не все пользователи, пришедшие на продукт, сразу же совершают целевое действие, будь то заполнение анкеты, покупка товара или приобретение услуги. Уход человека с одного из шагов воронки еще не говорит о наличии проблемы. Скорее всего, клиент просто ушел подумать или поискать альтернативные предложения. Построение когорт способно показать реальную картину прохождения воронки и возвращения пользователей на отдельные этапы. При построении когорт также важно проводить сегментацию. Движение пользователя на сайте чаще всего нелинейное. Пользователь за один сеанс может перемещаться вперед-назад, повторять свои посещения и т.д.)
После того, как выявлены узкие места продукта, переходят к подробному исследованию найденных проблем. Для этого подбирают оптимальный набор количественных и качественных методов: очные и дистанционные юзабилити-исследования, глубинные интервью, фокус-группы, включенные наблюдения и т.д. Методов много, поэтому в процессе их выбора важно исходить из бизнес-задачи и выбрать оптимальные решения.
Следующий этап – это проверка гипотез через запуск экспериментов.
Существуют специальные сервисы и программы для проведения экспериментов, которые будут подробно описаны ниже.
Если рассматривать устройство эксперимента (см. рисунок 1), то 100% трафика сайта рандомно разделяется равномерно на две или более групп (в зависимости от количества сравниваемых версий сайта).
Одна из групп называется «Контрольная группа» – это группа пользователей, которые видят версию без изменений, следующие группы пользователей можно назвать «Тестовые группы», так как они видят тестируемые версии сайта, т.е. версии, которые были подвержены изменениям.
Согласно правилам тестирования группы пользователей при соприкосновении с сайтом будут всегда видеть только одну версию сайта.
При принятии решения о целесообразности проведения A/B тестов важно определить объем необходимого трафика. Бывают случаи, когда посетителей сайта недостаточно, чтобы запустить эксперимент.
Для расчета требуемого количества пользователей используют специальные калькуляторы, например калькулятор Эвана Миллера (см. рисунок 2).
В калькуляторе указывается существующая конверсия и прирост конверсии, который необходимо получить. На выходе калькулятор показывает количество пользователей необходимое для проверки одной версии сайта. Так, в примере текущий коэффициент конверсии составляет 3%, и есть задача увеличить его на 10%. Калькулятор показывает, что для этого каждый вариант сайта должно посмотреть около 30 тыс. пользователей.
Результирующее количество пользователей в калькуляторе необходимо сравнить с трафиком пользователей, который фиксируют аналитические системы (см. рисунок 3), чтобы рассчитать примерное время эксперимента.
Средняя продолжительность теста составляет 1,5 месяца. Тест может закончиться гораздо быстрее, ключевым фактором скорости проведения эксперимента является объем трафика. Если трафик сайта большой, то это может гарантировать достижение результатов экспериментов за короткий срок.
Специалисты могут манипулировать количеством тестируемых версий сайта, от этого также будет зависеть скорость проведения экспериментов. Специальные сервисы и программы в течение эксперимента сравнивают и анализируют поведение пользователей и затем предоставляют финальный результат эксперимента, который дает ответ относительно достоверности проверяемой гипотезы – это и есть 4-й этап тестирования: сравнение поставленной цели с достигнутыми результатами.
В Интернете можно увидеть большое количество историй успеха проведения A/B тестов, однако отрицательные результаты принято замалчивать, что приводит к тому, что заказчики А/Б тестов от каждого эксперимента ждут положительных результатов. В этом ключе стоит обратить внимание на то, что: большинство экспериментов – провальные; эксперименты с большим эффектом – редки; маленькие изменения могут привести к большим результатам.
При постановке экспериментов необходимо понимать, что может являться объектом изменений:
- макет и дизайн страницы;
- текст (например, заголовок и описание продукта, формы обращения, наполнение сайта);
- размеры, внешний вид, расположение конверсионных кнопок и форм;
- элементы бизнес-предложения (цена, изображение товаров, характеристики и т.д.);
- количество текста на странице;
- другие элементы.
Если существует необходимость в оптимизации сайта, то A/B тестирование – отличное решение, так как позволяет:
- увеличить конверсию;
- оптимизировать вовлеченность посетителей по отношению к бренду через исключительный пользовательский опыт;
- узнать и понять посетителей после каждого теста, анализируя влияние комбинаций различных элементов на их поведение;
- принимать решения на основе надежных данных и статистики, а не на субъективной оценке, тем самым минимизируя риски;
- оптимизировать бюджет и затраты времени.
Выводы
На текущий момент времени A/B тестирование – это востребованный и широкий в применении метод маркетингового исследования, улучшающий взаимодействие бренда с потребителями, суть которого заключается в сравнении контрольной группы элементов с набором или наборами тестовых групп (все сравниваемые группы различаются между собой) с целью выяснения какая из групп улучшает целевой показатель.
Проведение A/B тестов в существующей форме приводит к результатам. Однако весь потенциал метода не раскрыт. Усовершенствованный метод A/B тестирования предполагает переход к формулированию гипотез только после того, как пройден исследовательский этап, сформированный из анализа: целевой аудитории; конкурентов; бизнеса; рынка; визуальных трендов.
Список литературы
- Бурова А.М. Визуальная идентификация бренда и ее адаптация к онлайн-среде // Интернет-маркетинг. 2019. № 1. С. 70-82.
- Быстренина И.Е., Сычева И.Н. Использование CASE-средства OPEN MODELSPHERE для решения задач анализа и проектирования информационных систем // Управление рисками в АПК. 20ин20. № 3(37). С. 14-23.
- Васильева И.В. Особенности создания ценности бренда // Modern Science. 2019. № 10-2. С. 76-81.
- Дубинина М.А., Ерицян Р.Г., Тюпляева В.А. Категория ценности в системе идентичности бренда // Экономика устойчивого развития. 2019. № 3 (39). С. 198-203.
- Галкина С.В. Айдентика и ее значение в формировании имиджа // Международный научный студенческий журнал. 2020. № 11. С. 34-37.
- Малеваник А. Красивый интерфейс — что это такое? URL: http://files.runet-id.com/2019/riw/presentations/13dec.riw19-mac-1630--malevanik.pdf (дата обращения: 01.03.2021)
- Миллер Э. Калькулятор для A/B тестирования. URL: https://www.evanmiller.org/ab-testing/sample-size.html (дата обращения: 09.10.2021)
- Петрушкина Е.И. Диджитал-инструменты формирования лояльности потребителей // Актуальные вопросы современной экономики. 2021. № 5. С. 317-322.
- Рахманова А.Ю. Диджитал-среда как место обитания людей и брендов // Молодой ученый. 2020. № 49 (339). С. 503-508.
- Паршин П.Б. Креатив в локусном брендинге: атрибуты и айдентика // Реклама: теория и практика. 2012. № 4. С. 194-212.
- Сергеева Ю. Вся статистика интернета на 2020 год - цифры и тренды в мире и в России. URL: https://www.web-canape.ru/business/internet-2020-globalnaya-statistika-i-trendy/ (дата обращения: 24.04.2021)
- RU: А-Б тестирование. Определяйте успешный вариант, основываясь на данных, а не на предположениях [Электронный ресурс]. URL: https://www.bdbd.ru/web-analitika/ab_test/ (дата обращения: 09.10.2021).
- Google analytics: Merchandise Store [Электронный ресурс]. URL: https://analytics.google.com/analytics/web/#/report-home/a54516992w87479473p90822334 (дата обращения: 11.04.2021)
- Stepanova E.A. Digital as a Tool for Small Business Development // Тенденции развития науки и образования. 2021. № 73-4. С. 142-144.
References
- Burova A.M. Vizualnaya identifikatsiya brenda i yeye adaptatsiya k onlayn-srede (Visual brand identity and its adaptation to the online environment), Internet-marketing, 2019, no 1, pp. 70-82.
- Bystrenina I.E., Sycheva I.N. Ispolzovanie CASE-sredstva OPEN MODELSPHERE dlya resheniya zadach analiza i proektirovaniya informatsionnykh system (Using the OPEN MODELSPHERE CASE-tool for solving problems of analysis and design of information systems), Upravlenie riskami v APK. 2020, no 3(37), pp. 14-23.
- Vasilyeva I.V. Osobennosti sozdaniya tsennosti Brenda (Features of creating brand value), Modern Science, 2019, no 10-2, pp. 76-81.
- Dubinina M.A., Yeritsyan R.G., Tyuplyayeva V.A. Kategoriya tsennosti v sisteme identichnosti Brenda (Value category in the brand identity system), Ekonomika ustoychivogo razvitiya, 2019, no 3 (39), pp. 198-203.
- Galkina S.V. Aydentika i yeye znacheniye v formirovanii imidzha (Identity and its importance in the formation of the image), Mezhdunarodnyy nauchnyy studencheskiy zhurnal, 2020, no 11, pp. 34-37.
- Malevanik A. Krasivyy interfeys — chto eto takoye? (A beautiful interface - what is it?) URL: http://files.runet-id.com/2019/riw/presentations/13dec.riw19-mac-1630--malevanik.pdf (data obrashcheniya: 01.03.2021)
- Miller E. Kalkulyator dlya A/B testirovaniya (A / B Testing Calculator). URL: https://www.evanmiller.org/ab-testing/sample-size.html (data obrashcheniya: 09.10.2021)
- Petrushkina Ye.I. Didzhital-instrumenty formirovaniya loyalnosti potrebiteley (Digital tools for building customer loyalty), Aktualnyye voprosy sovremennoy ekonomiki, 2021, no 5, pp. 317-322.
- Rakhmanova A.Yu. Didzhital-sreda kak mesto obitaniya lyudey i brendov (Digital environment as a habitat for people and brands), Molodoy uchenyy, 2020, no 49 (339), pp. 503-508.
- Parshin P.B. Kreativ v lokusnom brendinge: atributy i aydentika (Locus Branding Creativity: Attributes and Identity), Reklama: teoriya i praktika, 2012, no 4, pp. 194-212.
- Sergeyeva Yu. Vsya statistika interneta na 2020 god - tsifry i trendy v mire i v Rossii (All Internet statistics for 2020 - numbers and trends in the world and in Russia). URL: https://www.web-canape.ru/business/internet-2020-globalnaya-statistika-i-trendy/ (data obrashcheniya: 24.04.2021)
- RU: A-B testirovaniye. Opredelyayte uspeshnyy variant, osnovyvayas na dannykh, a ne na predpolozheniyakh [Elektronnyy resurs] (BDBD.RU: AB testing. Define a Successful Option Based on Data, Not Assumptions). URL: https://www.bdbd.ru/web-analitika/ab_test/ (data obrashcheniya: 09.10.2021).
- Google analytics: Merchandise Store [Elektronnyy resurs]. URL: https://analytics.google.com/analytics/web/#/report-home/a54516992w87479473p90822334 (data obrashcheniya: 11.04.2021)
- Stepanova E.A. Digital as a Tool for Small Business Development, Tendentsii razvitiya nauki i obrazovaniya, 2021, no 73-4, pp. 142-144.
Рецензент:
Рудакова Ольга Викторовна – ФГБОУ ВО «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации», Среднерусский институт управления, Орел, Россия (302028, г. Орел, бульвар Победы, д. 5А), доктор экономических наук, профессор кафедры менеджмента и государственного управления, rudakova71@yandex.ru.
Rudakova Olga Viktorovna - Russian Presidential Academy of National Economy and Public Administration, Central Russian Institute of Management, Orel, Russia (302028, Orel, Pobedy Boulevard, 5A), Doctor of Economics, Professor of the Department of Management and Public Administration, rudakova71@yandex.ru.
Работа поступила в редакцию: 10.10.2021 г.
