Оценка успеха маркетинговых кампаний на вебсайте

Опубликовано: Октябрь 11, 2024

Для оценки успеха маркетинговых кампаний, проводимых на сайте электронной коммерции важно собирать правильные данные, определять релевантные метрики и устанавливать четкие критерии успешности. В данной статье представлен обзор ключевых метрик, используемых для оценки эффективности маркетинговых кампаний, включая финансовые показатели и показатели вовлеченности пользователей. Также приводятся примеры использования статистических методов для анализа результатов кампаний и построения отчетов.

Сбор данных

Необходимо собирать данные в двух основных категориях: финансовые показатели и поведение пользователей. Основным способом сбора данных является использование аналитических инструментов с применением следующих методов:

  • Токен атрибуции: Необходимо использовать специализированные метки ("токены атрибуции") для отслеживания источников и дополнительных факторов конверсий. Все события взаимодействия с компанией, все клики на рекламу, прохождения воронки заказа и события покупки должны собираться в аналитическую систему и быть привязаны к токену атрибуции и возможным дополнительным факторам.
  • A/B тестирование: Статистический анализ для сравнения различных версий кампаний с контрольной группой. Как правило группы для сравнения разбиваются на уровне пользовательских параметров, но также могут использоваться другие методы, например, разбиение на уровне просмотра рекламной кампании. Группы могут формироваться либо с помощью случайного разбиения на основе данных о пользователях с заранее определенным алгоритмом, либо на основе уже собранных данных с разбиением по токену атрибуции.
  • Сегментация данных: Группировка пользователей по различным параметрам для анализа и сравнения результатов. Помимо более детальной оценки результатов дополнительно это может способствовать ускорению A/B тестов за счет методов уменьшения дисперсии.

Выбор метрик

Необходимо отслеживать, как пользователи взаимодействуют с кампаниями, так и финансовые результаты, которые компании приносят. Важно выбрать метрики, которые наилучшим образом отражают эти аспекты.

Метрики финансовых показателей:
  • Полученная выручка: Прямая выручка (revenue), приписываемая кампании.
  • Возврат на инвестиции (ROI): Формула расчета в конкретном случае будет зависеть от схемы монетизации, в самом основном виде показатель рассчитывается как: $$\frac{\text{Выручка от кампании} - \text{Стоимость кампании}}{\text{Стоимость кампании}}$$.
  • Средний чек (AOV): Средняя сумма одной покупки, потраченная клиентами, которые взаимодействовали с кампанией.
  • ARPPU: Средняя выручка с одного платящего пользователя (Average Revenue Per Paying User) с токеном атрибуции кампании.
  • ARPU: Средняя выручка с пользователя (Average Revenue Per User) с токеном атрибуции кампании.
Метрики поведения пользователей:
  • Коэффициент конверсии (CR): Процент пользователей, совершивших покупку после взаимодействия с кампанией.
  • Коэффициент кликов (CTR): Процент пользователей, которые кликнули на промо-блок или продукт данной маркетинговой активности.
  • Коэффициент вовлеченности: Измеряет, как долго пользователи взаимодействуют с контентом кампании (время, количество просмотров).
  • Показатель отказов: Процент пользователей, которые кликнули на кампанию, но покинули сайт, не совершив дальнейших действий.
  • Анализ атрибуции: Откуда пришли пользователи совершившие покупку.

Оценка успеха кампании

Для оценки успешности кампании необходимо установить критерии, которые позволят определить, достигла ли кампания поставленных целей. Важно учитывать как финансовые показатели, так и показатели вовлеченности пользователей.

Критерии успешности кампании
  1. ROI > 0: Кампания должна приносить больше выручки, чем ее стоимость, чтобы считаться успешной.
  2. Коэффициент конверсии: Устанавливается некий базовый коэффициент конверсии на основе исторических данных. Если кампания показывает результаты лучше этого базового уровня, она считается успешной.
  3. Порог CTR: Преодолен минимально приемлемый CTR, который указывает на интерес пользователей к продвигаемым товарам.
  4. Рост выручки: Прирост выручки по сравнению с контрольной группой статистически значим.
  5. Результаты A/B тестов: Для подтверждения статистической значимости эффекта маркетинговых компаний можно использовать методику A/B тестов с применением соответствующих статистических критериев:

    • Выручка, ARPU/ARPPU: Для определения, является ли рост ARPU/ARPPU статзначимым можно использовать t-критерий Стьюдента/Уэлча.
    • Средний чек, AOV: Для определения, является ли рост AOV статзначимым можно использовать t-критерий Стьюдента/Уэлча с использованием дельта-метода.
    • Коэффициент конверсии: Для определения, является ли рост CR статзначимым можно использовать z-критерий для пропорций.
    • Коэффициент кликов, CTR: Для определения, является ли рост CTR статзначимым можно использовать t-критерий Стьюдента/Уэлча с использованием дельта-метода.
Примечание 1. Использование критерия Стьюдента
Известно, что нет математического доказательства того, что t-критерий Стьюдента можно использовать с ненормально распределенными данными. Однако, эмпирические исследования показывают, что при больших объемах выборки t-критерий Стьюдента/Уэлча работает для целого ряда ненормальных распределений, но естественно не для всех, о чем следует помнить.

Диаграмма взаимодействия основных метрик

Следующая диаграмма иллюстрирует четыре основных метрики и их взаимосвязи в рамках оценки рекламной кампании.

Формат статистического отчета

Отчет может быть представлен в виде табличных данных, например:

Метрики эффективности маркетинговых кампаний
Название компании CR (%) CR control (%) CTR (%) CTR control (%) ARPPU ARPPU control
Campaign A 4.2 3.0 2.5 2.0 500.00 420.00
Campaign B 2.8 3.0 1.9 2.0 400.00 420.00
Campaign C 3.5 3.0 2.1 2.0 450.00 420.00
Campaign D 3.0 3.0 2.01 2.0 420.00 420.00


Название компании CR Significance CTR Significance ARPPU Significance
lift (%) p-value
Статзначимо?
lift (%) p-value
Статзначимо?
lift (%) p-value
Статзначимо?
Campaign A 40.0 Да (p < 0.01) 25.0 Да (p < 0.05) 19.05 Да (p < 0.05)
Campaign B -6.67 Нет (p > 0.05) -5.0 Нет (p > 0.05) -4.76 Нет (p > 0.05)
Campaign C 16.67 Да (p < 0.05) 5.0 Да (p < 0.05) 7.14 Да (p < 0.05)
Campaign D 0 Нет (p = 1.00) 0.5 Нет (p = 0.91) 0.0 Нет (p = 1.00)


Сравнение маркетинговых кампаний с 95% доверительными интервалами
Campaign Name Conversion Rate (CR %) Click-Through Rate (CTR %) Average Revenue Per Paying User (ARPPU) Average Order Value (AOV)
Campaign A 4.2% (3.7%, 4.7%) 2.5% (2.3%, 2.7%) 500.00 (470.00, 530.00) 650.00 (610.00, 690.00)
Campaign B 2.8% (2.4%, 3.2%) 1.9% (1.8%, 2.0%) 400.00 (370.50, 420.50) 570.00 (540.00, 600.00)
Campaign C 3.5% (3.2%, 3.8%) 2.1% (1.9%, 2.3%) 450.00 (430.00, 470.00) 600.00 (560.50, 630.50)
Campaign D 3.0% (2.7%, 3.3%) 2.0% (1.9%, 2.1%) 420.00 (400.00, 440.00) 580.00 (550.50, 600.50)
Примечание 2. Доверительные интервалы для сравнения эффективности компаний
Нужно помнить, что, к примеру, 95% доверительный интервал для среднего значения означает, что с вероятностью 95% истинное значение параметра находится в указанном интервале, но не то, что с вероятностью 95% доверительные интервалы не пресекаются. Если мы хотим принимать решения на основе непересекающихся доверительных интервалов, то размер доверительного интервала для самой метрики будет отличаться.


Отслеживание динамики всех рекламных активностей в рамках одной группы

Заключение

В данной статье были рассмотрены основные метрики электронной коммерции для оценки эффективности маркетинговых кампаний на сайте. Оценка успешности кампании осуществляется на основе финансовых показателей и показателей вовлеченности пользователей. Для анализа результатов кампаний используются статистические методы, такие как A/B тестирование и сравнение с контрольной группой. Отчет о результатах кампании может быть представлен в виде табличных данных и графиков, что позволяет наглядно отслеживать динамику всех рекламных активностей в рамках одной группы.