Для оценки успеха маркетинговых кампаний, проводимых на сайте электронной коммерции важно собирать правильные данные, определять релевантные метрики и устанавливать четкие критерии успешности. В данной статье представлен обзор ключевых метрик, используемых для оценки эффективности маркетинговых кампаний, включая финансовые показатели и показатели вовлеченности пользователей. Также приводятся примеры использования статистических методов для анализа результатов кампаний и построения отчетов.
Сбор данных
Необходимо собирать данные в двух основных категориях: финансовые показатели и поведение пользователей. Основным способом сбора данных является использование аналитических инструментов с применением следующих методов:
- Токен атрибуции: Необходимо использовать специализированные метки ("токены атрибуции") для отслеживания источников и дополнительных факторов конверсий. Все события взаимодействия с компанией, все клики на рекламу, прохождения воронки заказа и события покупки должны собираться в аналитическую систему и быть привязаны к токену атрибуции и возможным дополнительным факторам.
- A/B тестирование: Статистический анализ для сравнения различных версий кампаний с контрольной группой. Как правило группы для сравнения разбиваются на уровне пользовательских параметров, но также могут использоваться другие методы, например, разбиение на уровне просмотра рекламной кампании. Группы могут формироваться либо с помощью случайного разбиения на основе данных о пользователях с заранее определенным алгоритмом, либо на основе уже собранных данных с разбиением по токену атрибуции.
- Сегментация данных: Группировка пользователей по различным параметрам для анализа и сравнения результатов. Помимо более детальной оценки результатов дополнительно это может способствовать ускорению A/B тестов за счет методов уменьшения дисперсии.
Выбор метрик
Необходимо отслеживать, как пользователи взаимодействуют с кампаниями, так и финансовые результаты, которые компании приносят. Важно выбрать метрики, которые наилучшим образом отражают эти аспекты.
Метрики финансовых показателей:
- Полученная выручка: Прямая выручка (revenue), приписываемая кампании.
- Возврат на инвестиции (ROI): Формула расчета в конкретном случае будет зависеть от схемы монетизации, в самом основном виде показатель рассчитывается как: $$\frac{\text{Выручка от кампании} - \text{Стоимость кампании}}{\text{Стоимость кампании}}$$.
- Средний чек (AOV): Средняя сумма одной покупки, потраченная клиентами, которые взаимодействовали с кампанией.
- ARPPU: Средняя выручка с одного платящего пользователя (Average Revenue Per Paying User) с токеном атрибуции кампании.
- ARPU: Средняя выручка с пользователя (Average Revenue Per User) с токеном атрибуции кампании.
Метрики поведения пользователей:
- Коэффициент конверсии (CR): Процент пользователей, совершивших покупку после взаимодействия с кампанией.
- Коэффициент кликов (CTR): Процент пользователей, которые кликнули на промо-блок или продукт данной маркетинговой активности.
- Коэффициент вовлеченности: Измеряет, как долго пользователи взаимодействуют с контентом кампании (время, количество просмотров).
- Показатель отказов: Процент пользователей, которые кликнули на кампанию, но покинули сайт, не совершив дальнейших действий.
- Анализ атрибуции: Откуда пришли пользователи совершившие покупку.
Оценка успеха кампании
Для оценки успешности кампании необходимо установить критерии, которые позволят определить, достигла ли кампания поставленных целей. Важно учитывать как финансовые показатели, так и показатели вовлеченности пользователей.
Критерии успешности кампании
- ROI > 0: Кампания должна приносить больше выручки, чем ее стоимость, чтобы считаться успешной.
- Коэффициент конверсии: Устанавливается некий базовый коэффициент конверсии на основе исторических данных. Если кампания показывает результаты лучше этого базового уровня, она считается успешной.
- Порог CTR: Преодолен минимально приемлемый CTR, который указывает на интерес пользователей к продвигаемым товарам.
- Рост выручки: Прирост выручки по сравнению с контрольной группой статистически значим.
-
Результаты A/B тестов: Для подтверждения статистической значимости эффекта маркетинговых компаний можно использовать методику A/B тестов с применением соответствующих статистических критериев:
- Выручка, ARPU/ARPPU: Для определения, является ли рост ARPU/ARPPU статзначимым можно использовать t-критерий Стьюдента/Уэлча.
- Средний чек, AOV: Для определения, является ли рост AOV статзначимым можно использовать t-критерий Стьюдента/Уэлча с использованием дельта-метода.
- Коэффициент конверсии: Для определения, является ли рост CR статзначимым можно использовать z-критерий для пропорций.
- Коэффициент кликов, CTR: Для определения, является ли рост CTR статзначимым можно использовать t-критерий Стьюдента/Уэлча с использованием дельта-метода.
Примечание 1. Использование критерия Стьюдента
Известно, что нет математического доказательства того, что t-критерий Стьюдента можно использовать с ненормально распределенными данными. Однако, эмпирические исследования показывают, что при больших объемах выборки t-критерий Стьюдента/Уэлча работает для целого ряда ненормальных распределений, но естественно не для всех, о чем следует помнить.
Диаграмма взаимодействия основных метрик
Следующая диаграмма иллюстрирует четыре основных метрики и их взаимосвязи в рамках оценки рекламной кампании.
Формат статистического отчета
Отчет может быть представлен в виде табличных данных, например:
Метрики эффективности маркетинговых кампаний
| Название компании |
CR (%) |
CR control (%) |
CTR (%) |
CTR control (%) |
ARPPU |
ARPPU control |
| Campaign A |
4.2 |
3.0 |
2.5 |
2.0 |
500.00 |
420.00 |
| Campaign B |
2.8 |
3.0 |
1.9 |
2.0 |
400.00 |
420.00 |
| Campaign C |
3.5 |
3.0 |
2.1 |
2.0 |
450.00 |
420.00 |
| Campaign D |
3.0 |
3.0 |
2.01 |
2.0 |
420.00 |
420.00 |
| Название компании |
CR Significance |
CTR Significance |
ARPPU Significance |
|
lift (%) |
p-value Статзначимо? |
lift (%) |
p-value Статзначимо? |
lift (%) |
p-value Статзначимо? |
| Campaign A |
40.0 |
Да (p < 0.01) |
25.0 |
Да (p < 0.05) |
19.05 |
Да (p < 0.05) |
| Campaign B |
-6.67 |
Нет (p > 0.05) |
-5.0 |
Нет (p > 0.05) |
-4.76 |
Нет (p > 0.05) |
| Campaign C |
16.67 |
Да (p < 0.05) |
5.0 |
Да (p < 0.05) |
7.14 |
Да (p < 0.05) |
| Campaign D |
0 |
Нет (p = 1.00) |
0.5 |
Нет (p = 0.91) |
0.0 |
Нет (p = 1.00) |
Сравнение маркетинговых кампаний с 95% доверительными интервалами
| Campaign Name |
Conversion Rate (CR %) |
Click-Through Rate (CTR %) |
Average Revenue Per Paying User (ARPPU) |
Average Order Value (AOV) |
| Campaign A |
4.2% (3.7%, 4.7%) |
2.5% (2.3%, 2.7%) |
500.00 (470.00, 530.00) |
650.00 (610.00, 690.00) |
| Campaign B |
2.8% (2.4%, 3.2%) |
1.9% (1.8%, 2.0%) |
400.00 (370.50, 420.50) |
570.00 (540.00, 600.00) |
| Campaign C |
3.5% (3.2%, 3.8%) |
2.1% (1.9%, 2.3%) |
450.00 (430.00, 470.00) |
600.00 (560.50, 630.50) |
| Campaign D |
3.0% (2.7%, 3.3%) |
2.0% (1.9%, 2.1%) |
420.00 (400.00, 440.00) |
580.00 (550.50, 600.50) |
Примечание 2. Доверительные интервалы для сравнения эффективности компаний
Нужно помнить, что, к примеру, 95% доверительный интервал для среднего значения означает, что с вероятностью 95% истинное значение параметра находится в указанном интервале, но не то, что с вероятностью 95% доверительные интервалы не пресекаются. Если мы хотим принимать решения на основе
непересекающихся доверительных интервалов, то размер доверительного интервала для самой метрики будет отличаться.
Отслеживание динамики всех рекламных активностей в рамках одной группы
Заключение
В данной статье были рассмотрены основные метрики электронной коммерции для оценки эффективности маркетинговых кампаний на сайте. Оценка успешности кампании осуществляется на основе финансовых показателей и показателей вовлеченности пользователей. Для анализа результатов кампаний используются статистические методы, такие как A/B тестирование и сравнение с контрольной группой. Отчет о результатах кампании может быть представлен в виде табличных данных и графиков, что позволяет наглядно отслеживать динамику всех рекламных активностей в рамках одной группы.