Особенности использования Varioqub на тарифе Стандарт

Если вы уже используете Varioqub, как инструмент для проведения A/B тестов на бесплатном тарифе, и хотите узнать о дополнительных возможностях, доступных на тарифе Стандарт для принятия решения о необходимости его приобретения, то эта статья для вас. Поработав некоторое время с Varioqub на данном тарифе, мне захотелось поделиться своими впечатлениями и рекомендациями.

Мы рассмотрим основные особенности, преимущества и ограничения Varioqub, как инструмента проведения A/B тестирования и анализа результатов и естественно дополнительные возможности доступные на тарифе Стандарт.

Основные особенности Varioqub

Varioqub - это платформа для проведения A/B тестов, которая позволяет вам сравнивать различные версии веб-страниц, мобильных приложений или маркетинговых кампаний, чтобы определить, какая из них приводит к лучшим результатам. Основные преимущества Varioqub на мой взгляд:

• Достаточно простой и привычный для пользователей Яндекс Метрики интерфейс и в целом относительная простота использования. Думаю, для многих это будет главным плюсом.
• Нативная интеграция с Яндекс Метрикой, что позволяет быстро и удобно смотреть результаты и анализировать A/B тесты, для тех кто использует эту систему аналитики.
• Техническая поддержка доступная внутри интерфейса. В случае возникновения вопросов или проблем, можно получить помощь, задав вопрос в чате.
• Активная фаза разработки и расширения функционала.

Естественно есть и ограничения и какие-то недостатки, но о них чуть позже.

Разница базового тарифа и тарифа Стандарт в Varioqub

Как говорится "first things first", давайте посмотрим на то, что вообще предлагает Varioqub на бесплатном тарифе и что добавляется на тарифе Стандарт.

1. Экспериментов одновременно на счетчик

Тут все понятно - этот апгрейд будет вам полезен, если вы планируете проводить больше одновременных экспериментов, чем тот минимум, который доступен на бесплатном тарифе.

2. Персонализаций одновременно на счётчик

Персонализации - это возможность показывать разные варианты страницы разным пользователям, в зависимости от их параметров. Например, можно показывать разные варианты страницы в зависимости от рекламной компании (UTM-меток), по которой пользователь зашел на ваш лендинг. Это может быть полезно, если вы хотите проводить более тонкую настройку и оптимизацию посадочной страницы для разных групп пользователей.

Я также нахожу этот инструмент полезным и интересным, потому что с помощью него вы можете добавлять события javascript, привязанные к элементам сайта непосредственно из интерфейса Метрики/Varioqub, т.е. без участия разработчиков.

Пример персонализации в Varioqub c использованием javascript:

Если вы любите создавать лендинги для разных групп пользователей и разных рекламных активностей, то тариф Стандарт может стать полезным дополнением для вас.

3. Количество доступных метрик для эксперимента

На тарифе Стандарт вы можете добавить до 4 дополнительных метрик к основной для анализа результатов эксперимента. Это будет полезно, если вы хотите увидеть, как изменение влияет на разные показатели, например, на конверсию, средний чек, время на сайте и т.д. При этом, как правило я также добавляю метрику "пользователи", чтобы наблюдать и проверять корректность распределения трафика в эксперименте по визитам и пользователям.

Также если вы используете составные цели для отслеживания каких-то воронок, то добавление метрик "конверсия на этапе воронки" может быть полезна для анализа прохождения этапов воронки и соответственно влияния изменений на конверсию воронки.

Соответственно трех метрик на базовом тарифе может очень быстро оказаться недостаточно.

Пример использования метрик для анализа воронки:

4. Пользовательские параметры

Пользовательские параметры - это возможность добавить в эксперимент параметры, которые можно использовать для фильтрации трафика и анализа результатов. Например, вы можете добавить параметр "статус покупателя" и использовать его для создания сегмента посетителей, которые должны участвовать в эксперименте.

На моей практике эта функция оказалась полезной, когда нужно было провести эксперимент только на определенной группе пользователей, например, на пользователях у которых есть определенные параметры удовлетворяющие идее и дизайну эксперимента.

Пример пользовательского параметра и "включения" и "выключения" эксперимента:

5. Фильтрация по параметрам

В тарифе Стандарт добавляется возможность фильтрации результатов эксперимента (происходит перерасчет) по Платформам и по Источникам трафика. Анализ результатов эксперимента в разрезе источников трафика может оказаться интересным, если вы хотите, к примеру понять, как переходы по рекламе отличаются от прямых заходов, какие источники трафика лучше реагируют на изменения.

В целом любая фильтрация может оказаться полезной для снижения дисперсии (вариативности) в данных и достижения стат-значимости результата по конкретному сегменту.

Так выглядит фильтрация по источникам трафика и по платформам:

6. Эксперимент типа Интеграции

Эксперимент типа Интеграции - это возможность добавить в эксперимент баннер, который будет показываться на вашем сайте, используется в качестве информационного блока с персональными предложениями, скидками или информацией о новых фичах.

На базовом тарифе доступен только один простейший небольшой баннер в углу страницы, а на тарифе Стандарт можно добавить различные баннеры и настроить их варианты отображения с помощью параметров и CSS стилей. Например, следующие CSS стили и выбор расположения горизонтального блока на всю страницу внизу дает показанный на скриншоте результат.

.ymab-integration-banner-body {
    transform: translateY(-100%); /*Начальная позиция за экраном*/
    left: 0px;
    width:100%;
    background-color: palevioletred;
    color: white;
    border: none;
}

.ymab-integration-banner-title {
    color: white;
}

.ymab-integration-banner-text {
    color: white;
}

.ymab-integration-banner-button-link {
    background-color: dodgerblue;
}

.ymab-integration-banner-close {
    background-color: dodgerblue
}

Пример баннера в эксперименте типа Интеграции:

7. Полный отчет эксперимента

На тарифе Стандарт можно сформировать отчет об эксперименте в виде PDF документа, который включает в себя данные по эксперименту, отображаемые в интерфейсе Varioqub. На момент написания статьи был замечен баг с отображением данных по основной метрике, но думаю это скоро исправят.

Заключение

В целом, если вы уже используете Varioqub на бесплатном тарифе и хотите узнать о дополнительных функциях, доступных на тарифе Стандарт, то я бы рекомендовал обратить внимание на следующие возможности:

• Пользоватские параметры для настройки аудитории эксперимента.
• Дополнительные метрики для анализа результатов эксперимента.
• Различные настраиваемые баннеры в эксперименте типа Интеграции.
• Фильтрация по параметрам для анализа результатов эксперимента в разрезе источников трафика.

На тарифе Стандарт остаются по прежнему следующие ограничения и недостатки, которые стоит учитывать:

• Нет отображения MDE в отчетах эксперимента (доступно только в "Про" версии).
• Нет возможности выгрузить данные об эксперименте из Logs API (доступно только в "Про" версии).
• Нет возможности получить идентификатор эксперимента на клиенте (браузере) в случае использования визуального редактора.
• Пока нет возможности нативно (без создания параметров визитов) фильтровать отчеты в Метрике по экспериментам и вариантам.

Несмотря на эти ограничения, Varioqub на тарифе Стандарт предоставляет достаточно функционала для проведения A/B тестов и анализа результатов с простым и привычным для пользователей Яндекс Метрики интерфейсом, что делает его привлекательным инструментом для аналитиков и маркетологов.