Сплит-тестирование при помощи Google Website Optimizer

27.07.2009

Попробовал Google Website Optimizer, инструмент для проведения сплит-тестов. При сплит-тестировании на сайте нужно создать несколько вариантов одной страницы, потом некоторое время собирать статистику посещений. В результате определяется самый удачный вариант страницы.

Красивые результаты тестирования от Авинаша Кошика

Use case и примеры

Посредством сплит-тестирования можно выявить

  • вариант страницы с самым низким показателем отказов (bounce rate)
  • самую прибыльную схему размещения блоков контекстной рекламы
  • вариант страницы, обеспечивающий самую высокую конверсию (регистрации пользователей, покупки в магазине)

Мне периодически советуют освежить дизайн этого сайта, в частности сделать фон белым. Я и сам понимаю, что Times New Roman на сером фоне навевает скуку. Так вот, за пять минут изготовил альтернативный дизайн для одной из статей.

Условием конверсии для этого эксперимента указал переход по первой ссылке в блоке «Материалы по теме» ниже основной статьи. Разницы между старым и новым вариантом не оказалось.

По другим показателям новый вариант проиграл. Скажем, для поискового трафика среднее время просмотра серой страницы — 5 минут, белой — 3 минуты.

Кликните по картинке, чтобы увеличить ее

Еще пара историй про сплит-тесты:

Технический аспект

С технической стороны процесс выглядит так: у вас есть выложенный в интернете посещаемый сайт, на страницы вы добавляете несколько фрагментов javascript-кода.

В варианте A/B Experiment скрипт перенаправляет часть посетителей на альтернативную страницу (у нее должен быть отдельный URL). При этом для альтернативной страницы Google Analytics нормально считает все показатели.

В варианте Multivariate Experiment делать альтернативные страницы по отдельным адресам не нужно. Вместо этого, на одной странице размечаете блоки, которые хотите протестировать. Прописываете несколько вариантов блока (например, несколько вариантов визуала), а скрипт их чередует и собирает статистику.

Обязательное условие любого теста — нужно задать цель, для которой считается конверсия и выбирается лучший вариант. Обычно цель — посещение определенной страницы. Если вам просто хочется сравнить bounce rate, можно поставить скрипт-идентификатор цели на все страницы сайта, кроме тестируемых, либо вообще не связываться с целями и смотреть результаты в Google Analytics.

Плюсы и минусы сплит-тестирования

Преимущества сплит-тестирования со слов Якоба Нильсена:

  • тестирование проводится в реальных условиях
  • можно тестировать незначительные изменения
  • можно проверять уместность в конкретном случае общих рекомендаций по юзабилити
  • дешевизна

Недостатки и ограничения:

  • метод подойдет только сайтам с четкими измеряемыми целями
  • нужен работающий сайт с посетителями
  • не можем судить о поведении пользователей на сайте глобально
  • тестируется только то, что мы догадаемся протестировать

Статистическая значимость

Значимость результатов лучше проверять при помощи специального калькулятора на основе статистической формулы.

Интеграция с CMS

Случайно набрел на модуль для Drupal, помогающий организовывать тесты с Google Website Optimizer. Как работает, не проверял. Автор модуля — neochief.

Комментарии

Зимин Дмитрий, 28.07.2009 00:39

Странный ты выбрал KPI. Имхо, среднее количество просмотренных страниц за сессию было бы адекватнее. Мы же ведь оцениваем восприятие и читабельность белого фона, а не расположение и кликабельность ссылки. Или, скажем, процент "белофоновых" посетителей, подписавшихся на RSS, тоже мог бы стать показателем.

Кстати, а не является ли сниженное время нахождения (при том же количестве просмотренных страниц за сессию?) показателем, что текст читается быстрее?

p.s. Добавлю ещё ссылочку на видео, где Брайан Эйзенберг (Google) дает рекомендации по сплит-тестам для сайтов с небольшим объемом трафика: http://www.youtube.com/watch?v=60xuSEc7lxA (англ.)

Дмитрий Сергеев, 28.07.2009 01:40

Да, надо было раньше подумать и срезы настроить. Сейчас и не посмотреть уже. Я когда начал пробовать, цель мне вообще не нужна была. Поэтому просто взял страницу, на которую с тестируемой страницы больше всего переходов. Мерять хотел просто bounce rate.

Любопытно, как в процессе возникали разные гипотезы. Например, в один момент у новой страницы были все показатели хуже, но в сегменте returning visitors у нее был заметно ниже Exit. Подумал, что пользователи, которые привыкли все видеть серым, и вдруг попадали на желтую страницу, очень удивлялись этому факту и кликали на неважно какую ссылку, лишь бы разобраться, в чем дело.

А провал желтой страницы в конечном итоге объясняю так: у пользователей выработалась модель поведения при просмотре пестрых wordpress-блогов. Там обычно и рекламы много, и оформления избыточного. По крайней мере я всегда стараюсь такие блоги просматривать быстрее, пробегаться по заголовкам.

Кстати, интересно бы провести тест -- убрать мое фото из боковой колонки. Читал тут результаты одного исследования, где информацию об авторе убрали и показатели страницы улучшились. Хотя общепринята противоположная точка зрения.

Видео посмотрю, спасибо. Для рунета очень акутально.

kikaha, 28.07.2009 02:46

Не стоит безоговорочно уповать на стереотипы, на то же фото автора например. Лично я - угрюмый мордатый бородатый дядька, как заметил один мой знакомый "хочется сначала выстрелить, а потом уже спрашивать чего надо" - так что моё фото явно не снизит bounce rate на страничке :)

Дмитрий Сергеев, 28.07.2009 11:11

Про фото автора интересная тема. Например, среди программистов популярны фотографии в темных очках. С одной стороны должно придавать больший вес и глубину словам автора. С другой стороны, у меня такие фотографии вызывают сомнения по отношению человеку.

Или вот мое фото трехлетней давности с бледным до синевы лицом. Думаю, это привлекает заказчиков, которым нужен "умненький мальчик".

Или фото симпатичной девушки-IT-специалиста. Или фото отца с маленьким ребенком. Всё это должно по-разному на аудиторию воздействовать.

neochief, 31.07.2009 11:17

Модуль работает отлично, проверено на живых проектах :)

Виктор Штонда, 02.08.2009 14:17

По Google Website Optimizer на русском языке вышла замечательная книга. Вы с ней знакомы? Обозреть сможете у себя в блоге? Экземпляр могу предоставить.

Также как и много других книг - Авинаша Кошика - на которого ссылаетесь.

Смотрите о книге в моем блоге

Дмитрий Сергеев, 07.08.2009 01:19

Виктор, книгу не читал. Обзор наверное смогу написать. Сейчас на отдыхе, а во второй половине августа вам напишу.