| 19 июля 2011 |
В предыдущей статье в Smashing Magazine я описывал А/В тестирование и многие связанные с ним возможности. Ранее я также касался основ многовариантного тестирования, а в этой статье я остановлюсь на его технических деталях, которые во многом схожи с А/В тестированием, но при этом имеют некоторые важные расхождения.
При многовариантном тестировании веб-страница рассматривается как сочетание элементов (включая заголовки, изображения, кнопки и текст), что оказывает влияние на показатели эффективности. На самом деле, вы разделяется веб-страницу на отдельные фрагменты, а затем их варьируете. Например, если ваша страница состоит из заголовка, изображения и сопровождающего текста, вы можете создать их вариации. Для того чтобы проиллюстрировать данный пример, предлагаю выполнить следующие вариации:
- Заголовок: заголовок 1 и заголовок 2
- Текст: текст 1 и текст 2
- Изображение: изображение 1 и изображение 2
Схема, данная выше, имеет три показателя (заголовок, текст и изображение), каждый в двух версиях. При многовариантном тестировании вы должны увидеть, какое сочетание этих версий будет наиболее эффективным. Я имею в виду одно из восьми сочетаний (2 × 2 × 2), которое мы выберем из полученных вариантов:
- Заголовок 1 + Текст 1 + Изображение 1
- Заголовок 1 + Текст 1 + Изображение 2
- Заголовок 1 + Текст 2 + Изображение 1
- Заголовок 1 + Текст 2 + Изображение 2
- Заголовок 2 + Текст 1 + Изображение 1
- Заголовок 2 + Текст 1 + Изображение 2
- Заголовок 2 + Текст 2 + Изображение 1
- Заголовок 2 + Текст 2 + Изображение 2
При многовариантном тестировании вы разделяете трафик между этими восьмью версиями страницы и смотрите какое сочетание будет наиболее эффективным, то же самое, что при А/В тестировании, где вы делите обслуживание между двумя версиями страницы.
Начинаем многовариантное тестирование
Принимаясь за создание своего первого многовариантного теста, для начала выберите инструментальное средство или основу, которая будет поддерживать многовариантное тестирование. Вы можете использовать один из инструментов, перечисленных в списке «Инструменты» в конце этой статьи. Обратите, пожалуйста, внимание, что не все инструменты А/В тестирования подходят для многовариантного тестирования, поэтому убедитесь, что инструмент, который вы выбрали, подходит.
После того, как вы решили, какой инструмент вы будете использовать, выберите части, которые вы включите в тестирование. Как вы знаете, веб-страница может содержать десятки или сотни различных частей (колонтитул, заголовок, боковую колонку, поле для входа, кнопки управления и т.д.). Вы не можете включить в тестирование все эти части. Если создавать вариации всех этих частей, это будет очень трудоёмкой задачей (и, как вы сможете прочитать ниже, требования к трафику для выполнения такого тестирования с каждой новой частью будут становиться всё выше). Сузьте тестирование до нескольких частей страницы, которые, как вы полагаете, являются наиболее важными для целей конверсии.
Обычно в многовариантный тест включают следующие части страницы (перечислены в порядке убывания важности):
- заголовок и подзаголовок;
- кнопки призыва к действию (цвет, текст, размер, размещение);
- текст (содержимое, длина, размер);
- изображение (тип, размещение, размер);
- размер.
Различия между А/В тестированием и многовариантным тестированием
Эти две техники по существу одинаковы, но есть некоторые важные различия между ними. Первое и основное различие – требования к трафику. Как я сказал, количество сочетаний для тестирования в многовариантном тесте возрастает в геометрической прогрессии. Вы можете тестировать три или четыре версии при А/В тестировании, и десятки или сотни версий при многовариантном тестировании. Понятно, что в таком случае для достижения полноценного результата требуется много трафика и времени.
Например, если у вас есть три части с тремя вариациями каждой, количество сочетаний будет 27. Добавьте ещё одну часть с тремя вариациями, и общее число сочетаний возрастёт до 81. Если вам нужен полноценный результат, вам не обязательно добавлять дополнительные части в тест. Умейте выбирать. Нужно взять себе за правило ограничивать общее количество сочетаний до 25 или сделать их количество ещё меньше.
Используйте А/В тестирование для крупномасштабных изменений, а не для улучшения или оптимизации существующего дизайна. Изображение с Meet the Chumbeques
Ещё одно различие состоит в использовании этих техник. А/В тестирование обычно применяется при больших радикальных изменениях (таких как полное изменение исходной страницы или выставление двух различных предложений). Многовариантное тестирование применяется для улучшения и оптимизации существующего дизайна. Если выражаться математическими понятиями, то А/В тестирование используется для оптимизации глобального оптимума, а многовариантное тестирование используется для оптимизации локального оптимума.
Одним из преимуществ многовариантного тестирования перед А/В тестированием является то, что оно может показать вам какие части страницы лучше всего используются для целей конверсии. Скажем, вы тестируете заголовок, текст или изображение на исходной странице. Как узнать, что дает лучший результат? Большинство инструментов для многовариантного тестирования дадут вам метрику, называемую «импакт-фактор», о показателях эффективности или неэффективности того или иного раздела. При А/В тестировании невозможно получить такую информацию, т.к. все разделы берутся в целом.
Типы многовариантных тестов
В зависимости от того, как вы распределяете трафик между имеющимися сочетаниями, есть несколько типов многовариантных тестов (МВТ):
Полнофакторное тестирование.
Когда говорят о многовариантном тестировании, обычно приводят в пример именно этот вид тестирования. При этом методе трафик веб-сайта распределяется одинаково между всеми сочетаниями. Если есть 16 сочетаний, каждый получит шестнадцатую часть трафика веб-сайта. Так как каждое сочетание получает одинаковое количество трафика, этот метод предоставляет все данные, которые нужны для определения лучших сочетаний и разделов. Вы можете увидеть, что некоторые изображения вообще не эффективны, в то время как заголовки имеют наибольшее влияние. Поскольку метод полнофакторного тестирования можно применять не только в статистике или математическом тестировании, я рекомендую его для многовариантного тестирования.
Запишите и сравните полученный трафик в каждой тестируемой версии. Изображение с ItoWorld
Частичнофакторное тестирование.
Как мы видим из названия, при этом методе для трафика на веб-сайте открыта только часть всех сочетаний. Показатель эффективности для неоткрытых сочетаний прогнозируется исходя из результатов сочетаний, включенных в тест. Например, если есть 16 сочетаний, то трафик делится между восьмью из них. По восьми оставшимся у нас не будет данных о конверсии и, следовательно, нам надо будет прибегнуть к дополнительным вычислениям. По понятным причинам я не рекомендую этот метод: хотя при частичнофакторном тестировании нужно меньше трафика, этот метод требует слишком много затрат. То, что могут дать подсчёты, не имеет особого значения по сравнению с реальными данными.
Тестирование Тагучи.
Из всех методов – это самый запутанный метод. Быстрый поиск Google показывает много инструментальных средств, предназначенных для сокращения времени тестирования и требований к трафику при помощи теста Тагучи. Кто-то может не согласиться, но мне кажется, что тестирование методом Тагучи – это своего рода обман. Это не теоретически обоснованный метод, а набор эвристических правил. Изначально он использовался в обрабатывающей промышленности, где для уменьшения количества сочетаний, необходимых для тестирования качества и других экспериментов, соблюдаются определённые условия. Эти условия не применимы для он-лайн тестирования, поэтому не нужно пытаться применять этот метод. Придерживайтесь других методов.
Нельзя и нужно
Я встречался с сотнями многовариантных тестов и видел много людей, которые делали одни и те же ошибки. Вот, исходя из моего опыта, несколько практических советов.
Нельзя
- Нельзя включать много разделов в тест. Каждый добавленный раздел удваивает количество сочетаний, которые нужно тестировать. Например, если вы тестируете заголовок и изображение, то общее число сочетаний равняется четырём (2 × 2). Если вы добавляете в тест ещё и кнопку, то число сочетаний становится равным восьми (2 × 2 × 2).Чем больше сочетаний, тем нужно больше трафика для достижения значительных результатов.
Нужно
- Нужно сделать предварительный просмотр сочетаний. При многовариантном тестировании, чтобы создать варианты страницы, нужно смешивать варианты раздела (изображение, заголовок, кнопка и т.д.). Одно из сочетаний может странно смотреться или, ещё хуже, быть нелогичным или несовместимым. Например, одно сочетание может содержать заголовок «скидка 15 долларов» и кнопку, на которой написано «бесплатная подписка». Эти два сообщения несовместимы. Отыщите и уберите несовместимые вариации на этапе предварительного просмотра.
- Нужно решить, какие разделы особенно ценные для результатов тестирования. При многовариантном тестировании не все разделы имеют одинаковое значение для показателей эффективности. Например, если вы включите в тестирование заголовок, кнопку побуждения к действию и колонтитул, вы можете осознать, что вариации колонтитула имеют не сильное влияние, а вариации заголовка и кнопки побуждения к действию являются эффективным сочетанием. Вы можете получить интересный результат. Ниже приведён отчёт-образец сервиса Visual Website Optimizer. Обратите внимание, насколько кнопка более эффективна (91%), чем заголовок (65%):
- Нужно оценить объём трафика, необходимый для достижения значимых результатов. До начала тестирования продумайте, сколько вам нужно трафика, чтобы достичь статистически значимых результатов. Я видел, как люди добавляли десятки разделов на страницу, на которую заходило всего 100 посетителей в день. Значимые результаты при таком тестировании могут появиться только через несколько месяцев. Для оценивания объёма необходимого трафика я предлагаю использовать калькулятор, такой как калькулятор результатов А/В тестирования и многовариантного тестирования. Если трафика нужно больше, чем имеется в наличии, уменьшите количество разделов.
Анализ примеров из практики
В Интернете есть много примеров использования А/В тестирования, но, к сожалению, достаточно сложно найти примеры использования многовариантного тестирования. Итак, я побродил по Интернету и составил список подходящих примеров.
Это один из многовариантных тестов, который я применил для сравнения различных вариантов заголовков и ссылок. В результате, один из вариантов продемонстрировал повышение загрузок более чем на 60%
Этот анализ в показывает детали при тестировании вариантов для данного веб-сайта и описывает лучшие результаты.
На этой странице дано множество примеров многовариантного тестирования больших компаний, которые пользовались многовариантными тестами и поведенческим таргетингом для оптимизации своих сайтов.
Другие примеры использования наборов многовариантных тестов.
В 2009 году YouTube провёл огромный многовариантный тест. Достаточный объём трафика позволил провести тест в несколько тысяч сочетаний.
Агентство протестировало цвет и текст кнопок, побуждающих к действию, для своих рассылок по электронной почте. Лучшим результатом стало 60% щёлканья по кнопке.
Инструменты для многовариантного тестирования
Бесплатный инструмент для многовариантного тестирования от Google. Он очень хорош, если перед тем как вкладывать деньги в многовариантное тестирование, вы хотите прощупать почву. Минусы? Вам надо будет помечать тегами различные разделы веб-страницы, которые содержат код JavaScript, что может быть очень утомительным. Данный тест также может выдавать ошибки и поэтому заставляет вас искать другие инструменты для пользования.
Основным преимуществом этого платного инструмента является то, что вы можете наглядно создать многовариантный тест в редакторе с режимом точного отображения, выбрав различные разделы страницы. Вы можете провести тест без пометки отдельных разделов тегами (хотя для верхнего колонтитула нужен фрагмент кода). Инструмент содержит отчёты посещаемости и щёлканья по кнопкам.
Веб-сайт, на котором опубликованы пользовательские отзывы по всем имеющимся в продаже многовариантным тестам. Если вы планируете применить многовариантное тестирование для своего сайта, обязательно побывайте на этом сайте.
Инструменты для тестирования крупных компаний:
Источники
Серия сообщений в блоге о различных аспектах многовариантного тестирования.
Прекрасное мини-руководство по многовариантному тестированию.
Торговый бюллетень от Forrester, в котором сравниваются различные поставщики тестов.
Эта статья раскрывает аспекты эффективной оптимизации при помощи анализа различных примеров из практики.
Соответствующие ссылки
Вы можете заинтересоваться следующими статьями по данной теме:
РћСигинал статьи: Paras Chopra (www.smashingmagazine.com)
|
