27 октября 2015 — 01:36

Несколько часов назад на Russian Interactive Week (RIW 2015) выступил с докладом Михаил Иванков из компании Plarin. Компания разрабатывает передовые решения в области цифрового маркетинга и таргетированной рекламы в социальных сетях. В течение нескольких лет компания проводила эксперименты с настройками рекламных кампаний и Михаил поделился своим опытом. Он подробно рассказал технологию тестирования объявлений, по которой можно многократно снизить тестовый бюджет и время проведения этих тестов. Спешим передать вам.

Итак, Михаил приводит пример РК, в которой “плохой менеджер” проводит А/В тестирование одновременно нескольких заголовков объявлений:

 

4 объявления с разными заголовками, у каждого свои показатели, свой CTR, свой CPA и, в принципе, можно выбирать лидеров и что-то тестировать. Чтобы хоть как-то вменяемо оценивать CPA, нужно получить хотя бы 200 кликов при конверсии 5%. Такой подход не позволяет тестировать множество сочетаний. Это приводит к тому, что протестировав все заголовки и выбрав лучший, менеджер может начать тестировать все тексты с этим заголовком. Но не факт, что лидирующий текст будет работать с этим заголовком. Этот вариант отлично подходит для слива всего бюджета РК и траты времени.

В следующем примере “хороший менеджер” перебирает большое количество вариантов, пытаясь оценить, что же лучше влияет на CTR и CPA.

Категория “Самый лучший менеджер” размещает сотни-тысячи объявлений. Оставляют те, которые “выстрелили”. Но это вообще не показательно и такая ситуация может произойти при неограниченных бюджетах и времени. Такие менеджеры совсем не умеют считать — при увеличении количества заголовков/текстов/картинок увеличивается количество вариантов сочетаний. Пример такой РК с бюджетом 10 000 руб. при СR 5% :

Видим, что при увеличении количества вариантов, начинает сокращаться бюджет на каждый баннер. следовательно, каждый баннер этой РК не может набрать объективное количество кликов или конверсий.

Здесь показан самый удобный пример – тестирование на 8 вариантах, оно показывает лучший результат — наберётся по 250 кликов на баннер (в среднем) и 12,5 конверсий на баннер (в среднем). Этого достаточно, чтобы оценить — какое из объявлений ведёт себя хорошо, какое из них выбирать, кто из них лидер.

Опять же “Хорошие менеджеры” берут 8 вариантов: 2 заголовка, 2 текста, 2 изображения и 2 таргетинга:

Разделение на таргетинги не рекомендуется делать большим: на миллионники и не миллионники. Можно разделить по полу, возрасту диапазоном 5-7 лет. Не забывая при этом, что каждая РК должна обладать своим бюджетом. Следовательно, хороший менеджер придёт к таким показателям:

Всё собрано, каждое сочетание текстов и картинок, проведена РК, получен результат:

• Вариант 1-1-2- лучший CTR;
• Вариант 2-2-2 лучший CR.

Далее, итог тестирования самим клиентом:

• Затраты — 26 450 руб;
• Прибыль — 28 549 руб.

Теоретически, теперь, клиент может выбирать — какой из вариантов ему больше подходит: более конвертирующий или более приносящий трафик на сайт.

Но, мог ли этот менеджер знать, что именно эти объявления окажутся победителями? И мог ли что-то раньше изменить в своей кампании?

 

 

Фишка

Японский инженер по имени Тагучи и со сложной фамилией разработал статистическую экспериментальную модель.

Метод Тагучи использует ортогональные матрицы:

Берётся матрица, на примере этой первой. Она тестирует 4 эксперимента, состоящие из трёх факторов, в которых может быть 2 элемента. В нашем случае это 4 объявления, 3 фактора — заголовок-текст-картинка и либо 1й, либо 2й вариант.

Это же можно применить и в матрице из 81 варианта — нужно перебрать всего лишь 9.

Теперь посмотрим:

Они предложили клиенту при расходе этой РК около 7 000 руб. и 23 конверсиях довериться методу Тагучи, оценить его объявления и выбрать лидера. По факту оценили, выбрали, но клиент продолжил свой тест. Ранее показывали чем он закончился. На слайде сверху те 4 объявления, которые необходимо протестировать. Их оценивали по CTR.

У объявления №3, вроде бы, самое лучшее сочетание из всех присутствующих (у него наивысший CTR). Но при расчёте, победило объявление 1-1-2 (первый заголовок-первый текст-первая картинка):

При этом, это объявление даже НЕ тестировалось в исходных! А тестировалось влияние каждого из заголовков текста на тот CTR, который есть. Из этого сочетания получилось, что победитель должен состоять именно таким образом.

Как так получилось? Вроде как, победителем был 2-1-2 (второй заголовок-первый текст-вторая картинка). А победило то же сочетание, но с 1-м заголовком. Потому, что вторая картинка присутствует в худшей комбинации с худшим CTR. Т.е. она максимально тянет вниз вес этого заголовка.

Далее тестировали по CR:

Победитель среди клиентского тестирования на тот момент- объявление №4.

Но по факту:

Здесь также победило объявление, которое даже не тестировалось. И происходит это по той же самой причине- объявление №4 (было выше по CTR) обладает не самым лучшим сочетанием элементов, потому что содержит картинку с самым худшим CR, т.е. она тянет её вниз.

Значит, объявление максимально эффективно при сочетании наиболее весомых элементов.

Вцелом, получили картину:

Слева- тест клиента, который он проводил, потратив 26 500 рублей.

Справа- метод Тагучи, который позволил за 7 000 определить тех же победителей.

Получается, что с помощью этого метода можно заранее рассчитать РК, сэкономить значительную часть бюджета и времени тестов.

В завершение доклада Михаил дал ряд ценных советов:

 

---