Мы тестируем гипотезы или просто сливаем деньги?

Рекламный тест превращается в слив бюджета, когда расходы перестают уменьшать неопределённость и не меняют следующее решение. До запуска стоит определить гипотезу, метрику результата и правило остановки. Оценивать тест лучше не по числу прошедших дней, а по объёму данных относительно ожидаемой частоты целевого события и стоимости результата.

Ситуация знакомая почти любому бизнесу, который хоть раз запускал рекламу.

Несколько недель всё готовили. Собрали семантику, аудитории, тексты и креативы, настроили аналитику, согласовали посадочные, наконец нажали «запустить». В первые часы рекламный кабинет начинают открывать примерно раз в двадцать минут. Потом чуть реже.

Проходит день. Второй. Пятый. Деньги списываются. Клики есть. Иногда даже выглядят вполне прилично. А заявок нет.

И где-то примерно здесь у человека, который эти деньги выделил, появляется совершенно нормальный вопрос: мы сейчас тестируем или просто сливаем бюджет?

Мне кажется, это один из самых полезных вопросов в маркетинге. Потому что два этих состояния действительно очень легко перепутать. Неудачная рекламная кампания и бессмысленно потраченные деньги — не одно и то же. Но и любой провал автоматически исследованием не становится.

Что такое тестирование гипотез в рекламе и зачем оно нужно

Есть очень живучее представление, что где-то существует правильная рекламная связка. Нужно найти хороший оффер, правильную аудиторию, подходящий креатив и человека, который знает нужные настройки, — после чего механизм начнёт предсказуемо превращать бюджет в заявки.

Иногда действительно удаётся попасть довольно быстро. Особенно если рынок давно понятен, продукт уже рекламировался, накоплена статистика и мы примерно знаем, кто покупает и почему. Но при новом продукте, новой аудитории или существенно изменившемся предложении часть важных вещей заранее неизвестна.

Мы можем предполагать, что людям важна цена, а выяснить, что их сильнее тормозит недоверие. Можем считать основной аудиторией владельцев бизнеса, а получить лучшие продажи от наёмных руководителей. Можем сделать пять красивых креативов и обнаружить, что лучше всего работает самый простой. А можем получить прекрасный CTR, привести людей на сайт и только после запуска понять, что предложение они вообще трактуют иначе, чем предполагала команда.

То есть первая задача части рекламного бюджета — действительно не только купить клиента. Она ещё и снижает неопределённость. В управленческой теории это давно описывается через выбор между exploration и exploitation — исследованием новых возможностей и использованием уже известных. В классической работе James March об организационном обучении показывает, почему системы, которые занимаются только эксплуатацией уже найденного, могут стать эффективнее сегодня и одновременно хуже адаптироваться завтра.

Сколько денег закладывать на тест рекламной гипотезы

Особенно интересно, что эта логика довольно буквально исследовалась на реальных рекламных кампаниях. Eric Schwartz, Eric Bradlow и Peter Fader изучали, как распределять показы между разными рекламными вариантами, когда заранее неизвестно, какой из них окажется сильнее. Авторы называют это learn-and-earn trade-off: рекламодатель должен одновременно зарабатывать на уже работающих вариантах и продолжать получать информацию о том, что может работать лучше.

Исследование проходило на реальной display-кампании крупного банка и включало более 750 млн показов. Адаптивное распределение трафика между вариантами повысило customer acquisition rate примерно на 8% без увеличения расходов. Ещё интереснее другое: в моделировании авторы получили, что оптимизация на CTR вместо конечной конверсии уменьшала привлечение клиентов примерно на 10%. Подробности — в исследовании Customer Acquisition via Display Advertising Using Multi-Armed Bandit Experiments.

Для меня здесь важен даже не конкретный алгоритм. Важно, что хороший рекламный процесс не выглядит как «запустили → сразу нашли победителя → масштабировали». Внутри него действительно есть исследование. Часть показов и бюджета нужна, чтобы отличить более сильный вариант от более слабого и затем распределять деньги уже не вслепую.

То есть условные первые 20 000 ₽ действительно могут иметь другую функцию, чем следующие 200 000 ₽. Сначала мы покупаем не только результат. Мы ещё покупаем право меньше ошибаться на следующем этапе.

Когда тест рекламной гипотезы действительно даёт полезные данные

Она способна оправдать практически всё. Потратили 50 тысяч и ничего не получили? Получили данные. Потратили ещё 100? Продолжаем обучение. Прошло три месяца, экономика до сих пор не сходится? Зато гипотез проверили много.

В какой-то момент это начинает подозрительно напоминать не исследование, а дорогой способ избегать неприятного вывода. Поэтому я бы не определяла хороший тест через сам факт появления данных. Данные появляются почти всегда. Даже самая плохая кампания оставляет после себя таблицу с показами, кликами, CTR, CPC и десятком других метрик.

Ценность появляется тогда, когда информация меняет следующее решение. До запуска мы думали, что проблема в аудитории. После теста видим: аудитория кликает нормально, а люди исчезают на странице цены. Значит, следующий бюджет не нужно тратить на ещё пять вариантов таргетинга — сначала разбираемся с предложением.

Или наоборот: сайт исторически конвертирует нормально, но новая аудитория практически не реагирует даже на несколько разных сообщений. Тогда мы не рисуем шестнадцатый баннер, а пересматриваем сам сегмент. В обоих случаях кампания могла не дать продаж, но после неё пространство вариантов стало меньше. Это и есть полезное обучение.

При этом тест тоже имеет стоимость. Elea McDonnell Feit и Ron Berman в работе Test & Roll: Profit-Maximizing A/B Tests рассматривают A/B-тестирование как экономический компромисс: пока бизнес исследует варианты, часть аудитории неизбежно получает решение, которое впоследствии может оказаться хуже. Эта цена оправданна только тогда, когда информация помогает принять более выгодное решение дальше.

Когда останавливать рекламный тест, если заявок нет

Кампанию часто оценивают во времени: «она уже три дня работает», «мы дали ей неделю», «прошло две недели, сколько ещё ждать?». Но день и неделя — не единицы статистической достаточности.

Допустим, обычная стоимость заявки в категории около 5 000 ₽. Одна кампания за неделю успела потратить 4 000 ₽ и не дала ни одной заявки. Другая потратила 150 000 ₽ и тоже не дала ни одной. Обе работают семь дней, но степень нашей уверенности в том, что происходит что-то не то, совершенно разная.

Это особенно важно в рекламе, где конечное событие бывает относительно редким. В работе On the Near Impossibility of Measuring the Returns to Advertising Randall Lewis и Justin Rao анализировали 25 крупных рекламных экспериментов и показали, насколько шумными могут быть измерения рекламного эффекта даже на огромных выборках.

Из этого не следует, что небольшому бизнесу теперь нужно ждать миллион кликов. Следует другое: нельзя устанавливать диагноз кампании только по календарю. Гораздо полезнее спросить, сколько возможностей для ожидаемого события мы уже купили и насколько наблюдаемый результат отличается от того, что считали нормальным до запуска.

Если исторически один лид появляется примерно на каждые 3 000 ₽, отсутствие заявки после расхода 2 500 ₽ — это одно. После 30 000 ₽ — уже совсем другое.

Почему много данных ещё не доказывают, что рекламная гипотеза сработала

Digital создаёт странное ощущение, будто сегодня рекламу можно измерить почти идеально. У нас есть пользователи, сессии, клики, просмотры, визиты, конверсии, микроконверсии, атрибуция, CRM, сквозная аналитика. После запуска можно получить огромное количество информации.

Но количество наблюдаемых данных и понимание причинности — не одно и то же. Brett Gordon, Florian Zettelmeyer, Neha Bhargava и Dan Chapsky сравнивали результаты 15 рандомизированных рекламных экспериментов Facebook с результатами обычных observational-моделей. Даже при огромном объёме поведенческих и демографических данных стандартные методы часто не могли восстановить тот же причинный эффект рекламы, который показывали эксперименты. Исследование опубликовано в Marketing Science.

Переводя с исследовательского на человеческий: красивый отчёт ещё не обязательно объясняет, почему что-то произошло. Поэтому «мы собрали данные» — недостаточно. Нужно понимать, какой вывод эти данные действительно позволяют сделать. И иногда самым честным выводом будет не «аудитория плохая», а «пока данных недостаточно».

Как понять, что проблема не в рекламе, а в сайте, оффере или продажах

Кампания может не дать нужного результата совершенно по разным причинам. Люди почти не видят рекламу — тогда вопрос может быть в ставках, настройках или слишком узкой аудитории. Видят, но не переходят — разбираемся с сообщением, креативом, соответствием аудитории и предложения.

Переходят, но не оставляют заявку — всё интереснее: посадочная, цена, доверие, условия, сам продукт. Оставляют заявку, но не покупают — рекламный кабинет уже вообще не первое место, куда я бы смотрела. Здесь могут появиться скорость обработки, квалификация, продажи, ожидания по цене, конкурентоспособность продукта.

Именно поэтому бесконечная смена объявлений иногда ничего не даёт. Мы можем прекрасно оптимизировать не тот участок системы. Самый полезный тест в таком случае нужен не для поиска ещё одного креатива, а чтобы локализовать проблему.

Как отличить тестирование гипотез от слива рекламного бюджета

Я бы сформулировала довольно строго. Неудачная реклама — та, которая не дала нужного коммерческого результата. Такое бывает, и само по себе это ещё не доказывает, что деньги были потрачены бессмысленно.

Слив бюджета начинается там, где расходы не дали ни достаточного коммерческого результата, ни информации, которая уменьшила неопределённость и изменила следующее действие.

Мы потратили деньги, но не знаем, почему не получилось. Не можем исключить ни одну гипотезу. Не понимаем, что делать иначе. И собираемся завтра запустить примерно то же самое ещё раз. Вот здесь слово «тест» уже мало что объясняет.

Потому что ценность тестового бюджета находится не в праве сказать после него «не сработало». Она в том, чтобы следующий рубль был потрачен осмысленнее предыдущего.

Что делать, если рекламные гипотезы закончились, а экономика не сходится

Это менее приятная часть разговора, но без неё статья была бы нечестной. Иногда команда всё делает правильно: формулирует гипотезы, собирает данные, меняет сегменты, проверяет предложения, улучшает страницы, не держится за неработающие решения. И всё равно не находит экономику, которая устраивает бизнес.

Потому что реклама не обязана иметь решение для любой задачи. Может оказаться, что доступный спрос слишком маленький, требуемая стоимость клиента нереалистична для категории, цена продукта не соответствует воспринимаемой ценности, предложение слишком похоже на десятки других или аудитории просто не настолько нужен продукт, насколько казалось внутри компании.

И в этот момент продолжать «тестировать рекламу» может быть уже вреднее, чем признать результат. Хороший маркетинг должен не только помогать находить рабочие связки. Он должен ещё и помогать вовремя переставать искать их там, где проблема, вероятно, находится в другом месте.

Поэтому я бы довольно спокойно относилась к первым неудачным запускам. Ноль заявок ещё не означает, что бюджет слит. Но и слово «тест» само по себе ничего не оправдывает. Важно другое: после потраченных денег мы должны либо получить результат, либо стать заметно ближе к пониманию, как его получить. А иногда — понять, почему именно рекламой его сейчас получить не удаётся.