Кейс начинается с конфликта
Задача о витрине проверяет не умение рисовать экран и не знание фреймворков, а способность удерживать конфликт между выручкой, интересом бизнеса и пользой для человека. Формулировка обычно короткая: «На главной странице маркетплейса есть коммерческая полка от партнёра. Её показы хотят увеличить, но падают клики по органическим товарам и есть жалобы на нерелевантность. Что вы будете делать?»
Деталей здесь намеренно не хватает: кандидат должен сам заметить пробелы и собрать контекст. Тот, кто сразу выдаёт персонализацию, A/B-тест или перенос полки, чаще угадывает ответ, чем находит его. Продакт же начинает с проблемы пользователя, обязательств перед рекламодателем и действия, которое создаёт ценность.
Готового макета у задачи нет, зато виден ход мысли: от конфликта к сегментам и данным, от гипотезы к проверке, от роста показов к доверию и долгосрочной экономике. Кандидату здесь пригодится подготовка к ассессменту продакта: на интервью ценят не термины, а объяснение, почему следующий заданный вопрос меняет решение.
Как сформулировать задание, не подсказав ответ
Чтобы этот ход мысли вообще было видно, задание должно оставлять место для вопросов. Дайте кандидату продукт, аудиторию, коммерческое ограничение и симптом. Например: партнёр платит за фиксированный объём показов промополки; после её расширения снизилась конверсия из поиска в карточку; продажи партнёра растут, а повторные визиты части покупателей падают.
Попросите за 30-40 минут набросать план на шесть недель и разрешите задавать вопросы. Не требуйте экономики там, где нет чисел: важнее, что кандидат запросит и какие выводы отложит до данных. Сильный уточняет почти сразу: кто именно видит полку, новые или возвращающиеся, покупатели категорий, авторизованные или все; где она стоит, до выдачи, в листинге, корзине, на главной или после поиска; как размечена реклама и понимает ли пользователь причину показа. Дальше он спрашивает про незыблемые условия договора (показы, выручку, долю трафика, срок кампании), про рабочее определение релевантности (запрос, покупки, категория, цена, наличие, бренд) и про то, как изменились воронка, возвраты, отмены, средний чек и повторные покупки по сегментам. Слабый ответ выдаёт себя вопросом «какая конверсия?» без базы, периода и места полки в пути: CTR баннера способен расти одновременно с ухудшением выбора, ростом возвратов и падением будущего спроса.
Диагностика идёт раньше решения
Прежде чем предлагать решение, стоит развести силы, которые сталкиваются в задаче. В основе кейса лежат три интереса, которые тянут в разные стороны: пользователь хочет быстро найти товар, партнёр хочет качественный трафик и продажи, площадка хочет зарабатывать, не разрушая саму привычку приходить за выбором.
Сравнить период до и после изменения недостаточно: приписывать полке любой сдвиг нельзя, потому что на цифры влияют сезонность, ассортимент, цены, доставка, промокоды и источники трафика. Нужны контрольные группы: пользователи без полки, категории без кампании, регионы с иной доступностью; при флаге показа часть аудитории временно оставляют на прежней версии. И договоритесь о событиях: показ это попадание блока в видимую область, а не ответ сервера, а клик имеет смысл только в связке с карточкой, корзиной, заказом, отменой и возвратом. В B2B-витрине место заказа занимает лид, запуск рабочего сценария или приглашение коллеги, то есть действие, которое подтверждает ценность.
Хороший индикатор зрелости это реакция на встречный вопрос. «Полка даёт на 12% больше кликов, но покупка после клика ниже, чем у органики. Ваше действие?» Зрелый кандидат не объявит ни успех, ни провал: он запросит разрез по запросам, категориям, устройствам, новым и постоянным покупателям и проверит, не вытесняет ли полка товар, который купили бы и без рекламы.
Полка не должна ломать намерение
Как только данные собраны, встаёт вопрос, каким правилам вообще подчиняется полка. Релевантность и доход на показ не одно и то же. В поиске намерение уже задано запросом, фильтрами, категорией и бюджетом, поэтому коммерческий блок обязан ему соответствовать или хотя бы не маскироваться под органику. На главной сигнал слабее: там допустимо опираться на интересы, просмотры и жизненный цикл, но случайное продвижение нельзя выдавать за персональную подборку.
Отсюда правила показа, а не абстрактная «персонализация». На узкий поисковый запрос полка выходит только при соответствии запросу, доступности в регионе и базовых ограничениях категории. На главной её место определяет вероятность полезного действия, а частота ограничена, чтобы не вытеснять постоянный контент. В карточке товара промо уместно как альтернатива или дополнение с прозрачным критерием: доставка, совместимость, цена, комплект. Новой аудитории честнее показать контекст первой сессии, популярность категории и явный выбор, а не вымышленный профиль. А для платящего партнёра работают договорные показы на подходящем инвентаре: нехватка объёма это коммерческий риск, а не повод тайно ухудшать выдачу. Во всех случаях нужна маркировка. Похожая на органику реклама поднимает CTR за счёт ошибки восприятия, а не ценности; если маркировка обязательна, а бизнес боится падения кликов, проверяют понятные дизайны и измеряют качество последующего действия, а не только клик.
Метрики держат конфликт в цифрах
Правила показа остаются словами, пока конфликт не переведён в числа. Одна метрика создаёт ловушку: показы устроят продажи рекламы, CTR устроит отчёт, а GMV после клика может скрыть каннибализацию. Нужны главный результат, входные и защитные показатели сразу. Для маркетплейса главный результат это успешные покупки с положительной маржой на активного покупателя за неделю; это не универсальная метрика, а способ связать задачу пользователя с экономикой.
- Качество совпадения это релевантные показы к общему числу показов полки: соответствие запросу, категории, доступности.
- Полезное действие это заказы после клика к уникальным кликам по полке, включая добавление в корзину.
- Коммерческий результат это выручка партнёра или маржинальный доход на тысячу видимых показов.
- Каннибализация это заказы из полки, случившиеся бы без неё; определяется контролем или удержанием части трафика, не обычным отчётом.
- Доверие и возвращаемость это повторный визит, быстро закрытые сессии, скрытия, жалобы, отмены и возвраты.
Чистый эффект полки оценивают по изменению маржинального дохода площадки с учётом рекламной выручки, каннибализации, возвратов и дополнительных расходов. Частоту будущих покупок отслеживают отдельно. Именно это разбирает материал о том, как CPO строит финансовую модель, связывая метрики со сценариями и допущениями. Сильный кандидат заранее называет порог: полка остаётся в поиске, если растёт маржинальный доход на сессию, конверсия поиска в заказ не падает сверх предела и не ухудшается недельное удержание когорты. Само число интервьюер раскрывать не обязан: важно, что у кандидата есть право остановки и понятно, за кем оно закреплено.
Эксперимент проверяет причинность, а не вкус
Даже верно выбранные метрики не скажут, что причина именно в полке, без корректного плана проверки. Сказать «сделаем A/B-тест» мало. Гипотезу формулируют так: полка при высоком совпадении с намерением сохранит или увеличит коммерческую выручку на тысячу показов и уменьшит падение качества органической воронки. А дальше нужны аудитория, контроль, вариант, период и критерий остановки.
Включать всех сразу не стоит: активные покупатели, узкие категории и брендовые запросы реагируют иначе, чем посетители главной. Начните с категории, где хватает подходящих товаров и понятен цикл покупки. Для редкой дорогой покупки недельного окна мало: заказы шумны, а повторная покупка приходит поздно. Зрелый кандидат сам спросит про размер выборки и равномерность трафика, исключит сотрудников и ботов, зафиксирует именно видимый показ и не станет завершать тест в день красивого графика: новизна интерфейса временно меняет поведение, поэтому после теста нужен постепенный выпуск и повторная проверка.
И не всё решается экспериментом. Если обязательство уже подписано, а полка нарушает маркировку или разрушает поиск, размещение ограничивают, пересогласовывают инвентарь или компенсируют объём в другом сценарии.
Слушайте логику, а не словарь
Всё это кандидат проговаривает вслух, и расслышать за терминами нужно именно логику. Оценивать удобнее по четырём осям, фиксируя наблюдения, а не общее впечатление. RICE, North Star и A/B-тест сами по себе, без связи с кейсом, ничего не доказывают.
Первая ось это постановка проблемы: сильный кандидат отделяет симптом от причины, видит конфликт и недостающие данные, слабый считает целью просто больше показов. Вторая ось это работа с пользователем: он называет намерение и сегменты, различает поиск и главную, тогда как на низком балле аудитория превращается в единую массу. Третья ось это экономическое мышление: кандидат связывает рекламу с маржой, каннибализацией, возвратами и долгосрочной ценностью, а не принимает доход партнёра за чистый прирост. Четвёртая ось это исполнение и измерение: описывает событие, эксперимент, владельцев, сроки и защитные показатели вместо обещания «посмотреть аналитику» без плана.
После монолога стоит изменить условия: партнёр требует гарантированный объём за две недели, в категории вдруг мало подходящего товара, органическая конверсия падает только у новых покупателей. Так видно, пересобирает ли кандидат решение или повторяет заготовку.
Фразы, которые прикрывают нехватку опыта
Тот же разбор помогает расслышать пустые формулировки, которыми закрывают пробел. Настораживает отсутствие механики за уверенными словами. «Сделаем персонализацию» без сигналов, исключений и проверки вреда пока не решение. «Поднимем CTR» не отвечает, чей это CTR, после какого показа и зачем нужен клик без заказа. «Соберём обратную связь» не говорит, у кого, после какой ситуации и как связать ответы с поведением.
Отдельный маркер неопытности это уверенная причинность без контроля. Зрелая формулировка звучит не как «падение продаж вызвано полкой», а как «полка одна из причин, сравним контроль и изменения ассортимента». Рискованно и обратное: добавлять блоки ради выручки, не задав предел частоты и не понимая, где они отнимают внимание у основной задачи. Есть и зеркальное упрощение: «рекламу надо убрать, потому что она раздражает». Полка полезна, когда помогает найти товар, экономит время и честно обозначена, поэтому проверять стоит не отношение к рекламе как таковой, а умение договориться о критериях полезности и проверить собственные допущения.
Что делает интервьюер во время разбора
Качество ответа во многом зависит от того, как ведёт себя сам интервьюер. В первые минуты не подсказывайте структуру: пауза помогает кандидату самому сформулировать рамку. Если он застопорился, предложите выбрать первые данные, но не перечисляйте метрики за него. На запрос вводных отвечайте последовательно: часть фактов дайте, часть оставьте неизвестной, чтобы увидеть работу с неопределённостью.
После интервью запишите наблюдения, а не впечатление вроде «мыслит стратегически»: назвал ли кандидат критическое действие, отделил ли инкрементальную выручку от перераспределения спроса, защитил ли доверие, объяснил ли план инженеру, аналитику и коммерческой команде. Интервьюеры сверяют оценки по конкретным фразам, а не усредняют настроение. Для роли руководителя продукта добавьте конфликт владельцев: продажи, поиск и аналитика защищают разные KPI, и хороший ответ содержит общий критерий, финального ответственного, ритуал пересмотра и право остановки при нарушении защитных метрик.
Что подготовить до следующего интервью
Чтобы такой разбор повторялся от кандидата к кандидату, его готовят заранее. Соберите короткий бриф, вводные, раскрываемые по запросу, и лист оценок с четырьмя осями. Проведите репетицию втроём: кандидат, интервьюер и наблюдатель, который отмечает подсказки, спрятанные в самой формулировке. Затем уберите лишние подсказки и согласуйте, что означает каждая оценка.
На самом интервью ищите цепочку: намерение пользователя, коммерческое ограничение, данные диагностики, гипотеза, эксперимент, защитные показатели и решение по результатам. Она показывает продуктовую зрелость точнее знакомых терминов и позволяет сравнивать кандидатов по наблюдаемым действиям, а не по уверенности речи.