Google расширил действие правил для Mediapartners-Google
Строка в robots.txt, которую вы ставили под AdSense, теперь достает и до Ad Manager. Полного списка затронутых продуктов Google не дал — только два примера.
Правила для Mediapartners-Google в robots.txt задевают теперь не один AdSense. Google переписал справку по особым краулерам: тот же user-agent отвечает за разные рекламные продукты, и рядом с AdSense в примерах стоит Ad Manager.
Как устроено. Старая формулировка звучала так: «Настройки сканирования, адресованные user-agent Mediapartners-Google, влияют на Google AdSense. Краулер AdSense заходит на сайты-участники, чтобы подобрать им подходящую рекламу». Новая перевернула порядок и расширила охват: «Краулер Mediapartners-Google заходит на сайты-участники, чтобы подобрать им подходящую рекламу. Настройки сканирования, адресованные user-agent Mediapartners-Google, влияют на разные рекламные продукты Google (например, Google AdSense и Google Ad Manager)». Токен в robots.txt остался прежним, а глобальное правило со звездочкой этот краулер не читает.
Что меняется. Раньше строка с этим user-agent читалась как решение по AdSense. Теперь она достает и до Ad Manager, то есть до сайтов, которые продают инвентарь мимо AdSense. Звездочка тут не спасает и не мешает: краулер ее игнорирует, так что общий запрет в robots.txt его никогда не касался. Работает только адресное правило — и бьет оно шире, чем год назад.
Чего в анонсе нет. Полного списка продуктов. Дальше двух примеров справка не идет. Открытыми остаются Google Marketing Platform, Local Services Ads и AdMob — на эти три указывает Search Engine Journal. Даты изменения и объяснения, зачем Google расширил формулировку, в справке тоже нет.
Откройте robots.txt своих сайтов и найдите строку Mediapartners-Google. Если рядом с ней стоит disallow, вы закрываете уже не только AdSense: тем же правилом вы отрезаете Ad Manager, а это другой доход и другие площадки. Проверьте это на всех проектах, где монетизация идет мимо одного AdSense, — на контентниках и на сетках с прямыми продажами инвентаря. Разрешение краулеру ставьте адресно: общее правило со звездочкой он не читает и наследовать его не станет. И держите в уме, что списка Google не дал: правило может задеть и другие рекламные продукты компании.
Материалы по теме
ЦБ: часть магазинов забрала покупателей маркетплейсов, но падение онлайн-продаж не перекрыла
Импортеры закупают ноутбуки в Китае на 10% дороже: какие модели подорожают сильнее и когда это заметят покупатели
Вставить свои 5 копеек: