Наши рекомендации по robots.txt
09.06.2016
Уважаемые клиенты!
Если вы используете только платный, рекламный трафик, то мы рекомендуем вам закрывать от индексации поисковыми системами ваши лендинги.
Для этого откройте каталог с лендингом в редакторе шаблонов, и прямо в корне каталога (на одном уровне с папками files, pages) создайте файл robots.txt следующего содержания
User-agent: * Disallow: /
После чего убедитесь, что все работает корректно. Например, если ваш домен называется example.com, то по ссылке http://example.com/robots.txt вы должны увидеть содержимое своего файла robots. Также можете проверить ваш файл robots.txt тут https://webmaster.yandex.ru/robots.xml
По ряду причин мы настоятельно рекомендуем сделать это всем клиентам, кто не рассчитывает на поисковый трафик.