Bing: мы никогда не поддерживали директиву noindex в robots.txt
Bing никогда не поддерживал noindex в robots.txt – в отличие от Google. Поэтому отказ от поддержки этой директивы, запланированный Google, никак не отразится на работе Bing.
Об этом заявил сотрудник поиска Фредерик Дубут (Frеdеric Dubut) в Twitter.
We don't support it. And logically it will not change. ?
— Fr?d?ric Dubut (@CoperniX)
The undocumented noindex directive never worked for so this will align behavior across the two engines. NOINDEX meta tag or HTTP header, 404/410 return codes are all fine ways to remove your content from .
— Fr?d?ric Dubut (@CoperniX)
Напомним, что с 1 сентября Google перестанет поддерживать директиву noindex в файле robots.txt.
В настоящее время компания работает над тем, чтобы перевести Robots Exclusion Protocol, использующий файл robots.txt, в разряд официальных интернет-стандартов. В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.
Microsoft погрожує конкурентам Bing закрити доступ до даних, на основі яких ті створюють інструменти з ШІ – Bloomberg
