Google опубликовал список всех изменений в спецификации robots.txt

В рамках работы по переводу Robots Exclusion Protocol (REP) в разряд официальных интернет-стандартов Google обновил свою документацию по robots.txt.

??Updated Google's Robots.txt spec to match REP draft?? ?Follows 5 redirect hops??No crawl restrictions if unavailable >30 days??Unsuccessful requests=server error?500 KiB size limit?Supports URI-based protocolsFull list of changes: https://t.co/GXd6FWt2D0 #robotstxt25

— Lizzi Harvey (@LizziHarvey) July 1, 2019

Все изменения перечислены в новом разделе «What changed» на странице Robots.txt Specifications. В их числе значатся следующие:

  • Удалён раздел «Язык требований»;
  • Robots.txt теперь принимает все протоколы на основе URI;
  • Google выполняет минимум пять повторений для переадресации. Если файл robots.txt не найден, цикл прекращается и регистрируется ошибка 404. Обработка логических переадресаций к файлу robots.txt на основе HTML-содержания, возвращающего коды 2xx (переадресации на основе фреймов, JavaScript или метатегов обновления) не рассматривается.
  • Что касается ошибок 5xx, то если robots.txt недоступен более 30 дней, используется последняя копия, сохранённая в кеше. Если она недоступна, Google заключает, что никаких ограничений сканирования не предусмотрено.
  • Google обрабатывает неудачные запросы или неполные данные как ошибку сервера.
  • «Записи» теперь называются «строками» или «правилами», в зависимости от ситуации.
  • Google не поддерживает обработку элементов с простыми ошибками или опечатками (например, «useragent» вместо «user-agent»).
  • В настоящее время Google обрабатывает файлы robots.txt, размер которых составляет до 500 кибибайт (КиБ), и игнорирует контент, который превышает это ограничение.
  • Обновлён формальный синтаксис, чтобы он был действительно расширенной формой Бэкуса-Наура (ABNF) в соответствии с RFC5234 и охватывал символы UTF-8 в файле robots.txt.
  • Обновлено определение «групп», чтобы оно стало короче и лаконичнее. Добавлен пример для пустой группы.
  • Удалены ссылки на устаревшую схему сканирования Ajax.

В русскоязычной версии документа эти изменения пока не отражены.

Напомним, что на днях Google также открыл исходный код своего парсера для robots.txt.



Коды для вставки в блог\форум




Интересные новости
Телеканалы покидают Украину: провайдер заявил об их отключенииТелеканалы покидают Украину: провайдер заявил об их отключении
Германия заявила об усилении кибератак из РФ перед выборами в БундестагГермания заявила об усилении кибератак из РФ перед выборами в Бундестаг
Женщины массово судятся с Pornhub из-за опубликованных видео с нимиЖенщины массово судятся с Pornhub из-за опубликованных видео с ними
Украинские хакеры нанесли компаниям из США и Кореи ущерб на полмиллиарда долларовУкраинские хакеры нанесли компаниям из США и Кореи ущерб на полмиллиарда долларов
В Китае закрывают последних легальных майнеров — власти Сычуани приказали прекратить добычу по всей провинцииВ Китае закрывают последних легальных майнеров — власти Сычуани приказали прекратить добычу по всей провинции
Блок рекламы


Похожие новости

Google, Facebook, Amazon и другие поддержали введение регулярных отчётов о влиянии компаний на климат
Google гарантировала британскому регулятору, что не монополизирует рекламу в Chrome после отказа от CookieGoogle гарантировала британскому регулятору, что не монополизирует рекламу в Chrome после отказа от Cookie
Франция оштрафовала Google на 220 миллионов евро. Причина — монополия на рынке рекламыФранция оштрафовала Google на 220 миллионов евро. Причина — монополия на рынке рекламы
Антимонопольное расследование в отношении новостной платформы Google News Showcase начато в ГерманииАнтимонопольное расследование в отношении новостной платформы Google News Showcase начато в Германии
Рада приняла законопроект о "налоге на Google"Рада приняла законопроект о "налоге на Google"
Google снова позволит рекламировать криптовалютные биржи и сервисы на своих площадкахGoogle снова позволит рекламировать криптовалютные биржи и сервисы на своих площадках
Google пообещала не делать бэкдоров в заменителе Cookie для собственной выгодыGoogle пообещала не делать бэкдоров в заменителе Cookie для собственной выгоды
В Google Docs появилась одна из полезных функций Word 97В Google Docs появилась одна из полезных функций Word 97
Google заплатил АМКУ 1 миллион гривен штрафаGoogle заплатил АМКУ 1 миллион гривен штрафа
Сервис Google Photos станет платнымСервис Google Photos станет платным
Последние новости

Подгружаем последние новости