Google хочет сделать Robots Exclusion Protocol официальным стандартом

Google заявил, что хочет сделать Robots Exclusion Protocol (REP) официальным стандартом. Для этого компания вместе с создателем протокола, вебмастерами и другими поисковыми системами задокументировала, как REP используется в современном вебе, и подала проект спецификации на рассмотрение в Инженерный совет интернета (англ. Internet Engineering Task Force, IETF).

Протокол исключений для роботов был разработан голландским инженером Мартейном Костером (Martijn Koster) в 1994 году. Он позволяет ограничивать поисковым роботам доступ к содержимому на сервере при помощи текстового файла robots.txt, находящегося в корне сайта.

За 25 лет своего существования REP стал стандартом, но де-факто. А это значит, что разработчики могут интерпретировать его по-разному. Кроме того, протокол никогда не обновлялся, чтобы соответствовать современным реалиям. При этом статус неофициального стандарта затрудняет правильное написание правил.

Однако в скором времени REP может, наконец, обрести официальный статус:

Today we're announcing that after 25 years of being a de-facto standard, we worked with Martijn Koster (@makuk66), webmasters, and other search engines to make the Robots Exclusion Protocol an official standard!https://t.co/Kcb9flvU0b

Google Webmasters (@googlewmc) July 1, 2019

After 25 years, robots.txt is slowly becoming a standard! A real one! It took so much work to make this happen, but we're finally there! https://t.co/8yoiyOOZJM

— Gary "??" Illyes (@methode) July 1, 2019

Стоит отметить, что в техническом плане после перехода REP в разряд официальных стандартов для вебмастеров ничего не изменится:

No, nothing at all

— Gary "??" Illyes (@methode) July 1, 2019

В спецификации Google также обновил расширенную форму Бэкуса-Наура, чтобы лучше определить синтаксис robots.txt.



Коды для вставки в блог\форум




Интересные новости
В Польше готовят закон, запрещающий соцсетям блокировать пользователейВ Польше готовят закон, запрещающий соцсетям блокировать пользователей
Братья Уинклвоссы задумались об IPO для своей криптобиржиБратья Уинклвоссы задумались об IPO для своей криптобиржи
YouTube минимум на неделю заблокировал канал ТрампаYouTube минимум на неделю заблокировал канал Трампа
Facebook удалил десятки связанных с украинскими ОО и партией "Евросолидарность" аккаунтовFacebook удалил десятки связанных с украинскими ОО и партией "Евросолидарность" аккаунтов
ОО "Справа Громад" намерено обжаловать удаление связанных с ним профилей в FacebookОО "Справа Громад" намерено обжаловать удаление связанных с ним профилей в Facebook
Блок рекламы


Похожие новости

Facebook и Google договорились о совместной борьбе с антимонопольными исками, - WSJFacebook и Google договорились о совместной борьбе с антимонопольными исками, - WSJ
Антимонопольный иск против Google американский суд рассмотрит осенью 2023 годаАнтимонопольный иск против Google американский суд рассмотрит осенью 2023 года
В Google назвали причину сбоев в работеВ Google назвали причину сбоев в работе
YouTube и сервисы Google возобновили работу после сбояYouTube и сервисы Google возобновили работу после сбоя
Почти по всему миру внезапно перестали работать YouTube, Gmail и другие сервисы GoogleПочти по всему миру внезапно перестали работать YouTube, Gmail и другие сервисы Google
Евросоюз хочет заставить технологических гигантов фильтровать веб-контентЕвросоюз хочет заставить технологических гигантов фильтровать веб-контент
Минреинтеграции просит добавить крымско-татарский язык в Google TranslateМинреинтеграции просит добавить крымско-татарский язык в Google Translate
Что ищут украинцы в Google. Названы самые популярные запросы в 2020 годуЧто ищут украинцы в Google. Названы самые популярные запросы в 2020 году
December Core Update 2020 - Google обновляет алгоритмы поисковой системыDecember Core Update 2020 - Google обновляет алгоритмы поисковой системы
Google ухудшает условия пользования собственными сервисамиGoogle ухудшает условия пользования собственными сервисами
Последние новости

Подгружаем последние новости