Google хочет сделать Robots Exclusion Protocol официальным стандартом

Google заявил, что хочет сделать Robots Exclusion Protocol (REP) официальным стандартом. Для этого компания вместе с создателем протокола, вебмастерами и другими поисковыми системами задокументировала, как REP используется в современном вебе, и подала проект спецификации на рассмотрение в Инженерный совет интернета (англ. Internet Engineering Task Force, IETF).

Протокол исключений для роботов был разработан голландским инженером Мартейном Костером (Martijn Koster) в 1994 году. Он позволяет ограничивать поисковым роботам доступ к содержимому на сервере при помощи текстового файла robots.txt, находящегося в корне сайта.

За 25 лет своего существования REP стал стандартом, но де-факто. А это значит, что разработчики могут интерпретировать его по-разному. Кроме того, протокол никогда не обновлялся, чтобы соответствовать современным реалиям. При этом статус неофициального стандарта затрудняет правильное написание правил.

Однако в скором времени REP может, наконец, обрести официальный статус:

Today we're announcing that after 25 years of being a de-facto standard, we worked with Martijn Koster (@makuk66), webmasters, and other search engines to make the Robots Exclusion Protocol an official standard!https://t.co/Kcb9flvU0b

Google Webmasters (@googlewmc) July 1, 2019

After 25 years, robots.txt is slowly becoming a standard! A real one! It took so much work to make this happen, but we're finally there! https://t.co/8yoiyOOZJM

— Gary "??" Illyes (@methode) July 1, 2019

Стоит отметить, что в техническом плане после перехода REP в разряд официальных стандартов для вебмастеров ничего не изменится:

No, nothing at all

— Gary "??" Illyes (@methode) July 1, 2019

В спецификации Google также обновил расширенную форму Бэкуса-Наура, чтобы лучше определить синтаксис robots.txt.







Интересные новости
Перша українська криптобіржа Kuna закрила депозити та оголосила дату припинення роботиПерша українська криптобіржа Kuna закрила депозити та оголосила дату припинення роботи
Блок рекламы


Похожие новости

Google програв судовий процес щодо антимонопольного штрафу ЄС у розмірі $2,7 млрдGoogle програв судовий процес щодо антимонопольного штрафу ЄС у розмірі $2,7 млрд
Google заплатив Apple $20 млрд, щоб стати стандартним пошуковиком у SafariGoogle заплатив Apple $20 млрд, щоб стати стандартним пошуковиком у Safari
Google планує стягувати плату за пошукову систему на основі ШІGoogle планує стягувати плату за пошукову систему на основі ШІ
Чатбот зі штучним інтелектом від Google вже доступний в Україні: що він можеЧатбот зі штучним інтелектом від Google вже доступний в Україні: що він може
Axios: Як Google намагається протистояти у сфері ШІ компаніям Microsoft та OpenAIAxios: Як Google намагається протистояти у сфері ШІ компаніям Microsoft та OpenAI
Google помилково відіслала деяким користувачам Google Pay від $10 до $1000Google помилково відіслала деяким користувачам Google Pay від $10 до $1000
Google порахував, скільки мільярдів доходу отримали українські стартапи у 2022 роціGoogle порахував, скільки мільярдів доходу отримали українські стартапи у 2022 році
«Податок на Google»: Держбюджет вже отримав 6,3 мільярда«Податок на Google»: Держбюджет вже отримав 6,3 мільярда
Google запускає чат-бот Bard для конкуренції з ChatGPTGoogle запускає чат-бот Bard для конкуренції з ChatGPT
Фонд держмайна починає співпрацю з Google: що це значитьФонд держмайна починає співпрацю з Google: що це значить
Последние новости

Подгружаем последние новости