Google хочет сделать Robots Exclusion Protocol официальным стандартом

Google заявил, что хочет сделать Robots Exclusion Protocol (REP) официальным стандартом. Для этого компания вместе с создателем протокола, вебмастерами и другими поисковыми системами задокументировала, как REP используется в современном вебе, и подала проект спецификации на рассмотрение в Инженерный совет интернета (англ. Internet Engineering Task Force, IETF).

Протокол исключений для роботов был разработан голландским инженером Мартейном Костером (Martijn Koster) в 1994 году. Он позволяет ограничивать поисковым роботам доступ к содержимому на сервере при помощи текстового файла robots.txt, находящегося в корне сайта.

За 25 лет своего существования REP стал стандартом, но де-факто. А это значит, что разработчики могут интерпретировать его по-разному. Кроме того, протокол никогда не обновлялся, чтобы соответствовать современным реалиям. При этом статус неофициального стандарта затрудняет правильное написание правил.

Однако в скором времени REP может, наконец, обрести официальный статус:

Today we're announcing that after 25 years of being a de-facto standard, we worked with Martijn Koster (@makuk66), webmasters, and other search engines to make the Robots Exclusion Protocol an official standard!https://t.co/Kcb9flvU0b

Google Webmasters (@googlewmc) July 1, 2019

After 25 years, robots.txt is slowly becoming a standard! A real one! It took so much work to make this happen, but we're finally there! https://t.co/8yoiyOOZJM

— Gary "??" Illyes (@methode) July 1, 2019

Стоит отметить, что в техническом плане после перехода REP в разряд официальных стандартов для вебмастеров ничего не изменится:

No, nothing at all

— Gary "??" Illyes (@methode) July 1, 2019

В спецификации Google также обновил расширенную форму Бэкуса-Наура, чтобы лучше определить синтаксис robots.txt.



Коды для вставки в блог\форум




Интересные новости
Верховный суд Бразилии оштрафовал Facebook на $368 тысячВерховный суд Бразилии оштрафовал Facebook на $368 тысяч
Отчёт Alphabet: доходы Google упали впервые в истории, но YouTube это не коснулосьОтчёт Alphabet: доходы Google упали впервые в истории, но YouTube это не коснулось
Задержаны подозреваемые в недавнем взломе Twitter. Предполагаемому организатору хакерской атаки 17 летЗадержаны подозреваемые в недавнем взломе Twitter. Предполагаемому организатору хакерской атаки 17 лет
Microsoft подтвердила намерение купить TikTokMicrosoft подтвердила намерение купить TikTok
Инвесторы оценили TikTok в $50 миллиардовИнвесторы оценили TikTok в $50 миллиардов
Блок рекламы


Похожие новости

Сила монополии: Google удалит всю лицензионную датскую музыку с YouTubeСила монополии: Google удалит всю лицензионную датскую музыку с YouTube
Отчёт Alphabet: доходы Google упали впервые в истории, но YouTube это не коснулосьОтчёт Alphabet: доходы Google упали впервые в истории, но YouTube это не коснулось
Сотрудники Google будут работать удаленно до июля 2021 годаСотрудники Google будут работать удаленно до июля 2021 года
Стив Возняк подал в суд на YouTube и Google. От его имени раздают биткоиныСтив Возняк подал в суд на YouTube и Google. От его имени раздают биткоины
Google уличили в предвзятом ранжировании результатов поиска. СноваGoogle уличили в предвзятом ранжировании результатов поиска. Снова
Google впервые будет платить СМИ за новостиGoogle впервые будет платить СМИ за новости
Google выплатит по $1000 всем сотрудникам, работающим из домаGoogle выплатит по $1000 всем сотрудникам, работающим из дома
Сотрудники Google, Facebook и других гигантов будут работать из дому до конца годаСотрудники Google, Facebook и других гигантов будут работать из дому до конца года
После 19 лет работы из Google ушел главный "серый кардинал" компанииПосле 19 лет работы из Google ушел главный "серый кардинал" компании
Google провёл ребрендинг Hangouts Chat и Hangouts MeetGoogle провёл ребрендинг Hangouts Chat и Hangouts Meet
Последние новости

Подгружаем последние новости