Google хочет сделать Robots Exclusion Protocol официальным стандартом

Google заявил, что хочет сделать Robots Exclusion Protocol (REP) официальным стандартом. Для этого компания вместе с создателем протокола, вебмастерами и другими поисковыми системами задокументировала, как REP используется в современном вебе, и подала проект спецификации на рассмотрение в Инженерный совет интернета (англ. Internet Engineering Task Force, IETF).

Протокол исключений для роботов был разработан голландским инженером Мартейном Костером (Martijn Koster) в 1994 году. Он позволяет ограничивать поисковым роботам доступ к содержимому на сервере при помощи текстового файла robots.txt, находящегося в корне сайта.

За 25 лет своего существования REP стал стандартом, но де-факто. А это значит, что разработчики могут интерпретировать его по-разному. Кроме того, протокол никогда не обновлялся, чтобы соответствовать современным реалиям. При этом статус неофициального стандарта затрудняет правильное написание правил.

Однако в скором времени REP может, наконец, обрести официальный статус:

Today we're announcing that after 25 years of being a de-facto standard, we worked with Martijn Koster (@makuk66), webmasters, and other search engines to make the Robots Exclusion Protocol an official standard!https://t.co/Kcb9flvU0b

Google Webmasters (@googlewmc) July 1, 2019

After 25 years, robots.txt is slowly becoming a standard! A real one! It took so much work to make this happen, but we're finally there! https://t.co/8yoiyOOZJM

— Gary "??" Illyes (@methode) July 1, 2019

Стоит отметить, что в техническом плане после перехода REP в разряд официальных стандартов для вебмастеров ничего не изменится:

No, nothing at all

— Gary "??" Illyes (@methode) July 1, 2019

В спецификации Google также обновил расширенную форму Бэкуса-Наура, чтобы лучше определить синтаксис robots.txt.



Коды для вставки в блог\форум



Вспомним другие новости из этого раздела?


Internet и сети

←+Ctrl+→

Интересные новости
Google не советует возлагать большие надежды на трафик из ленты DiscoverGoogle не советует возлагать большие надежды на трафик из ленты Discover
Google уличили в сборе данных о здоровье «миллионов американцев»Google уличили в сборе данных о здоровье «миллионов американцев»
WordPress представила функцию платной подписки на контентWordPress представила функцию платной подписки на контент
Зарубежные вебмастера заметили признаки обновления алгоритма GoogleЗарубежные вебмастера заметили признаки обновления алгоритма Google
TripAdvisor и Expedia обвинили Google в снижении трафика на свои ресурсыTripAdvisor и Expedia обвинили Google в снижении трафика на свои ресурсы
Блок рекламы


Похожие новости

Джон Мюллер о ноябрьском обновлении алгоритма GoogleДжон Мюллер о ноябрьском обновлении алгоритма Google
Google News запускает новый раздел с аналитикой по важным темамGoogle News запускает новый раздел с аналитикой по важным темам
Антимонопольное расследование американских властей в отношении Google расширяется и затрагивает поисковик и AndroidАнтимонопольное расследование американских властей в отношении Google расширяется и затрагивает поисковик и Android
Google внёс изменения в свою RTB-технологию для усиления защиты данных пользователейGoogle внёс изменения в свою RTB-технологию для усиления защиты данных пользователей
В поиске Google теперь можно проверить и попрактиковать произношениеВ поиске Google теперь можно проверить и попрактиковать произношение
Googlebot рендерит страницу в среднем за 5 секунд после сканированияGooglebot рендерит страницу в среднем за 5 секунд после сканирования
Из-за бага в интерфейсе Google Мой бизнес не отображаются филиалыИз-за бага в интерфейсе Google Мой бизнес не отображаются филиалы
Регистраторов недвижимости обяжут проходить дополнительную авторизацию через Google Authentificator, - ДубилетРегистраторов недвижимости обяжут проходить дополнительную авторизацию через Google Authentificator, - Дубилет
Google Analytics расширил лимит на количество потоков данных для ресурсов App + WebGoogle Analytics расширил лимит на количество потоков данных для ресурсов App + Web
Google Data Studio запустил темы для отчётовGoogle Data Studio запустил темы для отчётов
Последние новости

Подгружаем последние новости