Google открыл исходный код своего парсера для robots.txt

В рамках инициативы по переводу Robots Exсlusion Protocol (REP) в разряд официальных стандартов Google открыл исходный код своего парсера для robots.txt.

В частности, речь идёт о C++ библиотеке, которую системы Google используют для парсинга и сопоставления правил в файлах robots.txt.

Эта библиотека существует уже около 20 лет и содержит фрагменты кода, которые были написаны ещё в 90-х. С тех пор библиотека претерпела изменения: Google узнал больше о том, как вебмастера заполняют файлы robots.txt, и о краевых случаях, которые тоже нужно охватить. Все эти изменения были добавлены в проект спецификации REP, поданный в IETF.

Google также добавил в пакет с открытым исходным кодом инструмент тестирования, чтобы разработчики могли протестировать несколько правил.

Ознакомиться с библиотекой можно в репозитории для парсера robots.txt на GitHub. Своими впечатлениями вебмастера смогут поделиться там же.



Коды для вставки в блог\форум




Интересные новости
В США ввели чрезвычайное положение после кибератаки на бензопровод Colonial, за хакерами может стоять РоSSияВ США ввели чрезвычайное положение после кибератаки на бензопровод Colonial, за хакерами может стоять РоSSия
Маячок Apple AirTag впервые взломали — на это потребовалось менее 10 днейМаячок Apple AirTag впервые взломали — на это потребовалось менее 10 дней
Хакер наводнил сеть TOR тысячами вредоносных серверов для кражи криптовалюты у пользователейХакер наводнил сеть TOR тысячами вредоносных серверов для кражи криптовалюты у пользователей
Крупнейший оператор нефтепровода в США подвергся кибератакеКрупнейший оператор нефтепровода в США подвергся кибератаке
Ethereum установил новый рекорд — его цена достигла $3,67 тысячEthereum установил новый рекорд — его цена достигла $3,67 тысяч
Блок рекламы


Похожие новости

Google начнёт автоматически включать двухфакторную аутентификацию, чтобы повысить безопасность пользователейGoogle начнёт автоматически включать двухфакторную аутентификацию, чтобы повысить безопасность пользователей
Аргентинский Google упал на несколько часов из-за непродлённого домена — местный житель купил его всего за $6Аргентинский Google упал на несколько часов из-за непродлённого домена — местный житель купил его всего за $6
Google изменил название рейтинга из-за того, что назвал борщ русскимGoogle изменил название рейтинга из-за того, что назвал борщ русским
Антимонопольный комитет оштрафовал Google на 1 млн гривенАнтимонопольный комитет оштрафовал Google на 1 млн гривен
Google продлила период бесплатного использования сервиса видеоконференций Meet до 30 июняGoogle продлила период бесплатного использования сервиса видеоконференций Meet до 30 июня
В Google Картах появилась навигация внутри помещений с элементами дополненной реальностиВ Google Картах появилась навигация внутри помещений с элементами дополненной реальности
Google введет налоги для youtube-блогеровGoogle введет налоги для youtube-блогеров
Рада приняла за основу законопроект о "налоге на Google"Рада приняла за основу законопроект о "налоге на Google"
Гетманцев рассказал, как Украина будет облагать налогом Google, Facebook и NetflixГетманцев рассказал, как Украина будет облагать налогом Google, Facebook и Netflix
Поисковик Google получит тёмную тему в настольных браузерахПоисковик Google получит тёмную тему в настольных браузерах
Последние новости

Подгружаем последние новости