Google Caffeine использует новую файловую систему

Ведущий инженер Google Мэтт Каттс (Matt Cutts) раскрыл ряд деталей, проливающих свет на новый поисковый движок Caffeine, открытый для публичного тестирования неделю назад, сообщает The Register.

Первоначальная информация, опубликованная в корпоративном блоге компании, была довольно скудной. Гугляне пояснили, что несколько месяцев работали над архитектурой веб-поиска нового поколения, что целью является усовершенствование работы по таким параметрам как скорость, точность и полнота и что изменения эти скрыты от пользователей, которые в большинстве случаев не должны заметить разницы между нынешним и новым движками.

Различия, между тем, имеются: во-первых, движки нередко выдают ссылки в результатах поиска в слегка отличающихся порядках, а во-вторых, Caffeine на поверку оказался чуть ли не вдвое быстрее.

В интервью журналистам The Register Каттс пояснил, что Caffeine в своей работе использует "множество технологий", в том числе файловую систему нового поколения, которую он назвал GFS2 (Google File System 2). Над новой файловой системой в Google работают около двух лет, и рано или поздно она должна вытеснить нынешнюю GFS, которая за десяток лет морально устарела. GFS2 должна оказать положительный эффект не только на веб-поиск, но и на такие гуглосервисы как GMail и YouTube.

Вполне чётко высказавшись насчёт файловой системы, Каттс, однако, не подтвердил предположения интервьюеров о разработке новых поколений системы распределённых вычислений MapReduce и базы данных BigTable. Тем не менее он заверил, что в Google тестируют множество программных платформ, которые рано или поздно будут использоваться в онлайновой инфраструктуре компании. Речь идёт как об усовершенствовании старых инструментов, так и о добавлении новых.

Также Каттс пояснил, что в Caffeine используется полностью переписанная система индексирования веб-сайтов. Улучшилась скорость работы не только при выдаче результатов (то есть при чтении данных), но и при собственно индексации.

"Она на самом деле великолепна, — говорит Каттс о системе индексирования. — Она даёт нам намного больше гибкости, намного больше возможностей. Возможность индексировать больше документов. Скорости индексации — то есть, насколько быстро можно занести документ в нашу систему индексирования и сделать его доступным для поиска — гораздо, гораздо лучше".

Судя по всему, можно надеяться, что с введением Caffeine в действие частично или полностью решится известная проблема Google, связанная с временным выпадением части страниц из результатов поиска во время переиндексации сайтов.

О том, когда гугловый веб-поиск получит заряд кофеина, в компании пока не говорят. Однако Каттс уверяет, что когда код нового движка будет вылизан, замена старого поиска на новый пройдёт максимально безболезненно. Гугляне будут просто постепенно отключать от общей системы по одному дата-центру, заменять на них софт и подключать обратно.

Пока же Coffeine трудится только на одном дата-центре, и любой желающий может испытать его в действии. В Google будут рады отзывам о работе нового поискового движка, но на данном этапе здесь интересуются только сообщениями об отличиях в выдачах результатов между нынешним и новым движками.