Джонатон Флетчер и его JumpStation: веб-поиск задолго до Google

Сегодня нам порой кажется, что известнейшая поисковая система Google существовала всегда — между тем, она появилась только в 1998 году. Но, оказывается, самый настоящий веб-поисковик успешно функционировал ещё в 1994 году, задолго до возникновения Google, и его придумал британский программист Джонатон Флетчер.

В начале девяностых интернета, каким мы его знаем сегодня, не существовало: Сеть состояла из нескольких десятков тысяч текстовых страниц, объединённых в никак не связанные между собой блоки при помощи гиперссылок. Никакого поиска по этим страницам не было, и не зная точного адреса, найти нужную информацию было невозможно.

Первый в мире браузер с удобным графическим пользовательским интерфейсом, рассчитанный на операционную систему WIndows 3.1, был выпущен лишь в апреле 1993 года — он носил название NCSA Mosaic и был разработан в Национальном центре суперкомпьютерных приложений (NSCA) при Иллинойском университете в США. Это был первый браузер, способный демонстрировать изображения внутри самого текста, а не в отдельном окне.

В браузере Mosaic была специальная страница What’s New («Что нового»), на которой собиралась информация о новых сайтах, появившихся в Сети. Однако чтобы такая информация была добавлена разработчиками Mosaic, создатели сайта должны были обратиться с соответствующей просьбой в Национальный центр суперкомпьютерных приложений. Сегодня сложно это себе представить, но данные вносились в ручном режиме, и об оперативности мало кто задумывался.

Но присутствовала и другая проблема: поскольку этот своеобразный браузерный каталог формировался вручную, ни о каких обновлениях входивших в него сайтов узнать было невозможно. Изменения никак не индексировались, о новом контенте ничего не сообщалось, а ссылки быстро устаревали и становились недействительными.

Как раз в эти годы шотландский Университет Стёрлинга заканчивал талантливый студент Джонатон Флетчер (Jonathon Fletcher), обучавшийся по специальности «информатика» (computer science), который очень рассчитывал продолжить образование, поступив в аспирантуру Университета Глазго. Однако финансирование было урезано и Университет Глазго не смог принять нового аспиранта, поэтому Флетчер вернулся в alma mater и устроился на работу в технологический департамент Университета Стёрлина. Здесь он впервые столкнулся с интернетом и со страницей What’s New браузера Mosaic.

Работая над созданием университетского веб-сервера, Флетчер понял, насколько несостоятельна сама идея, положенная в основу страницы What’s New. Ручное добавление сайтов и невозможность отслеживания обновлений делали её практически бесполезной. А поскольку Флетчер был дипломированным специалистом как раз в области компьютеров, он решил написать программу, которая была бы способна автоматически индексировать изменения внесённых в список сайтов и позволяла бы осуществлять поиск по актуальным страницам.

Так на свет появился первый в мире поисковый робот, «веб-паук», а это именно та технология, которая лежит в основе всех современных поисковых систем, включая Google, «Яндекс», Yahoo и другие.

Флетчер назвал свою программу JumpStation. Она включала в себя список страниц, которые должен посетить поисковый робот, а также алгоритмы автоматической индексации и посещения всех гиперссылок, которые встречались ему на пути. Процесс должен быть продолжаться до тех пор, пока роботу больше некуда будет зайти. Флетчер быстро написал простой в использовании поисковый алгоритм по индексируемым страницам и разместил ссылку на свою страницу на What’s New. Спустя 10 дней после первого запуска JumpStation, 21 декабря 1993 года, «паук» остановился: он проиндексировал 25 тысяч страниц.

К июню 1994 года JumpStation проиндексировала уже 275 000 страниц. Интернет бурно развивался, и стали очевидны ограничения маленького университетского сервера: ёмкость винчестеров тогда была несоизмерима с современной, а сами жёсткие диски стоили очень дорого. Недостаток места вынудил Флетчера ограничить глубину индексирования только названиями страниц и заголовками опубликованных на них текстов, однако даже с такой нагрузкой существующее оборудование справлялось с трудом.

К сожалению, Университет Стёрлинга не мог обеспечить необходимое финансирование, а Флетчер не сумел убедить руководство в перспективности проекта JumpStation, поэтому он был постепенно свёрнут. К тому же, он не являлся основной работой Флетчера, который должен был заниматься системным администрированием и технической поддержкой университетских занятий. История JumpStation закончилась, когда Флетчеру предложили научную работу в Токио, от которой молодой специалист просто не мог отказаться.

Разумеется, поиск по компьютерным базам данных существовал задолго до интернета и робота Флетчера. Однако именно он придумал систему поиска в Сети со всеми её необходимыми компонентами, присущими современным поисковым движкам.

* * *

В отличие от создателей Google Сергея Брина и Ларри Пейджа, имя Джонатона Флетчера ни о чём не говорит даже специалистам. Сегодня Флетчер живёт в Гонконге, и о его вкладе в развитие Всемирной сети знают лишь бывшие сотрудники по Университету Стёрлинга.

Джонатон Флетчер (в середине) на конференции SIGIR 2013

И хотя Флетчер давно не работает в области обработки информации, бывшие коллеги не забыли о его существовании, и совсем недавно он был приглашён на международную конференцию по поиску информации SIGIR 2013, проходившую с 28 июля по 1 августа в ирландском городе Дублине. Первая же секция, открывшая форум, была посвящена 20-летию создания JumpStation — самого первого поискового движка в интернете, который работал и выглядел для пользователя практически так же, как и современные системы.

Джонатон Флетчер стал специально приглашённым гостем на этой конференции и он принял участие в обсуждении истории и перспектив веб-поиска с представителями Google, Microsoft и Yahoo. Флетчер предпочёл не касаться подробностей давно минувших дней, но заявил о важности самой идеи поиска в море данных. По его мнению, интернет отнюдь не вечен — в отличие от проблемы нахождения информации, и это желание искать и находить данные никак не зависит от конкретных носителей.

Двадцать лет назад Флетчер не смог заинтересовать своей идеей, намного опередившей своё время, ни университетское руководство, ни потенциальных инвесторов, и он остался в стороне от огромного международного бизнеса, который уже вполне обоснованно сравнивают с некоей надгосударственной спецслужбой. Тем не менее, не может не заслуживать уважения один тот факт, что ещё на заре интернета Флетчер смог реализовать на практике идею, которую с успехом эксплуатируют до сих пор.