Darpa разрабатывает поисковую систему по «теневому» интернету

Агентство по перспективным оборонным научно-исследовательским разработкам США (DARPA) разрабатывает новую поисковую систему, призванную облегчить поиск скрытого контента в так называемом «теневом» интернете. Над проектом, получившим название Memex, сейчас трудится 17 независимых команд разработчиков.

Руководитель проекта доктор Крис Уайт (Chris White) в качестве основной проблемы, которую пытаются решить разработчики, назвал шаблонный универсальный подход к интернету. В рамках этого подхода результаты поиска основаны на потребительской рекламе и ранжировании.

Как известно, поисковые системы, такие как Bing и Google, способны индексировать только около 5% всего интернета.

Memex призван охватить контент миллионов сайтов, которые игнорируются коммерческими поисковиками, а также тысяч недокументированных веб-ресурсов, которые функционируют в TOR-сетях, позволяющих устанавливать анонимное сетевое соединение и получать доступ к информации, заблокированной интернет-цензурой.

Путём индексирования скрытых сайтов, специалисты DARPA надеются выявить паттерны и закономерности пространства «теневого» интернета. В конечном итоге, эта информация сможет помочь правоохранительным органам отслеживать незаконную деятельность.

Другая цель проекта связана с получением более точной оценки количества скрытых сайтов, работающих в сети TOR. По словам Уайта, по предварительным оценкам агентства их количество составляло до 10 тысяч интернет-ресурсов. Сейчас специалисты проекта уверены, что более точная цифра – около 40 тыс. сайтов.

Проект Memex находится в работе в течение последнего года. На текущий момент, в тестировании задействованы 8 паттернов и отлаживаемых прототипов, но их детали раскрыты не были.