Новый алгоритм Google создаёт оригинальный контент из содержимого сайтов

Google опубликовал научную статью, посвящённую новому алгоритму, который способен брать содержимое разных сайтов и на его основе создавать «логически согласованные» статьи. Генерируя оригинальный контент, новый алгоритм может отвечать на вопросы пользователей, не перенаправляя их на другие сайты.

Как работает новый алгоритм

На первом этапе новый алгоритм обобщает веб-контент, используя алгоритм, который «извлекает» контент сайта, а затем отсекает нерелевантные части – подобно алгоритмам, которые используются для создания готовых ответов (featured snippets).

Результаты, генерируемые с помощью этого алгоритма, в статье называются «извлекаемыми сводками» (Extractive Summaries), поскольку они состоят из контента, извлечённого из веб-страниц. По сути, эти сводки представляют собой выборку самых важных предложений, имеющих отношение к вопросу пользователя.

На втором этапе новый алгоритм использует ещё один вид алгоритма под названием Abstractive Summary, который является формой перефразирования. Недостатком искусственного перефразирования является тот факт, что практически треть таких сводок содержит фейковые факты.

Согласно статье, исследователи Google нашли способ объединить лучшие стороны обоих подходов. Они используют Extractive Summaries для извлечения самых важных фактов из веб-документов, а затем применяют Abstractive Summary для перефразирования этого контента. В результате получается новый документ, основанный на информации, найденной в интернете. Таким образом Google создаёт собственную версию Wikipedia.

Featured Snippets – это первый шаг

Блоки с ответами – это пример Extractive Summarization, описанного выше. Новый двухфазный алгоритм может применяться для книг, открытых баз данных, а также любых публичных веб-страниц.

В исследовании в качестве поисковых запросов использовались темы из Wikipedia, а в качестве источника «извлекаемых сводок» – результаты поиска Google. Алгоритм затем перефразировал этот контент для создания совершенно новых статей. Алгоритм также проводил параллельный тест, генерируя второй набор статей, используя только ссылки, упоминаемые Wikipedia.

Результаты эксперимента

Подводя итоги, исследователи отмечают, что эксперимент был успешным. Google может создавать свой собственный контент путём обобщения содержимого веб-страниц, тем самым отвечая на вопрос пользователя и не перенаправляя его на другие сайты.

Когда Google начнёт применять этот алгоритм, в статье не уточняется.

Ознакомиться с новой разработкой Google можно здесь: Generating Wikipedia by Summarizing Long Sequences