Facebook открыл исходный код AI-инструмента для обработки текстов fastText
FAIR, AI-лаборатория компании Facebook,
В описании проекта говорится, что fastText – это библиотека для обучения представлениям слов и классификации предложений. Инструмент поддерживает несколько языков, включая английский, немецкий, испанский, французский и чешский.
«Для эффективной обработки массивов данных с большим количеством различных категорий fastText использует иерархический классификатор, который организовывает различные категории в древовидную структуру вместо плоской», — отмечают представители лаборатории.
По данным Facebook, fastText – более быстрый, чем традиционные методы глубокого обучения:
Технология обучается на более чем 1 млрд слов за менее чем 10 минут, используя стандартный многоядерный процессор. fastText также может классифицировать полмиллиона предложений по более чем 300 тыс. категорий менее чем за 5 минут.
Напомним, что в прошлом месяце Facebook запустил алгоритм для борьбы с кликбейтингом в новостной ленте. fast Text позволит разработчикам создавать подобные инструменты самостоятельно.