Вышел txtai 4.0 — семантический поиск на основе искусственного интеллекта

Добавили поддержку SQL, хранилище контента и объектов, переиндексацию и многое другое.

Дмитрий Зверев

Любитель научной фантастики и технологического прогресса. Хорошо сочетает в себе заумного технаря и утончённого гуманитария. Пишет про IT и радуется этому.

Txtai использует машинное обучение для преобразования данных, чтобы создавать приложения с семантическим поиском на базе искусственного интеллекта.

Версия 4.0 — это мажорное обновление с большим количеством новых фич. Этот релиз добавляет хранилище контента, SQL-очереди, хранилище объектов, переиндексацию, сжатие индексов, внешние векторы и прочие полезные функции.

Контент теперь может быть сохранён вместе с embedding-векторами, которые используются для обучения нейросети. Больше не нужно создавать внешние хранилища данных.

Txtai стал поддерживать запросы для обычного языка и для SQL. Например, ниже представлен код для обоих запросов:

embeddings.search("feel good story")
SELECT id, text, score FROM txtai WHERE similar('feel good story') AND score >= 0.15

Бинарные объекты теперь можно хранить вместе с embedding-векторами. Это также упрощает работу разработчиков и обучение нейросети.

Индексы можно переписать, используя сохранённый контент. Заново отправлять данные в txtai больше нет необходимости. Ещё индексы можно сжать с помощью GZ/XZ/BZ2/ZIP.

Разработчики могут использовать внешние модели векторов из API или библиотек. Это добавит гибкость в обучение нейросети — например, можно производить вычисления на удалённых серверах.

Подробнее познакомиться со всеми обновлениями можно на официальной странице Github, а безопасно протестировать возможности txtai 4.0 — на Google Colab.

Читайте также: