Расширение возможностей искусственного интеллекта: Google Cloud интегрирует векторный поиск в управляемые базы данных

Домашняя страница InfoQ Новости Расширение возможностей искусственного интеллекта: Google Cloud интегрирует векторный поиск в управляемые базы данных

9 июля 2023 г., чтение на 2 минуты

к

Ренато Лосио

Google Cloud недавно добавил поддержку pgvector в Cloud SQL для PostgreSQL и AlloyDB для PostgreSQL. Расширение переносит операции поиска векторов в управляемые базы данных, позволяя разработчикам хранить векторные представления, созданные с помощью больших языковых моделей (LLM), и выполнять поиск по сходству.

Cloud SQL и AlloyDB теперь можно использовать в сочетании с генеративными службами искусственного интеллекта на Vertex AI, помогая создавать приложения с поддержкой искусственного интеллекта, которые знают о приложении и состоянии пользователя. Сандхья Гай, старший менеджер по продукту Google, и Бала Нарасимхан, менеджер по продукту Google, объясняют:

Векторные внедрения — это числовые представления, обычно используемые для преобразования сложного пользовательского контента, такого как текст, аудио и видео, в форму, которую можно легко хранить, манипулировать и индексировать. Эти представления генерируются моделями внедрения, так что, если две части контента семантически похожи, их соответствующие внедрения располагаются рядом друг с другом в векторном пространстве внедрения. Векторные внедрения затем индексируются и используются для эффективной фильтрации данных на основе сходства.

Например, разработчики могут использовать предварительно обученные модели Vertex AI для текста и изображений для создания вложений, а также хранить и индексировать их в базе данных, упрощая поиск похожих записей.

Расширение pgvector теперь можно установить в существующую базу данных с помощью команды CREATE EXTENSION:

Источник: https://cloud.google.com/blog/products/databases/using-pgvector-llms-and-langchain-with-google-cloud-databases.

Новая функция также может помочь разработчикам использовать предварительно обученных LLM, как объясняют Гай и Нарасимхан:

В отношении LLM следует отметить одну вещь: у них нет понятия государства. (...) Встраивания позволяют хранить в базе данных большие контексты, такие как документация или долгосрочные истории чатов, и фильтровать их для поиска наиболее актуальной информации. Затем вы можете передать в модель наиболее важные фрагменты истории чата или документации, чтобы имитировать долговременную память и знания, специфичные для бизнеса.

Google Cloud выпустил блокнот Colab и видео для создания приложений на базе искусственного интеллекта с использованием pgvector, платформы с открытым исходным кодом LangChain и LLM. Демонстрируя, как добавить генеративные функции ИИ в пример приложения Python, Сакет Саураб, старший инженер-программист Google, пишет:

Расширение pgvector также вводит новые операторы для сопоставления векторов по сходству, что позволяет находить семантически схожие векторы. Два таких оператора: '<->': возвращает евклидово расстояние между двумя векторами. (...)'<=>': возвращает косинусное расстояние между двумя векторами.

Google Cloud — не единственный поставщик облачных услуг, ориентированный на векторные базы данных за последние несколько месяцев: Amazon RDS для PostgreSQL поддерживает расширение pgvector, а Microsoft демонстрирует, как Azure Data Explorer (ADX) можно использовать в качестве векторной базы данных, и обсуждает несколько соединителей с векторными базами данных. .

Программируйте, развертывайте и масштабируйте Java по своему усмотрению. Microsoft Azure поддерживает вашу рабочую нагрузку, предлагая широкий выбор, независимо от того, работаете ли вы над приложением Java, сервером приложений или платформой. Узнать больше.

Написание статей для InfoQ открыло множество дверей и расширило возможности карьерного роста. для меня. Мне удалось тесно пообщаться с экспертами и лидерами мнений, чтобы узнать больше о темах, которые я освещал. И я также могу распространять свои знания среди более широкого технологического сообщества и понимать, как технологии используются в реальном мире.

Я открыл для себя программу для участников InfoQ в начале этого года и с тех пор наслаждаюсь ею! Помимо предоставления мне платформы для обмена знаниями с мировым сообществом разработчиков программного обеспечения, система коллегиального обзора InfoQ значительно улучшила мое письмо.