Neum AI

Neum AI 是一个数据平台，帮助开发人员通过检索增强生成（RAG）利用其数据为大型语言模型提供上下文支持。 这包括从文档存储和 NoSQL 等现有数据源提取数据，将内容处理为向量嵌入，并将向量嵌入摄入向量数据库以进行相似性搜索。

它为您提供了一套全面的 RAG 解决方案，能够随您的应用程序扩展，并减少集成数据连接器、嵌入模型和向量数据库等服务所花费的时间。

功能特点

• 🏭 高吞吐量分布式架构，可处理数十亿数据点。支持高度并行化，以优化嵌入生成和摄入过程。
• 🧱 内置数据连接器，适用于常见数据源、嵌入服务和向量存储。
• 🔄 数据源实时同步，确保您的数据始终保持最新。
• ♻ 可自定义的数据预处理，包括加载、分块和选择等环节。
• 🤝 统一数据管理，支持结合元数据的混合检索。Neum AI 会自动扩充和跟踪元数据，提供丰富的检索体验。

联系我们

您可以通过电子邮件（founders@tryneum.com）、Discord 或 安排与我们通话 与我们的团队取得联系。

快速开始

Neum AI 云平台

立即前往 dashboard.neum.ai 注册。请参阅我们的 快速入门指南 开始使用。

Neum AI 云平台支持大规模分布式架构，可处理数百万文档的向量嵌入生成。有关完整功能集，请参见：云平台与本地对比

本地开发

安装 neumai 包：

pip install neumai

要创建您的第一个数据管道，请访问我们的 快速入门。

从整体来看，一个管道包含一个或多个用于拉取数据的源、一个用于将内容向量化的嵌入连接器，以及一个用于存储上述向量的接收器连接器。 通过以下代码片段，我们将构建所有这些组件并运行一个管道：

  
  from neumai.DataConnectors.WebsiteConnector import WebsiteConnector
  from neumai.Shared.Selector import Selector
  from neumai.Loaders.HTMLLoader import HTMLLoader
  from neumai.Chunkers.RecursiveChunker import RecursiveChunker
  from neumai.Sources.SourceConnector import SourceConnector
  from neumai.EmbedConnectors import OpenAIEmbed
  from neumai.SinkConnectors import WeaviateSink
  from neumai.Pipelines import Pipeline

  website_connector =  WebsiteConnector(
      url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale",
      selector = Selector(
          to_metadata=['url']
      )
  )
  source = SourceConnector(
      data_connector = website_connector, 
      loader = HTMLLoader(), 
      chunker = RecursiveChunker()
  )

  openai_embed = OpenAIEmbed(
      api_key = "<OPEN AI KEY>",
  )

  weaviate_sink = WeaviateSink(
      url = "your-weaviate-url",
      api_key = "your-api-key",
      class_name = "your-class-name",
  )

  pipeline = Pipeline(
      sources=[source], 
      embed=openai_embed, 
      sink=weaviate_sink
  )
  pipeline.run()

  results = pipeline.search(
      query="What are the challenges with scaling RAG?", 
      number_of_results=3
  )

  for result in results:
      print(result.metadata)

  
  from neumai.DataConnectors.PostgresConnector import PostgresConnector
  from neumai.Shared.Selector import Selector
  from neumai.Loaders.JSONLoader import JSONLoader
  from neumai.Chunkers.RecursiveChunker import RecursiveChunker
  from neumai.Sources.SourceConnector import SourceConnector
  from neumai.EmbedConnectors import OpenAIEmbed
  from neumai.SinkConnectors import WeaviateSink
  from neumai.Pipelines import Pipeline

  website_connector =  PostgresConnector(
      connection_string = 'postgres',
      query = 'Select * from ...'
  )
  source = SourceConnector(
      data_connector = website_connector, 
      loader = JSONLoader(
          id_key='<your id key of your jsons>',
          selector=Selector(
              to_embed=['property1_to_embed','property2_to_embed'],
              to_metadata=['property3_to_include_in_metadata_in_vector']
          )
      ),
      chunker = RecursiveChunker()
  )

  openai_embed = OpenAIEmbed(
      api_key = "<OPEN AI KEY>",
  )

  weaviate_sink = WeaviateSink(
      url = "your-weaviate-url",
      api_key = "your-api-key",
      class_name = "your-class-name",
  )

  pipeline = Pipeline(
      sources=[source], 
      embed=openai_embed, 
      sink=weaviate_sink
  )

  pipeline.run()

  results = pipeline.search(
      query="...", 
      number_of_results=3
  )

  for result in results:
      print(result.metadata)

  from neumai.Client.NeumClient import NeumClient
  client = NeumClient(
      api_key='<your neum api key, get it from https://dashboard.neum.ai',
  )
  client.create_pipeline(pipeline=pipeline)

自托管

如果您有兴趣将 Neum AI 部署到自己的云环境，请通过 founders@tryneum.com 与我们联系。

我们已在 GitHub 上发布了一个示例后端架构，您可以将其用作起点。

可用连接器

有关最新列表，请访问我们的 文档

路线图

我们的路线图会根据需求不断演变，因此如果有任何遗漏，欢迎提出 issue 或给我们发送消息。

Neum 工具

可在此处找到 Neum AI 的其他工具：

• neumai-tools：包含用于在生成向量嵌入之前加载和分块数据的预处理工具。