产品介绍

ModelEngine提供从数据处理、知识生成，到模型微调和部署，以及RAG（Retrieval Augmented Generation）应用开发的AI训推全流程工具链，用于缩短从数据到模型、 数据到AI应用的落地周期。ModelEngine提供低代码编排、灵活的执行调度、高性能 数据总线等技术，结合内置的数据处理算子、RAG框架以及广泛的生态能力，为数据 开发工程师、模型开发工程师、应用开发工程师提供高效易用、开放灵活、开箱即 用、轻量的全流程AI开发体验。

ModelEngine产品包括数据使能、模型使能、应用使能模块，各模块功能定位如下：

数据使能：是用于文本、图像、文档等各类型数据处理的工具链，提供如数据清洗、数据评估、QA对生成、知识生成关键能力，为大模型训练和RAG应用提供语料和知识，应用场景如下：

● 面向大模型训练场景：提供数据处理工具链，解决用户高质量数据处理困难的问 题、缓解数据量不足的痛点，辅助模型训练提效。

● 面向大模型推理场景：提供知识库管理能力，解决行业用户领域知识生成与更新 的需求，知识生成能力，帮助用户更加有效落地大模型应用。

数据使能关键能力包括：

● 内置数据清洗算子，覆盖文本(PDF/DOC/DOCX/Markdown/MD/TXT/Html/XML/ JSON格式类型)、图像(PNG/JPG/BMP/JPEG格式类型)多模态数据清洗。

● 内置数据质量评估能力，对文本质量进行人工/自动化评估，对数据清洗效果产生 反馈，辅助优化数据清洗流程。

● 内置QA对生成能力，基于清洗后的文本数据与外置大模型服务，自动生成大模型 微调QA对，留用率60%；具备QA对自动评估/留用审核能力，大幅提升QA对审核 效率。

● 内置知识向量化功能，基于清洗后的文本数据，通过Embedding模型与向量数据 库服务，将纯文本数据转化为向量化知识，对接推理应用。

模型使能：是面向模型微调和模型推理的工具链，降低模型训练和推理门槛，主要应用场景如下：

● 模型训练：提供模型训练工具链，基于界面内配置方式，降低模型训练和微调难 度。

● 模型部署：提供模型评测、模型仓库、模型服务等功能，实现大模型部署、上线 和版本管理。

● 模型管理：提供模型权重管理、模型量化，训练后的checkpoints归档功能。

● 模型评测：提供利用第三方或者自定义评测数据对模型进行精度和性能评测的能 力。

模型使能关键能力包括：

● 提供训练引擎和推理引擎，支持开发者模型选型/评测、模型训练、模型管理和模 型推理；提供无代码操作、一键精调能力。

● 提供OpenAI标准推理接口，一键部署模型。

● 开放硬件生态，支持昇腾NPU；开放模型生态，支持safetensors格式模型权重。

应用使能：是为AI应用提供一站式开发、调试和部署的工具，帮助快速构建高准确率的AI应用，主要应用场景如下：

● 应用开发：提供完整的应用编排框架以及丰富的内置插件，支持用户快速创建AI 应用。

● 应用调试：提供黑盒与白盒两种调试方式，支持用户快速定位问题。

● 应用部署：对调试成功的应用提供快速部署的能力，支持公共URL及北向API两种 访问方式。

应用使能关键能力包括：

● 面向开发者的一站式AI应用开发、调试和部署框架，支持私域安全部署。

● 面向普通用户的零代码、可视化RAG应用编排框架。

如何参与贡献

https://gitcode.com/ModelEngine/ModelEngineCommunity/blob/main/如何参与贡献.md

公众号

B站视频号

项目邮箱：modelengine@163.com