基于上游社区源码进行鲲鹏优化适配的补丁仓

e5c22273创建于 4 天前17次提交

文件	最后提交记录	最后更新时间
docs	add en documentation	4 天前
.gitignore	Initial commit	9 个月前
0001-boostsra-tensorflow-serving.patch	update serving patch to 1230	6 个月前
LICENSE	Initial commit	9 个月前
README.md	add en documentation	4 天前
README_en.md	add en documentation	4 天前

鲲鹏TensorFlow Serving介绍

项目介绍

鲲鹏TensorFlow Serving是专为鲲鹏TensorFlow优化的高性能推理服务组件，作为端到端推理benchmark系统的一部分，是推理服务端组件，它的主要职责是：

角色定位：作为端到端推理benchmark系统的一部分，负责加载、管理并执行TensorFlow模型。
接口能力：提供gRPC/REST接口，接受客户端（如Tritonserver-client）发出的推理请求。
系统集成：TensorFlow Serving内部基于鲲鹏TensorFlow执行模型，包括Executor、Kernel、XLA等优化机制。
性能测试：是端到端评估的关键对象，通过对其运行性能进行监控，可以分析模型延迟、吞吐量、线程调度效率及资源利用率。

鲲鹏TensorFlow Serving排序推理加速库是华为提供的基于鲲鹏平台优化的排序推理加速库，主要包括如下两个特性：

线程调度优化

TensorFlow Serving线程调度优化特性是鲲鹏针对高并发场景下，TensorFlow多Session共享算子间线程池严重降低整图计算效率问题提出的优化方案。通过改进算子调度算法，并加入了线程管理优化，有效提升高并发场景下的模型推理吞吐量。
ANNC图编译优化

ANNC 是专注于加速神经网络计算的编译器，聚焦于通过计算图优化，高性能融合算子生成和对接技术，高效代码生成和优化能力，加速推荐的推理性能。

关于鲲鹏TensorFlow Serving特性的详细介绍请参见《鲲鹏TensorFlow Serving特性介绍》。

目录结构

TensorFlow Serving开源仓项目全量目录层级介绍如下：

TensorFlow Serving
├── 0001-boostsra-tensorflow-serving.patch    // TensorFlow Serving补丁文件
├── LICENSE                                   // License文件
├── README.md                                 // 开源仓介绍
└── docs                                      // 文档

版本说明

关于鲲鹏TensorFlow Serving的版本更新情况请参见《版本说明书》。

学习文档

学习资源类别	学习资源名称	学习资源简介
文档	版本说明书	提供鲲鹏TensorFlow Serving每个发布版本的基础信息和特性更新信息。
文档	特性介绍	提供鲲鹏TensorFlow Serving特性介绍。
文档	快速入门	提供鲲鹏TensorFlow Serving快速入门指导。
文档	安装指南	提供鲲鹏TensorFlow Serving编译安装方法指导。
文档	最佳实践	提供鲲鹏TensorFlow Serving的使用实践案例。

免责声明

此代码仓计划参与TensorFlow Serving社区开源，编码风格遵照原生开源软件，继承原生开源软件安全设计，不破坏原生开源软件设计及编码风格和方式，软件的任何漏洞与安全问题，均由相应的上游社区根据其漏洞和安全响应机制解决。请密切关注上游社区发布的通知和版本更新。鲲鹏计算社区对软件的漏洞及安全问题不承担任何责任。