已合并
【PR】: 修改资料中的斜体展示问题 #4131
Sophia1213创建于 7月24日
【PR】: 修改资料中的斜体展示问题 #4131
已合并
共 110 个文件变更+308-648
| @@ -1,6 +1,32 @@ | |||
| 1 | # aclRecoverAllHcclTasks | 1 | # aclRecoverAllHcclTasks |
| 2 | 2 | ||
| 3 | -**须知:本接口为预留接口,暂不支持。** | 3 | +**须知:本接口为试验特性,后续版本可能会存在变更,不支持应用于生产环境中。** |
| 4 | + | ||
| 5 | +### 产品支持情况 | ||
| 6 | + | ||
| 7 | +<!-- npu="950" id1 --> | ||
| 8 | +- Ascend 950PR/Ascend 950DT:支持 | ||
| 9 | +<!-- end id1 --> | ||
| 10 | +<!-- npu="A3" id2 --> | ||
| 11 | +- Atlas A3 训练系列产品/Atlas A3 推理系列产品:不支持 | ||
| 12 | +<!-- end id2 --> | ||
| 13 | +<!-- npu="910b" id3 --> | ||
| 14 | +- Atlas A2 训练系列产品/Atlas A2 推理系列产品:不支持 | ||
| 15 | +<!-- end id3 --> | ||
| 16 | +<!-- npu="310b" id4 --> | ||
| 17 | +- Atlas 200I/500 A2 推理产品:不支持 | ||
| 18 | +<!-- end id4 --> | ||
| 19 | +<!-- npu="310p" id5 --> | ||
| 20 | +- Atlas 推理系列产品:不支持 | ||
| 21 | +<!-- end id5 --> | ||
| 22 | +<!-- npu="910" id6 --> | ||
| 23 | +- Atlas 训练系列产品:不支持 | ||
| 24 | +<!-- end id6 --> | ||
| 25 | +<!-- npu="IPV350" id7 --> | ||
| 26 | +- IPV350:不支持 | ||
| 27 | +<!-- end id7 --> | ||
| 28 | + | ||
| 29 | +<!-- @ref: ge/res/docs/zh/api/graph_engine_api/c/acl/aclRecoverAllHcclTasks_res.md#id1 --> | ||
| 4 | 30 | ||
| 5 | ## 功能说明 | 31 | ## 功能说明 |
| 6 | 32 | ||
| @@ -28,10 +28,6 @@ AttrValue() | |||
| 28 | 28 | ||
| 29 | AttrValue构造函数返回AttrValue类型的对象。 | 29 | AttrValue构造函数返回AttrValue类型的对象。 |
| 30 | 30 | ||
| 31 | -## 异常处理 | ||
| 32 | - | ||
| 33 | -无。 | ||
| 34 | - | ||
| 35 | ## 约束说明 | 31 | ## 约束说明 |
| 36 | 32 | ||
| 37 | 无。 | 33 | 无。 |
| @@ -34,10 +34,6 @@ static T CreateFrom(DT &&val) | |||
| 34 | 34 | ||
| 35 | 返回T类型的参数。 | 35 | 返回T类型的参数。 |
| 36 | 36 | ||
| 37 | -## 异常处理 | ||
| 38 | - | ||
| 39 | -无。 | ||
| 40 | - | ||
| 41 | ## 约束说明 | 37 | ## 约束说明 |
| 42 | 38 | ||
| 43 | -无。 | 39 | +无 |
| @@ -41,10 +41,6 @@ graphStatus GetAttrValue(ge::DataType &attr_value) const | |||
| 41 | 41 | ||
| 42 | graphStatus类型:成功,返回GRAPH\_SUCCESS, 否则,返回GRAPH\_FAILED。 | 42 | graphStatus类型:成功,返回GRAPH\_SUCCESS, 否则,返回GRAPH\_FAILED。 |
| 43 | 43 | ||
| 44 | -## 异常处理 | ||
| 45 | - | ||
| 46 | -无 | ||
| 47 | - | ||
| 48 | ## 约束说明 | 44 | ## 约束说明 |
| 49 | 45 | ||
| 50 | 无 | 46 | 无 |
| @@ -45,10 +45,6 @@ graphStatus GetValue(AscendString &val) | |||
| 45 | 45 | ||
| 46 | graphStatus类型:数据类型转换成功,返回GRAPH\_SUCCESS, 否则,返回GRAPH\_FAILED。 | 46 | graphStatus类型:数据类型转换成功,返回GRAPH\_SUCCESS, 否则,返回GRAPH\_FAILED。 |
| 47 | 47 | ||
| 48 | -## 异常处理 | ||
| 49 | - | ||
| 50 | -无。 | ||
| 51 | - | ||
| 52 | ## 约束说明 | 48 | ## 约束说明 |
| 53 | 49 | ||
| 54 | -无。 | 50 | +无 |
| @@ -41,10 +41,6 @@ graphStatus SetAttrValue(const ge::DataType &attr_value) const | |||
| 41 | 41 | ||
| 42 | graphStatus类型:成功,返回GRAPH\_SUCCESS, 否则,返回GRAPH\_FAILED。 | 42 | graphStatus类型:成功,返回GRAPH\_SUCCESS, 否则,返回GRAPH\_FAILED。 |
| 43 | 43 | ||
| 44 | -## 异常处理 | ||
| 45 | - | ||
| 46 | -无 | ||
| 47 | - | ||
| 48 | ## 约束说明 | 44 | ## 约束说明 |
| 49 | 45 | ||
| 50 | 无 | 46 | 无 |
| @@ -11,7 +11,7 @@ GE退出,释放GE相关资源。 | |||
| 11 | 11 | ||
| 12 | 在该接口内,默认增加2000ms延时(实际最大延时可达2000ms),用于Device业务日志回传,保证ERROR级别和EVENT级别日志不丢失,您可以将**ASCEND\_LOG\_DEVICE\_FLUSH\_TIMEOUT**环境变量设置为0(命令示例:**export ASCEND\_LOG\_DEVICE\_FLUSH\_TIMEOUT=0**),去除该默认延时。 | 12 | 在该接口内,默认增加2000ms延时(实际最大延时可达2000ms),用于Device业务日志回传,保证ERROR级别和EVENT级别日志不丢失,您可以将**ASCEND\_LOG\_DEVICE\_FLUSH\_TIMEOUT**环境变量设置为0(命令示例:**export ASCEND\_LOG\_DEVICE\_FLUSH\_TIMEOUT=0**),去除该默认延时。 |
| 13 | 13 | ||
| 14 | -关于**ASCEND\_LOG\_DEVICE\_FLUSH\_TIMEOUT**环境变量的详细描述请参见《环境变量参考》。 | 14 | +关于**ASCEND\_LOG\_DEVICE\_FLUSH\_TIMEOUT**环境变量的详细描述请参见[《环境变量参考》](https://hiascend.com/document/redirect/CannCommunityEnvRef)。 |
| 15 | 15 | ||
| 16 | ## 函数原型 | 16 | ## 函数原型 |
| 17 | 17 | ||
| @@ -42,4 +42,4 @@ Status SetGraphFixedFeatureMemoryBaseWithType(uint32_t graph_id, MemoryType type | |||
| 42 | - 当Fixed内存长度为0时,调用该接口不生效,且会生成warning日志提示用户。 | 42 | - 当Fixed内存长度为0时,调用该接口不生效,且会生成warning日志提示用户。 |
| 43 | - [options参数说明](../options_params/memory_management.md)\>内存管理中的ge.exec.staticMemoryPolicy参数设置为4或者GE\_USE\_STATIC\_MEMORY环境变量设置为4时,此时动静态图支持内存复用;而该接口不支持地址刷新,因此动静态图内存复用场景下不支持通过将地址设置为nullptr、size设置为0的方式,关闭默认申请Fixed内存的行为。 | 43 | - [options参数说明](../options_params/memory_management.md)\>内存管理中的ge.exec.staticMemoryPolicy参数设置为4或者GE\_USE\_STATIC\_MEMORY环境变量设置为4时,此时动静态图支持内存复用;而该接口不支持地址刷新,因此动静态图内存复用场景下不支持通过将地址设置为nullptr、size设置为0的方式,关闭默认申请Fixed内存的行为。 |
| 44 | 44 | ||
| 45 | - 环境变量详细说明请参见《环境变量参考》。 | 45 | + 环境变量详细说明请参见[《环境变量参考》](https://hiascend.com/document/redirect/CannCommunityEnvRef)。 |
| @@ -15,16 +15,10 @@ | |||
| 15 | 15 | ||
| 16 | ## 函数原型 | 16 | ## 函数原型 |
| 17 | 17 | ||
| 18 | -> [!NOTE]说明 | 18 | +>[!NOTE]说明 |
| 19 | >数据类型为string的接口后续版本会废弃,建议使用数据类型为非string的接口。 | 19 | >数据类型为string的接口后续版本会废弃,建议使用数据类型为非string的接口。 |
| 20 | 20 | ||
| 21 | ```c++ | 21 | ```c++ |
| 22 | - | ||
| 23 | -> [!NOTE]说明 | ||
| 24 | ->数据类型为string的接口后续版本会废弃,建议使用数据类型为非string的接口。 | ||
| 25 | - | ||
| 26 | -```c++ | ||
| 27 | - | ||
| 28 | graphStatus GetAllOpName(std::vector<std::string> &op_name) const | 22 | graphStatus GetAllOpName(std::vector<std::string> &op_name) const |
| 29 | graphStatus GetAllOpName(std::vector<AscendString> &names) const | 23 | graphStatus GetAllOpName(std::vector<AscendString> &names) const |
| 30 | 24 | ||
| @@ -31,10 +31,6 @@ void *resource_context_mgr = nullptr | |||
| 31 | 31 | ||
| 32 | 资源类算子间传递的上下文对象。 | 32 | 资源类算子间传递的上下文对象。 |
| 33 | 33 | ||
| 34 | -## 异常处理 | ||
| 35 | - | ||
| 36 | -无。 | ||
| 37 | - | ||
| 38 | ## 约束说明 | 34 | ## 约束说明 |
| 39 | 35 | ||
| 40 | 无。 | 36 | 无。 |
| @@ -27,10 +27,6 @@ const std::vector<std::vector<ShapeAndType>> &GetInputHandleShapesAndTypes() con | |||
| 27 | 27 | ||
| 28 | 算子输入句柄的[ShapeAndType](../ShapeAndType/overview.md)。 | 28 | 算子输入句柄的[ShapeAndType](../ShapeAndType/overview.md)。 |
| 29 | 29 | ||
| 30 | -## 异常处理 | ||
| 31 | - | ||
| 32 | -无。 | ||
| 33 | - | ||
| 34 | ## 约束说明 | 30 | ## 约束说明 |
| 35 | 31 | ||
| 36 | -无。 | 32 | +无 |
| @@ -33,10 +33,6 @@ void GetMarks(std::vector<AscendString> &marks) const | |||
| 33 | 33 | ||
| 34 | 资源类算子的标记。 | 34 | 资源类算子的标记。 |
| 35 | 35 | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | - | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | 无。 | 38 | 无。 |
| @@ -27,10 +27,6 @@ const std::vector<std::vector<ShapeAndType>> &GetOutputHandleShapesAndTypes() co | |||
| 27 | 27 | ||
| 28 | 算子输出句柄的[ShapeAndType](../ShapeAndType/ShapeAndType.md)。 | 28 | 算子输出句柄的[ShapeAndType](../ShapeAndType/ShapeAndType.md)。 |
| 29 | 29 | ||
| 30 | -## 异常处理 | ||
| 31 | - | ||
| 32 | -无。 | ||
| 33 | - | ||
| 34 | ## 约束说明 | 30 | ## 约束说明 |
| 35 | 31 | ||
| 36 | -无。 | 32 | +无 |
Mdocs/zh/api/graph_engine_api/cpp/ge/InferenceContext/InferenceContext_constructor_and_destructor.md+1-5
| @@ -33,10 +33,6 @@ InferenceContext &operator=(const InferenceContext &&context) = delete | |||
| 33 | 33 | ||
| 34 | InferenceContext构造函数返回InferenceContext类型的对象。 | 34 | InferenceContext构造函数返回InferenceContext类型的对象。 |
| 35 | 35 | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | - | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -27,12 +27,8 @@ void SetInputHandleShapesAndTypes(std::vector<std::vector<ShapeAndType>> &&shape | |||
| 27 | 27 | ||
| 28 | ## 返回值说明 | 28 | ## 返回值说明 |
| 29 | 29 | ||
| 30 | -无。 | 30 | +无 |
| 31 | - | ||
| 32 | -## 异常处理 | ||
| 33 | - | ||
| 34 | -无。 | ||
| 35 | 31 | ||
| 36 | ## 约束说明 | 32 | ## 约束说明 |
| 37 | 33 | ||
| 38 | -无。 | 34 | +无 |
| @@ -31,12 +31,8 @@ void SetMarks(const std::vector<AscendString> &marks) | |||
| 31 | 31 | ||
| 32 | ## 返回值说明 | 32 | ## 返回值说明 |
| 33 | 33 | ||
| 34 | -无。 | 34 | +无 |
| 35 | - | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | 35 | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -28,12 +28,8 @@ void SetOutputHandleShapesAndTypes(std::vector<std::vector<ShapeAndType>> &&shap | |||
| 28 | 28 | ||
| 29 | ## 返回值说明 | 29 | ## 返回值说明 |
| 30 | 30 | ||
| 31 | -无。 | 31 | +无 |
| 32 | - | ||
| 33 | -## 异常处理 | ||
| 34 | - | ||
| 35 | -无。 | ||
| 36 | 32 | ||
| 37 | ## 约束说明 | 33 | ## 约束说明 |
| 38 | 34 | ||
| 39 | -无。 | 35 | +无 |
| @@ -33,11 +33,11 @@ logic_stream_id: 0, user_stream_label: 11, is_assigned_by_user_stream_pass: fals | |||
| 33 | 33 | ||
| 34 | 对应信息为: | 34 | 对应信息为: |
| 35 | 35 | ||
| 36 | -- 逻辑流ID:0, | 36 | +- 逻辑流ID:0。 |
| 37 | -- 用户流标签:11, | 37 | +- 用户流标签:11。 |
| 38 | -- 是否来自用户注册的流分配Pass:false, | 38 | +- 是否来自用户注册的流分配Pass:false。 |
| 39 | -- 附属从流ID: , | 39 | +- 附属从流ID。 |
| 40 | -- 实际物理流数量:1, | 40 | +- 实际物理流数量:1。 |
| 41 | - 通信从流数量:0。 | 41 | - 通信从流数量:0。 |
| 42 | 42 | ||
| 43 | ## 约束说明 | 43 | ## 约束说明 |
Mdocs/zh/api/graph_engine_api/cpp/ge/NamedIoNodeBuilder/NamedIoNodeBuilder_constructor_and_destructor.md+0-4
| @@ -32,10 +32,6 @@ explicit NamedIoNodeBuilder(Graph &graph) | |||
| 32 | 32 | ||
| 33 | 构造函数返回NamedIoNodeBuilder类型的对象。 | 33 | 构造函数返回NamedIoNodeBuilder类型的对象。 |
| 34 | 34 | ||
| 35 | -## 异常处理 | ||
| 36 | - | ||
| 37 | -无 | ||
| 38 | - | ||
| 39 | ## 约束说明 | 35 | ## 约束说明 |
| 40 | 36 | ||
| 41 | - NamedIoNodeBuilder对象不可拷贝构造和赋值。 | 37 | - NamedIoNodeBuilder对象不可拷贝构造和赋值。 |
| @@ -29,10 +29,6 @@ Operator &AddControlInput(const Operator &src_oprt) | |||
| 29 | 29 | ||
| 30 | 算子对象本身。 | 30 | 算子对象本身。 |
| 31 | 31 | ||
| 32 | -## 异常处理 | ||
| 33 | - | ||
| 34 | -无 | ||
| 35 | - | ||
| 36 | ## 约束说明 | 32 | ## 约束说明 |
| 37 | 33 | ||
| 38 | 无 | 34 | 无 |
| @@ -30,10 +30,6 @@ void AttrRegister(const char_t *name, const AttrValue &attr_value) | |||
| 30 | 30 | ||
| 31 | graphStatus类型:成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 | 31 | graphStatus类型:成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 |
| 32 | 32 | ||
| 33 | -## 异常处理 | ||
| 34 | - | ||
| 35 | -无 | ||
| 36 | - | ||
| 37 | ## 约束说明 | 33 | ## 约束说明 |
| 38 | 34 | ||
| 39 | 无。 | 35 | 无。 |
| @@ -25,12 +25,8 @@ void BreakConnect() const | |||
| 25 | 25 | ||
| 26 | ## 返回值说明 | 26 | ## 返回值说明 |
| 27 | 27 | ||
| 28 | -无。 | 28 | +无 |
| 29 | - | ||
| 30 | -## 异常处理 | ||
| 31 | - | ||
| 32 | -无。 | ||
| 33 | 29 | ||
| 34 | ## 约束说明 | 30 | ## 约束说明 |
| 35 | 31 | ||
| 36 | -无。 | 32 | +无 |
| @@ -31,12 +31,8 @@ void DynamicInputRegister(const char_t *name, const uint32_t num, const char_t * | |||
| 31 | 31 | ||
| 32 | ## 返回值说明 | 32 | ## 返回值说明 |
| 33 | 33 | ||
| 34 | -无。 | 34 | +无 |
| 35 | - | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | 35 | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -29,12 +29,8 @@ void DynamicInputRegisterByIndex(const char_t *name, const uint32_t num, size_t | |||
| 29 | 29 | ||
| 30 | ## 返回值说明 | 30 | ## 返回值说明 |
| 31 | 31 | ||
| 32 | -无。 | 32 | +无 |
| 33 | - | ||
| 34 | -## 异常处理 | ||
| 35 | - | ||
| 36 | -无。 | ||
| 37 | 33 | ||
| 38 | ## 约束说明 | 34 | ## 约束说明 |
| 39 | 35 | ||
| 40 | -无。 | 36 | +无 |
| @@ -31,12 +31,8 @@ void DynamicOutputRegister(const char_t *name, const uint32_t num, const char_t | |||
| 31 | 31 | ||
| 32 | ## 返回值说明 | 32 | ## 返回值说明 |
| 33 | 33 | ||
| 34 | -无。 | 34 | +无 |
| 35 | - | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | 35 | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -33,10 +33,6 @@ graphStatus GetAllAttrNamesAndTypes(std::map<AscendString, AscendString> &attr_n | |||
| 33 | 33 | ||
| 34 | graphStatus类型:GRAPH\_SUCCESS,代表成功;GRAPH\_FAILED,代表失败。 | 34 | graphStatus类型:GRAPH\_SUCCESS,代表成功;GRAPH\_FAILED,代表失败。 |
| 35 | 35 | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | - | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -29,10 +29,6 @@ graphStatus GetAllIrAttrNamesAndTypes(std::map<AscendString, AscendString> &attr | |||
| 29 | 29 | ||
| 30 | graphStatus类型:GRAPH\_SUCCESS,代表成功;GRAPH\_FAILED,代表失败。 | 30 | graphStatus类型:GRAPH\_SUCCESS,代表成功;GRAPH\_FAILED,代表失败。 |
| 31 | 31 | ||
| 32 | -## 异常处理 | ||
| 33 | - | ||
| 34 | -无。 | ||
| 35 | - | ||
| 36 | ## 约束说明 | 32 | ## 约束说明 |
| 37 | 33 | ||
| 38 | -无。 | 34 | +无 |
| @@ -95,10 +95,6 @@ graphStatus GetAttr(const char_t *name, std::vector<ge::NamedAttrs> &attr_value) | |||
| 95 | 95 | ||
| 96 | graphStatus类型:找到对应name,返回GRAPH\_SUCCESS,否则返回GRAPH\_FAILED。 | 96 | graphStatus类型:找到对应name,返回GRAPH\_SUCCESS,否则返回GRAPH\_FAILED。 |
| 97 | 97 | ||
| 98 | -## 异常处理 | ||
| 99 | - | ||
| 100 | -无。 | ||
| 101 | - | ||
| 102 | ## 约束说明 | 98 | ## 约束说明 |
| 103 | 99 | ||
| 104 | -无。 | 100 | +无 |
| @@ -34,10 +34,6 @@ TensorDesc GetDynamicInputDesc(const char_t *name, uint32_t index) const | |||
| 34 | 34 | ||
| 35 | 获取成功,则返回算子动态Input的TensorDesc;获取失败,则返回TensorDesc默认构造的对象,其中,主要设置DataType为DT\_FLOAT(表示float类型),Format为FORMAT\_NCHW(表示NCHW)。 | 35 | 获取成功,则返回算子动态Input的TensorDesc;获取失败,则返回TensorDesc默认构造的对象,其中,主要设置DataType为DT\_FLOAT(表示float类型),Format为FORMAT\_NCHW(表示NCHW)。 |
| 36 | 36 | ||
| 37 | -## 异常处理 | ||
| 38 | - | ||
| 39 | -无。 | ||
| 40 | - | ||
| 41 | ## 约束说明 | 37 | ## 约束说明 |
| 42 | 38 | ||
| 43 | -无。 | 39 | +无 |
| @@ -34,10 +34,6 @@ TensorDesc GetDynamicOutputDesc(const char_t *name, uint32_t index) const | |||
| 34 | 34 | ||
| 35 | 获取成功,则返回算子动态Output的TensorDesc;获取失败,则返回TensorDesc默认构造的对象,其中,主要设置DataType为DT\_FLOAT(表示float类型),Format为FORMAT\_NCHW(表示NCHW)。 | 35 | 获取成功,则返回算子动态Output的TensorDesc;获取失败,则返回TensorDesc默认构造的对象,其中,主要设置DataType为DT\_FLOAT(表示float类型),Format为FORMAT\_NCHW(表示NCHW)。 |
| 36 | 36 | ||
| 37 | -## 异常处理 | ||
| 38 | - | ||
| 39 | -无。 | ||
| 40 | - | ||
| 41 | ## 约束说明 | 37 | ## 约束说明 |
| 42 | 38 | ||
| 43 | -无。 | 39 | +无 |
| @@ -34,10 +34,6 @@ Graph GetDynamicSubgraph(const char_t *name, uint32_t index) const | |||
| 34 | 34 | ||
| 35 | Graph对象。 | 35 | Graph对象。 |
| 36 | 36 | ||
| 37 | -## 异常处理 | ||
| 38 | - | ||
| 39 | -无。 | ||
| 40 | - | ||
| 41 | ## 约束说明 | 37 | ## 约束说明 |
| 42 | 38 | ||
| 43 | -无。 | 39 | +无 |
| @@ -34,10 +34,6 @@ SubgraphBuilder GetDynamicSubgraphBuilder(const char_t *name, uint32_t index) co | |||
| 34 | 34 | ||
| 35 | SubgraphBuilder对象。 | 35 | SubgraphBuilder对象。 |
| 36 | 36 | ||
| 37 | -## 异常处理 | ||
| 38 | - | ||
| 39 | -无。 | ||
| 40 | - | ||
| 41 | ## 约束说明 | 37 | ## 约束说明 |
| 42 | 38 | ||
| 43 | -无。 | 39 | +无 |
| @@ -33,10 +33,6 @@ InferenceContextPtr是指向InferenceContext类的指针的别名: | |||
| 33 | using InferenceContextPtr = std::shared_ptr<InferenceContext>; | 33 | using InferenceContextPtr = std::shared_ptr<InferenceContext>; |
| 34 | ``` | 34 | ``` |
| 35 | 35 | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | - | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -66,10 +66,6 @@ graphStatus GetInputAttr(const char_t *dst_name, const char_t *name, std::vector | |||
| 66 | 66 | ||
| 67 | graphStatus类型:找到对应属性,返回GRAPH\_SUCCESS,否则返回GRAPH\_FAILED。 | 67 | graphStatus类型:找到对应属性,返回GRAPH\_SUCCESS,否则返回GRAPH\_FAILED。 |
| 68 | 68 | ||
| 69 | -## 异常处理 | ||
| 70 | - | ||
| 71 | -无。 | ||
| 72 | - | ||
| 73 | ## 约束说明 | 69 | ## 约束说明 |
| 74 | 70 | ||
| 75 | -无。 | 71 | +无 |
| @@ -34,10 +34,6 @@ graphStatus GetInputConstData(const char_t *dst_name, Tensor &data) const | |||
| 34 | 34 | ||
| 35 | graphStatus类型:如果指定算子Input对应的节点为Const节点且获取数据成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 | 35 | graphStatus类型:如果指定算子Input对应的节点为Const节点且获取数据成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 |
| 36 | 36 | ||
| 37 | -## 异常处理 | ||
| 38 | - | ||
| 39 | -无。 | ||
| 40 | - | ||
| 41 | ## 约束说明 | 37 | ## 约束说明 |
| 42 | 38 | ||
| 43 | -无。 | 39 | +无 |
| @@ -35,10 +35,6 @@ TensorDesc GetInputDesc(uint32_t index) const | |||
| 35 | 35 | ||
| 36 | 算子Input的。 | 36 | 算子Input的。 |
| 37 | 37 | ||
| 38 | -## 异常处理 | ||
| 39 | - | ||
| 40 | -无。 | ||
| 41 | - | ||
| 42 | ## 约束说明 | 38 | ## 约束说明 |
| 43 | 39 | ||
| 44 | -无。 | 40 | +无 |
| @@ -27,10 +27,6 @@ size_t GetInputsSize() const | |||
| 27 | 27 | ||
| 28 | 返回当前算子Input个数。 | 28 | 返回当前算子Input个数。 |
| 29 | 29 | ||
| 30 | -## 异常处理 | ||
| 31 | - | ||
| 32 | -无。 | ||
| 33 | - | ||
| 34 | ## 约束说明 | 30 | ## 约束说明 |
| 35 | 31 | ||
| 36 | -无。 | 32 | +无 |
| @@ -33,10 +33,6 @@ graphStatus GetName(AscendString &name) const | |||
| 33 | 33 | ||
| 34 | graphStatus类型:GRAPH\_SUCCESS,代表成功;GRAPH\_FAILED,代表失败。 | 34 | graphStatus类型:GRAPH\_SUCCESS,代表成功;GRAPH\_FAILED,代表失败。 |
| 35 | 35 | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | - | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -33,10 +33,6 @@ graphStatus GetOpType(AscendString &type) const | |||
| 33 | 33 | ||
| 34 | graphStatus类型:GRAPH\_SUCCESS,代表成功;GRAPH\_FAILED,代表失败。 | 34 | graphStatus类型:GRAPH\_SUCCESS,代表成功;GRAPH\_FAILED,代表失败。 |
| 35 | 35 | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | - | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -66,10 +66,6 @@ graphStatus GetOutputAttr(const char_t *dst_name, const char_t *name, std::vecto | |||
| 66 | 66 | ||
| 67 | graphStatus类型:找到对应属性,返回GRAPH\_SUCCESS,否则返回GRAPH\_FAILED。 | 67 | graphStatus类型:找到对应属性,返回GRAPH\_SUCCESS,否则返回GRAPH\_FAILED。 |
| 68 | 68 | ||
| 69 | -## 异常处理 | ||
| 70 | - | ||
| 71 | -无。 | ||
| 72 | - | ||
| 73 | ## 约束说明 | 69 | ## 约束说明 |
| 74 | 70 | ||
| 75 | -无。 | 71 | +无 |
| @@ -35,10 +35,6 @@ TensorDesc GetOutputDesc(uint32_t index) const | |||
| 35 | 35 | ||
| 36 | 算子Output的。 | 36 | 算子Output的。 |
| 37 | 37 | ||
| 38 | -## 异常处理 | ||
| 39 | - | ||
| 40 | -无。 | ||
| 41 | - | ||
| 42 | ## 约束说明 | 38 | ## 约束说明 |
| 43 | 39 | ||
| 44 | -无。 | 40 | +无 |
| @@ -33,10 +33,6 @@ Graph GetSubgraph(const char_t *name) const | |||
| 33 | 33 | ||
| 34 | Graph对象。 | 34 | Graph对象。 |
| 35 | 35 | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | - | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -33,10 +33,6 @@ SubgraphBuilder GetSubgraphBuilder(const char_t *name) const | |||
| 33 | 33 | ||
| 34 | SubgraphBuilder对象。 | 34 | SubgraphBuilder对象。 |
| 35 | 35 | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | - | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -33,10 +33,6 @@ graphStatus GetSubgraphNames(std::vector<AscendString> &names) const | |||
| 33 | 33 | ||
| 34 | graphStatus类型:GRAPH\_SUCCESS,代表成功;GRAPH\_FAILED,代表失败。 | 34 | graphStatus类型:GRAPH\_SUCCESS,代表成功;GRAPH\_FAILED,代表失败。 |
| 35 | 35 | ||
| 36 | -## 异常处理 | ||
| 37 | - | ||
| 38 | -无。 | ||
| 39 | - | ||
| 40 | ## 约束说明 | 36 | ## 约束说明 |
| 41 | 37 | ||
| 42 | -无。 | 38 | +无 |
| @@ -27,10 +27,6 @@ size_t GetSubgraphNamesCount() const | |||
| 27 | 27 | ||
| 28 | 返回当前算子子图个数。 | 28 | 返回当前算子子图个数。 |
| 29 | 29 | ||
| 30 | -## 异常处理 | ||
| 31 | - | ||
| 32 | -无。 | ||
| 33 | - | ||
| 34 | ## 约束说明 | 30 | ## 约束说明 |
| 35 | 31 | ||
| 36 | -无。 | 32 | +无 |
| @@ -29,10 +29,6 @@ graphStatus InferShapeAndType() | |||
| 29 | 29 | ||
| 30 | graphStatus类型:推导成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 | 30 | graphStatus类型:推导成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 |
| 31 | 31 | ||
| 32 | -## 异常处理 | ||
| 33 | - | ||
| 34 | -无。 | ||
| 35 | - | ||
| 36 | ## 约束说明 | 32 | ## 约束说明 |
| 37 | 33 | ||
| 38 | -无。 | 34 | +无 |
| @@ -28,10 +28,6 @@ bool IsEmpty() const | |||
| 28 | - True:为空。 | 28 | - True:为空。 |
| 29 | - False:非空。 | 29 | - False:非空。 |
| 30 | 30 | ||
| 31 | -## 异常处理 | ||
| 32 | - | ||
| 33 | -无。 | ||
| 34 | - | ||
| 35 | ## 约束说明 | 31 | ## 约束说明 |
| 36 | 32 | ||
| 37 | -无。 | 33 | +无 |
| @@ -35,10 +35,6 @@ virtual ~Operator() = default | |||
| 35 | 35 | ||
| 36 | Operator构造函数返回Operator类型的对象。 | 36 | Operator构造函数返回Operator类型的对象。 |
| 37 | 37 | ||
| 38 | -## 异常处理 | ||
| 39 | - | ||
| 40 | -无。 | ||
| 41 | - | ||
| 42 | ## 约束说明 | 38 | ## 约束说明 |
| 43 | 39 | ||
| 44 | -无。 | 40 | +无 |
| @@ -124,10 +124,6 @@ Operator &SetAttr(const char_t *name, const std::vector<ge::NamedAttrs> &attr_va | |||
| 124 | 124 | ||
| 125 | [Operator](Operator.md)对象本身。 | 125 | [Operator](Operator.md)对象本身。 |
| 126 | 126 | ||
| 127 | -## 异常处理 | ||
| 128 | - | ||
| 129 | -无。 | ||
| 130 | - | ||
| 131 | ## 约束说明 | 127 | ## 约束说明 |
| 132 | 128 | ||
| 133 | -无。 | 129 | +无 |
| @@ -27,12 +27,8 @@ void SetInferenceContext(const InferenceContextPtr &inference_context) | |||
| 27 | 27 | ||
| 28 | ## 返回值说明 | 28 | ## 返回值说明 |
| 29 | 29 | ||
| 30 | -无。 | 30 | +无 |
| 31 | - | ||
| 32 | -## 异常处理 | ||
| 33 | - | ||
| 34 | -无。 | ||
| 35 | 31 | ||
| 36 | ## 约束说明 | 32 | ## 约束说明 |
| 37 | 33 | ||
| 38 | -无。 | 34 | +无 |
| @@ -53,10 +53,6 @@ Operator &SetInput(const char_t *dst_name, uint32_t dst_index, const Operator &s | |||
| 53 | 53 | ||
| 54 | 当前调度者本身。 | 54 | 当前调度者本身。 |
| 55 | 55 | ||
| 56 | -## 异常处理 | ||
| 57 | - | ||
| 58 | -无。 | ||
| 59 | - | ||
| 60 | ## 约束说明 | 56 | ## 约束说明 |
| 61 | 57 | ||
| 62 | -无。 | 58 | +无 |
| @@ -93,10 +93,6 @@ Operator &SetInputAttr(const char_t *dst_name, const char_t *name, const std::ve | |||
| 93 | 93 | ||
| 94 | [Operator](Operator.md)对象本身。 | 94 | [Operator](Operator.md)对象本身。 |
| 95 | 95 | ||
| 96 | -## 异常处理 | ||
| 97 | - | ||
| 98 | -无。 | ||
| 99 | - | ||
| 100 | ## 约束说明 | 96 | ## 约束说明 |
| 101 | 97 | ||
| 102 | -无。 | 98 | +无 |
| @@ -93,10 +93,6 @@ Operator &SetOutputAttr(const char_t *dst_name, const char_t *name, const std::v | |||
| 93 | 93 | ||
| 94 | [Operator](Operator.md)对象本身。 | 94 | [Operator](Operator.md)对象本身。 |
| 95 | 95 | ||
| 96 | -## 异常处理 | ||
| 97 | - | ||
| 98 | -无。 | ||
| 99 | - | ||
| 100 | ## 约束说明 | 96 | ## 约束说明 |
| 101 | 97 | ||
| 102 | -无。 | 98 | +无 |
| @@ -29,12 +29,8 @@ void SetSubgraphBuilder(const char_t *ir_name, uint32_t index, const SubgraphBui | |||
| 29 | 29 | ||
| 30 | ## 返回值说明 | 30 | ## 返回值说明 |
| 31 | 31 | ||
| 32 | -无。 | 32 | +无 |
| 33 | - | ||
| 34 | -## 异常处理 | ||
| 35 | - | ||
| 36 | -无。 | ||
| 37 | 33 | ||
| 38 | ## 约束说明 | 34 | ## 约束说明 |
| 39 | 35 | ||
| 40 | -无。 | 36 | +无 |
| @@ -30,10 +30,6 @@ graphStatus SetSubgraphInstanceName(const uint32_t index, const char_t *name); | |||
| 30 | 30 | ||
| 31 | graphStatus类型:成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 | 31 | graphStatus类型:成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 |
| 32 | 32 | ||
| 33 | -## 异常处理 | ||
| 34 | - | ||
| 35 | -无 | ||
| 36 | - | ||
| 37 | ## 约束说明 | 33 | ## 约束说明 |
| 38 | 34 | ||
| 39 | 无 | 35 | 无 |
| @@ -28,12 +28,8 @@ void SubgraphCountRegister(const char_t *ir_name, uint32_t count) | |||
| 28 | 28 | ||
| 29 | ## 返回值说明 | 29 | ## 返回值说明 |
| 30 | 30 | ||
| 31 | -无。 | 31 | +无 |
| 32 | - | ||
| 33 | -## 异常处理 | ||
| 34 | - | ||
| 35 | -无。 | ||
| 36 | 32 | ||
| 37 | ## 约束说明 | 33 | ## 约束说明 |
| 38 | 34 | ||
| 39 | -无。 | 35 | +无 |
| @@ -35,10 +35,6 @@ graphStatus UpdateDynamicInputDesc(const char_t *name, uint32_t index, const Ten | |||
| 35 | 35 | ||
| 36 | graphStatus类型:更新动态Input成功,返回GRAPH\_SUCCESS, 否则,返回GRAPH\_FAILED。 | 36 | graphStatus类型:更新动态Input成功,返回GRAPH\_SUCCESS, 否则,返回GRAPH\_FAILED。 |
| 37 | 37 | ||
| 38 | -## 异常处理 | ||
| 39 | - | ||
| 40 | -无。 | ||
| 41 | - | ||
| 42 | ## 约束说明 | 38 | ## 约束说明 |
| 43 | 39 | ||
| 44 | -无。 | 40 | +无 |
| @@ -35,10 +35,6 @@ graphStatus UpdateDynamicOutputDesc(const char_t *name, uint32_t index, const Te | |||
| 35 | 35 | ||
| 36 | graphStatus类型:更新动态Output成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 | 36 | graphStatus类型:更新动态Output成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 |
| 37 | 37 | ||
| 38 | -## 异常处理 | ||
| 39 | - | ||
| 40 | -无。 | ||
| 41 | - | ||
| 42 | ## 约束说明 | 38 | ## 约束说明 |
| 43 | 39 | ||
| 44 | -无。 | 40 | +无 |
| @@ -36,10 +36,6 @@ graphStatus UpdateOutputDesc(const uint32_t index, const TensorDesc &tensor_desc | |||
| 36 | 36 | ||
| 37 | graphStatus类型:更新TensorDesc成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 | 37 | graphStatus类型:更新TensorDesc成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 |
| 38 | 38 | ||
| 39 | -## 异常处理 | ||
| 40 | - | ||
| 41 | -无。 | ||
| 42 | - | ||
| 43 | ## 约束说明 | 39 | ## 约束说明 |
| 44 | 40 | ||
| 45 | -无。 | 41 | +无 |
| @@ -29,10 +29,6 @@ graphStatus VerifyAllAttr(bool disable_common_verifier = false) | |||
| 29 | 29 | ||
| 30 | graphStatus类型:推导成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 | 30 | graphStatus类型:推导成功,返回GRAPH\_SUCCESS,否则,返回GRAPH\_FAILED。 |
| 31 | 31 | ||
| 32 | -## 异常处理 | ||
| 33 | - | ||
| 34 | -无。 | ||
| 35 | - | ||
| 36 | ## 约束说明 | 32 | ## 约束说明 |
| 37 | 33 | ||
| 38 | -无。 | 34 | +无 |
| @@ -16,6 +16,7 @@ enum ProfilingAicoreMetrics { | |||
| 16 | }; | 16 | }; |
| 17 | ``` | 17 | ``` |
| 18 | 18 | ||
| 19 | +<!-- npu="950,A3,910b,310b" id1 --> | ||
| 19 | kAicoreL2Cache参数支持的产品为: | 20 | kAicoreL2Cache参数支持的产品为: |
| 20 | 21 | ||
| 21 | Atlas 200I/500 A2 推理产品 | 22 | Atlas 200I/500 A2 推理产品 |
| @@ -25,7 +26,10 @@ Atlas A2 训练系列产品/Atlas A2 推理系列产品 | |||
| 25 | Atlas A3 训练系列产品/Atlas A3 推理系列产品 | 26 | Atlas A3 训练系列产品/Atlas A3 推理系列产品 |
| 26 | 27 | ||
| 27 | Ascend 950PR/Ascend 950DT | 28 | Ascend 950PR/Ascend 950DT |
| 29 | +<!-- end id1 --> | ||
| 28 | 30 | ||
| 31 | +<!-- npu="310b" id2 --> | ||
| 29 | kAicorePipelineExecuteUtilization参数支持的产品为: | 32 | kAicorePipelineExecuteUtilization参数支持的产品为: |
| 30 | 33 | ||
| 31 | Atlas 200I/500 A2 推理产品 | 34 | Atlas 200I/500 A2 推理产品 |
| 35 | +<!-- end id2 --> | ||
| @@ -21,7 +21,7 @@ export DUMP_GE_GRAPH=1 | |||
| 21 | - 若指定环境变量:DUMP\_GRAPH\_PATH,生成的JSON文件在$\{DUMP\_GRAPH\_PATH\}/目录。 | 21 | - 若指定环境变量:DUMP\_GRAPH\_PATH,生成的JSON文件在$\{DUMP\_GRAPH\_PATH\}/目录。 |
| 22 | - 若没有指定环境变量,生成的JSON文件在当前脚本执行目录。 | 22 | - 若没有指定环境变量,生成的JSON文件在当前脚本执行目录。 |
| 23 | 23 | ||
| 24 | -上述环境变量的详细说明请参见《环境变量参考》。 | 24 | +上述环境变量的详细说明请参见[《环境变量参考》](https://hiascend.com/document/redirect/CannCommunityEnvRef)。 |
| 25 | 25 | ||
| 26 | ## 函数原型 | 26 | ## 函数原型 |
| 27 | 27 | ||
| @@ -45,4 +45,4 @@ Status SetGraphFixedFeatureMemoryBase(uint32_t graph_id, const void * const memo | |||
| 45 | - 当Fixed内存长度为0时,调用该接口不生效,且会生成warning日志提示用户。 | 45 | - 当Fixed内存长度为0时,调用该接口不生效,且会生成warning日志提示用户。 |
| 46 | - [options参数说明](../options_params/options_parameters_description.md)\>内存管理中的ge.exec.staticMemoryPolicy参数设置为4或者GE\_USE\_STATIC\_MEMORY环境变量设置为4时,此时动静态图支持内存复用;而该接口不支持地址刷新,因此动静态图内存复用场景下不支持通过将地址设置为nullptr、size设置为0的方式,关闭默认申请Fixed内存的行为。 | 46 | - [options参数说明](../options_params/options_parameters_description.md)\>内存管理中的ge.exec.staticMemoryPolicy参数设置为4或者GE\_USE\_STATIC\_MEMORY环境变量设置为4时,此时动静态图支持内存复用;而该接口不支持地址刷新,因此动静态图内存复用场景下不支持通过将地址设置为nullptr、size设置为0的方式,关闭默认申请Fixed内存的行为。 |
| 47 | 47 | ||
| 48 | - 环境变量详细说明请参见《环境变量参考》。 | 48 | + 环境变量详细说明请参见[《环境变量参考》](https://hiascend.com/document/redirect/CannCommunityEnvRef)。 |
| @@ -44,4 +44,4 @@ Status SetGraphFixedFeatureMemoryBaseWithType(uint32_t graph_id, MemoryType type | |||
| 44 | - 当Fixed内存长度为0时,调用该接口不生效,且会生成warning日志提示用户。 | 44 | - 当Fixed内存长度为0时,调用该接口不生效,且会生成warning日志提示用户。 |
| 45 | - [options参数说明](../options_params/memory_management.md)\>内存管理中的ge.exec.staticMemoryPolicy参数设置为4或者GE\_USE\_STATIC\_MEMORY环境变量设置为4时,此时动静态图支持内存复用;而该接口不支持地址刷新,因此动静态图内存复用场景下不支持通过将地址设置为nullptr、size设置为0的方式,关闭默认申请Fixed内存的行为。 | 45 | - [options参数说明](../options_params/memory_management.md)\>内存管理中的ge.exec.staticMemoryPolicy参数设置为4或者GE\_USE\_STATIC\_MEMORY环境变量设置为4时,此时动静态图支持内存复用;而该接口不支持地址刷新,因此动静态图内存复用场景下不支持通过将地址设置为nullptr、size设置为0的方式,关闭默认申请Fixed内存的行为。 |
| 46 | 46 | ||
| 47 | - 环境变量详细说明请参见《环境变量参考》。 | 47 | + 环境变量详细说明请参见[《环境变量参考》](https://hiascend.com/document/redirect/CannCommunityEnvRef)。 |
| @@ -1,18 +1,5 @@ | |||
| 1 | # ShardGraphs | 1 | # ShardGraphs |
| 2 | 2 | ||
| 3 | -## 产品支持情况 | ||
| 4 | - | ||
| 5 | -- Ascend 950PR/Ascend 950DT:不支持 | ||
| 6 | -- Atlas A3 训练系列产品/Atlas A3 推理系列产品:不支持 | ||
| 7 | -- Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持 | ||
| 8 | -- Atlas 200I/500 A2 推理产品:不支持 | ||
| 9 | -- Atlas 推理系列产品:支持 | ||
| 10 | -- Atlas 训练系列产品:支持 | ||
| 11 | -- MC62CM12A AI处理器:不支持 | ||
| 12 | -- BS9SX2A AI处理器:不支持 | ||
| 13 | -- BS9SX1A AI处理器:不支持 | ||
| 14 | -- IPV350:不支持 | ||
| 15 | - | ||
| 16 | ## 头文件/库文件 | 3 | ## 头文件/库文件 |
| 17 | 4 | ||
| 18 | - 头文件:\#include <ge/ge\_api.h\> | 5 | - 头文件:\#include <ge/ge\_api.h\> |
| @@ -1,18 +1,5 @@ | |||
| 1 | # ShardGraphsToFile | 1 | # ShardGraphsToFile |
| 2 | 2 | ||
| 3 | -## 产品支持情况 | ||
| 4 | - | ||
| 5 | -- Ascend 950PR/Ascend 950DT:不支持 | ||
| 6 | -- Atlas A3 训练系列产品/Atlas A3 推理系列产品:不支持 | ||
| 7 | -- Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持 | ||
| 8 | -- Atlas 200I/500 A2 推理产品:不支持 | ||
| 9 | -- Atlas 推理系列产品:支持 | ||
| 10 | -- Atlas 训练系列产品:支持 | ||
| 11 | -- MC62CM12A AI处理器:不支持 | ||
| 12 | -- BS9SX2A AI处理器:不支持 | ||
| 13 | -- BS9SX1A AI处理器:不支持 | ||
| 14 | -- IPV350:不支持 | ||
| 15 | - | ||
| 16 | ## 头文件/库文件 | 3 | ## 头文件/库文件 |
| 17 | 4 | ||
| 18 | - 头文件:\#include <ge/ge\_api.h\> | 5 | - 头文件:\#include <ge/ge\_api.h\> |
| @@ -40,8 +27,8 @@ | |||
| 40 | ShardGraphsToFile适用于大模型分布式编译切分场景,而SaveGraphsToPb适用于任何图。 | 27 | ShardGraphsToFile适用于大模型分布式编译切分场景,而SaveGraphsToPb适用于任何图。 |
| 41 | 28 | ||
| 42 | - **该接口与[ShardGraphs](ShardGraphs.md)接口区别**: | 29 | - **该接口与[ShardGraphs](ShardGraphs.md)接口区别**: |
| 43 | - - ShardGraphsToFile可以完成搜索策略、图的切分,并输出切分后的图等文件,**切分后的图也通过该接口落盘**(file\_path参数必须指定有效路径)。 | 30 | + - ShardGraphsToFile可以完成搜索策略、图的切分,并输出切分后的图等文件,**切分后的图也通过该接口落盘**(file\_path参数必须指定有效路径)。 |
| 44 | - - 而ShardGraphs完成搜索策略、图的切分,并输出切分后的图等文件后,**切分后的图保存在内存中,然后通过[SaveGraphsToPb](SaveGraphsToPb.md)落盘**。 | 31 | + - 而ShardGraphs完成搜索策略、图的切分,并输出切分后的图等文件后,**切分后的图保存在内存中,然后通过[SaveGraphsToPb](SaveGraphsToPb.md)落盘**。 |
| 45 | 32 | ||
| 46 | ## 函数原型 | 33 | ## 函数原型 |
| 47 | 34 | ||
| @@ -27,10 +27,6 @@ DataType GetDataType() const | |||
| 27 | 27 | ||
| 28 | ShapeAndType对象中的[DataType](https://hiascend.com/document/redirect/CannCommunitybasicopapi)。 | 28 | ShapeAndType对象中的[DataType](https://hiascend.com/document/redirect/CannCommunitybasicopapi)。 |
| 29 | 29 | ||
| 30 | -## 异常处理 | ||
| 31 | - | ||
| 32 | -无。 | ||
| 33 | - | ||
| 34 | ## 约束说明 | 30 | ## 约束说明 |
| 35 | 31 | ||
| 36 | -无。 | 32 | +无 |
| @@ -27,10 +27,6 @@ const Shape &GetShape() const | |||
| 27 | 27 | ||
| 28 | ShapeAndType对象中的[Shape](https://hiascend.com/document/redirect/CannCommunitybasicopapi)。 | 28 | ShapeAndType对象中的[Shape](https://hiascend.com/document/redirect/CannCommunitybasicopapi)。 |
| 29 | 29 | ||
| 30 | -## 异常处理 | ||
| 31 | - | ||
| 32 | -无。 | ||
| 33 | - | ||
| 34 | ## 约束说明 | 30 | ## 约束说明 |
| 35 | 31 | ||
| 36 | -无。 | 32 | +无 |
| @@ -25,14 +25,10 @@ void SetShape(const Shape &shape) | |||
| 25 | | --- | --- | --- | | 25 | | --- | --- | --- | |
| 26 | | shape | 输入 | 设置的目标shape。 | | 26 | | shape | 输入 | 设置的目标shape。 | |
| 27 | 27 | ||
| 28 | -## 返回值 | 28 | +## 返回值说明 |
| 29 | 29 | ||
| 30 | -无。 | 30 | +无 |
| 31 | - | ||
| 32 | -## 异常处理 | ||
| 33 | - | ||
| 34 | -无。 | ||
| 35 | 31 | ||
| 36 | ## 约束说明 | 32 | ## 约束说明 |
| 37 | 33 | ||
| 38 | -无。 | 34 | +无 |
| @@ -25,14 +25,10 @@ void SetType(DataType data_type) | |||
| 25 | | --- | --- | --- | | 25 | | --- | --- | --- | |
| 26 | | data_type | 输入 | 设置的目标DataType。类型请参见[DataType](https://hiascend.com/document/redirect/CannCommunitybasicopapi)。 | | 26 | | data_type | 输入 | 设置的目标DataType。类型请参见[DataType](https://hiascend.com/document/redirect/CannCommunitybasicopapi)。 | |
| 27 | 27 | ||
| 28 | -## 返回值 | 28 | +## 返回值说明 |
| 29 | 29 | ||
| 30 | -无。 | 30 | +无 |
| 31 | - | ||
| 32 | -## 异常处理 | ||
| 33 | - | ||
| 34 | -无。 | ||
| 35 | 31 | ||
| 36 | ## 约束说明 | 32 | ## 约束说明 |
| 37 | 33 | ||
| 38 | -无。 | 34 | +无 |
| @@ -28,14 +28,10 @@ ShapeAndType(const Shape &shape, DataType data_type) | |||
| 28 | | shape | 输入 | 需设置的shape。 | | 28 | | shape | 输入 | 需设置的shape。 | |
| 29 | | data_type | 输入 | 需设置的DataType。 | | 29 | | data_type | 输入 | 需设置的DataType。 | |
| 30 | 30 | ||
| 31 | -## 返回值 | 31 | +## 返回值说明 |
| 32 | 32 | ||
| 33 | ShapeAndType构造函数返回ShapeAndType类型的对象。 | 33 | ShapeAndType构造函数返回ShapeAndType类型的对象。 |
| 34 | 34 | ||
| 35 | -## 异常处理 | ||
| 36 | - | ||
| 37 | -无。 | ||
| 38 | - | ||
| 39 | ## 约束说明 | 35 | ## 约束说明 |
| 40 | 36 | ||
| 41 | -无。 | 37 | +无 |
| @@ -316,44 +316,7 @@ sub\_comm\_config.json文件示例如下: | |||
| 316 | 316 | ||
| 317 | **参数取值:** | 317 | **参数取值:** |
| 318 | 318 | ||
| 319 | -<soc\_version\>查询方法为: | 319 | +<soc\_version\>查询方法请参见[--soc_version](../../../../../user_guides/atc_tools/CLI_options/--soc_version.md)。 |
| 320 | - | ||
| 321 | -<!-- npu="910b,910,310p,310b" id29 --> | ||
| 322 | -- 针对如下产品:在安装AI处理器的服务器执行**npu-smi info**命令进行查询,获取**Name**信息。实际配置值为AscendName,例如**Name**取值为xxxyy,实际配置值为Ascendxxxyy。 | ||
| 323 | - | ||
| 324 | - <!-- npu="910b" id30 --> | ||
| 325 | - Atlas A2 训练系列产品/Atlas A2 推理系列产品 | ||
| 326 | - <!-- end id30 --> | ||
| 327 | - | ||
| 328 | - <!-- npu="310b" id31 --> | ||
| 329 | - Atlas 200I/500 A2 推理产品 | ||
| 330 | - <!-- end id31 --> | ||
| 331 | - | ||
| 332 | - <!-- npu="310p" id32 --> | ||
| 333 | - Atlas 推理系列产品 | ||
| 334 | - <!-- end id32 --> | ||
| 335 | - | ||
| 336 | - <!-- npu="910" id33 --> | ||
| 337 | - Atlas 训练系列产品 | ||
| 338 | - <!-- end id33 --> | ||
| 339 | -<!-- end id29 --> | ||
| 340 | - | ||
| 341 | -<!-- npu="A3" id34 --> | ||
| 342 | -- 针对Atlas A3 训练系列产品/Atlas A3 推理系列产品,在安装AI处理器的服务器执行**npu-smi info -t board -i **_id_** -c **_chip\_id_命令进行查询,获取**Chip Name**和**NPU Name**信息,实际配置值为Chip Name\_NPU Name。例如**Chip Name**取值为Ascendxxx,**NPU Name**取值为1234,实际配置值为Ascendxxx\_1234。其中: | ||
| 343 | - - id:设备id,通过**npu-smi info -l**命令查出的NPU ID即为设备id。 | ||
| 344 | - - chip\_id:芯片id,通过**npu-smi info -m**命令查出的Chip ID即为芯片id。 | ||
| 345 | -<!-- end id34 --> | ||
| 346 | - | ||
| 347 | -<!-- npu="950" id35 --> | ||
| 348 | -- 针对Ascend 950PR/Ascend 950DT,在安装AI处理器的服务器执行**npu-smi info -t board -i **_id_命令进行查询,获取**Chip Name**和**NPU Name**信息,实际配置值为Chip Name\_NPU Name。例如**Chip Name**取值为Ascendxxx,**NPU Name**取值为1234,实际配置值为Ascendxxx\_1234。 | ||
| 349 | - | ||
| 350 | - 其中,id为设备id,通过**npu-smi info -l**命令查出的NPU ID即为设备id。 | ||
| 351 | -<!-- end id35 --> | ||
| 352 | - | ||
| 353 | -<!-- npu="IPV350" id36 --> | ||
| 354 | -IPV350参数值:Ascend035 | ||
| 355 | -<!-- end id36 --> | ||
| 356 | -<!-- @ref: ge/res/docs/zh/api/graph_engine_api/cpp/ge/aclgrphBuildInitialize_config_params/basic_functions_res.md#id5 --> | ||
| 357 | 320 | ||
| 358 | **配置示例:** | 321 | **配置示例:** |
| 359 | 322 | ||
Mdocs/zh/api/graph_engine_api/cpp/ge/aclgrphBuildInitialize_config_params/deprecated_config_for_future_versions.md+2-1
| @@ -36,7 +36,8 @@ AI处理器部分内置算子有高精度和高性能实现方式,用户可以 | |||
| 36 | 36 | ||
| 37 | 上述实现模式,根据算子的dtype进行区分。$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。 | 37 | 上述实现模式,根据算子的dtype进行区分。$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。 |
| 38 | 38 | ||
| 39 | -**参数默认值:**high\_performance | 39 | +**参数默认值:** |
| 40 | +high\_performance | ||
| 40 | 41 | ||
| 41 | **配置示例:** | 42 | **配置示例:** |
| 42 | 43 | ||
Mdocs/zh/api/graph_engine_api/cpp/ge/aclgrphBuildInitialize_config_params/experimental_parameters.md+2-1
| @@ -21,7 +21,8 @@ HF32是昇腾推出的专门用于算子内部计算的单精度浮点类型, | |||
| 21 | 21 | ||
| 22 | 具体涉及哪些算子,请参见CANN软件安装后文件存储路径的opp/built-in/op\_impl/ai\_core/tbe/impl\_mode/allow\_hf32\_matmul\_**f**\_conv\_**f**.ini,该文件不支持用户修改。 | 22 | 具体涉及哪些算子,请参见CANN软件安装后文件存储路径的opp/built-in/op\_impl/ai\_core/tbe/impl\_mode/allow\_hf32\_matmul\_**f**\_conv\_**f**.ini,该文件不支持用户修改。 |
| 23 | 23 | ||
| 24 | -**参数默认值:**针对Conv类算子,默认开启FP32到HF32的转换;针对Matmul类算子,默认关闭该转换功能。 | 24 | +**参数默认值:** |
| 25 | +针对Conv类算子,默认开启FP32到HF32的转换;针对Matmul类算子,默认关闭该转换功能。 | ||
| 25 | 26 | ||
| 26 | **使用约束**: | 27 | **使用约束**: |
| 27 | 28 | ||
Mdocs/zh/api/graph_engine_api/cpp/ge/aclgrphBuildInitialize_config_params/function_debugging.md+17-17
| @@ -117,22 +117,22 @@ Global Memory内存检测功能开关。此参数实际对应的options参数为 | |||
| 117 | - 使用该选项后,在算子编译过程中会加入如下的检测逻辑,用户可以通过再使用**dump\_cce**参数,在生成的.cce文件中查看如下的代码。 | 117 | - 使用该选项后,在算子编译过程中会加入如下的检测逻辑,用户可以通过再使用**dump\_cce**参数,在生成的.cce文件中查看如下的代码。 |
| 118 | 118 | ||
| 119 | ```cce | 119 | ```cce |
| 120 | - set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID0); | 120 | + set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID0); |
| 121 | - set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID1); | 121 | + set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID1); |
| 122 | - set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID2); | 122 | + set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID2); |
| 123 | - set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID3); | 123 | + set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID3); |
| 124 | - .... | 124 | + .... |
| 125 | - pipe_barrier(PIPE_MTE3); | 125 | + pipe_barrier(PIPE_MTE3); |
| 126 | - pipe_barrier(PIPE_MTE2); | 126 | + pipe_barrier(PIPE_MTE2); |
| 127 | - pipe_barrier(PIPE_M); | 127 | + pipe_barrier(PIPE_M); |
| 128 | - pipe_barrier(PIPE_V); | 128 | + pipe_barrier(PIPE_V); |
| 129 | - pipe_barrier(PIPE_MTE1); | 129 | + pipe_barrier(PIPE_MTE1); |
| 130 | - pipe_barrier(PIPE_ALL); | 130 | + pipe_barrier(PIPE_ALL); |
| 131 | - wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID0); | 131 | + wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID0); |
| 132 | - wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID1); | 132 | + wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID1); |
| 133 | - wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID2); | 133 | + wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID2); |
| 134 | - wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID3); | 134 | + wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID3); |
| 135 | - ... | 135 | + ... |
| 136 | ``` | 136 | ``` |
| 137 | 137 | ||
| 138 | 实际执行推理过程中,如果确实存在算子内部流水线同步信号不匹配,则最终会在**有问题的算子处超时报错,并终止程序**,报错信息示例为: | 138 | 实际执行推理过程中,如果确实存在算子内部流水线同步信号不匹配,则最终会在**有问题的算子处超时报错,并终止程序**,报错信息示例为: |
| @@ -250,7 +250,7 @@ op_debug_list=GatherV2,opType::ReduceSum | |||
| 250 | 250 | ||
| 251 | > [!NOTE]说明 | 251 | > [!NOTE]说明 |
| 252 | > | 252 | > |
| 253 | ->- 若未设置ASCEND\_WORK\_PATH环境变量,结果文件默认生成在执行脚本的当前路径;若设置了ASCEND\_WORK\_PATH环境变量,则保存路径为:$ASCEND\_WORK\_PATH/FE/$\{进程号\}/fusion\_result.json。环境变量详细说明请参见《环境变量参考》。 | 253 | +>- 若未设置ASCEND\_WORK\_PATH环境变量,结果文件默认生成在执行脚本的当前路径;若设置了ASCEND\_WORK\_PATH环境变量,则保存路径为:`$ASCEND_WORK_PATH/FE/${进程号}/fusion_result.json`。环境变量详细说明请参见[《环境变量参考》](https://hiascend.com/document/redirect/CannCommunityEnvRef)。 |
| 254 | >- 通过FUSION\_SWITCH\_FILE参数关闭的融合规则,不会在fusion\_result.json文件中呈现。 | 254 | >- 通过FUSION\_SWITCH\_FILE参数关闭的融合规则,不会在fusion\_result.json文件中呈现。 |
| 255 | 255 | ||
| 256 | **配置示例:** | 256 | **配置示例:** |
Mdocs/zh/api/graph_engine_api/cpp/ge/aclgrphBuildInitialize_config_params/operator_and_graph_compilation.md+5-3
| @@ -75,7 +75,7 @@ | |||
| 75 | 75 | ||
| 76 | - 如果配置该参数的同时启用了算子编译缓存功能(OP\_COMPILER\_CACHE\_MODE参数配置为“enable”或者“force”,默认为“enable”),此参数仅在首次编译时生效。若您想在非首次编译时生效该参数,需要清理编译磁盘的缓存。 | 76 | - 如果配置该参数的同时启用了算子编译缓存功能(OP\_COMPILER\_CACHE\_MODE参数配置为“enable”或者“force”,默认为“enable”),此参数仅在首次编译时生效。若您想在非首次编译时生效该参数,需要清理编译磁盘的缓存。 |
| 77 | 77 | ||
| 78 | -其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。_<arch\>_表示具体操作系统架构,_xxx_请根据实际产品进行选择。 | 78 | +其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。<arch\>表示具体操作系统架构,xxx请根据实际产品进行选择。 |
| 79 | 79 | ||
| 80 | **配置示例:** | 80 | **配置示例:** |
| 81 | 81 | ||
| @@ -241,9 +241,11 @@ | |||
| 241 | 241 | ||
| 242 | 用于配置算子编译磁盘缓存的目录。此参数实际对应的options参数为`ge.op_compiler_cache_dir`。 | 242 | 用于配置算子编译磁盘缓存的目录。此参数实际对应的options参数为`ge.op_compiler_cache_dir`。 |
| 243 | 243 | ||
| 244 | -**参数值格式:**路径支持大小写字母(a-z,A-Z)、数字(0-9)、下划线(\_)、中划线(-)、句点(.)、中文字符。 | 244 | +**参数值格式:** |
| 245 | +路径支持大小写字母(a-z,A-Z)、数字(0-9)、下划线(\_)、中划线(-)、句点(.)、中文字符。 | ||
| 245 | 246 | ||
| 246 | -**默认值:**$HOME/atc\_data | 247 | +**默认值:** |
| 248 | +$HOME/atc\_data | ||
| 247 | 249 | ||
| 248 | **配置示例:** | 250 | **配置示例:** |
| 249 | 251 | ||
| @@ -231,7 +231,7 @@ | |||
| 231 | 231 | ||
| 232 | **参数取值:** | 232 | **参数取值:** |
| 233 | 233 | ||
| 234 | -配置为路径以及文件名,文件为JSON格式。黑白灰名单,可从`${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json`内置优化策略文件中查看“precision\_reduce”参数下的flag参数值(其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。_xxx_请根据实际产品进行选择。): | 234 | +配置为路径以及文件名,文件为JSON格式。黑白灰名单,可从`${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json`内置优化策略文件中查看“precision\_reduce”参数下的flag参数值(其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。xxx请根据实际产品进行选择。): |
| 235 | 235 | ||
| 236 | - 若取值为true(白名单),表示混合精度模式下,**允许**降低精度。 | 236 | - 若取值为true(白名单),表示混合精度模式下,**允许**降低精度。 |
| 237 | - 若取值为false(黑名单),表示混合精度模式下,**不允许**降低精度。 | 237 | - 若取值为false(黑名单),表示混合精度模式下,**不允许**降低精度。 |
Mdocs/zh/api/graph_engine_api/cpp/ge/aclgrphBuildInitialize_config_params/quantization_compression.md+2-1
| @@ -68,7 +68,8 @@ AMCT(昇腾模型压缩工具)4选2结构化稀疏后输出的模型,可 | |||
| 68 | {ge::ir_option::SPARSITY, "1"} | 68 | {ge::ir_option::SPARSITY, "1"} |
| 69 | ``` | 69 | ``` |
| 70 | 70 | ||
| 71 | -**使用约束:**使用该参数时,请确保模型是稀疏的模型,建议用户使用AMCT(TensorFlow)或AMCT(PyTorch)的组合压缩功能获取,且组合压缩只能是4选2结构化稀疏+量化感知训练模式。 | 71 | +**使用约束:** |
| 72 | +使用该参数时,请确保模型是稀疏的模型,建议用户使用AMCT(TensorFlow)或AMCT(PyTorch)的组合压缩功能获取,且组合压缩只能是4选2结构化稀疏+量化感知训练模式。 | ||
| 72 | 73 | ||
| 73 | **产品支持情况:** | 74 | **产品支持情况:** |
| 74 | 75 | ||
| @@ -43,9 +43,9 @@ graphStatus aclgrphBuildModel(const ge::Graph &graph, const std::map<AscendStrin | |||
| 43 | - 使用aclgrphBuildModel接口传入build\_options参数时,多张图场景下,如果传入的参数为ge::ir\_option::PRECISION\_MODE或者ge::ir\_option::PRECISION\_MODE\_V2,多张图设置的参数值需要相同。 | 43 | - 使用aclgrphBuildModel接口传入build\_options参数时,多张图场景下,如果传入的参数为ge::ir\_option::PRECISION\_MODE或者ge::ir\_option::PRECISION\_MODE\_V2,多张图设置的参数值需要相同。 |
| 44 | - 使用aclgrphBuildModel接口编译的离线模型,保存在内存缓冲区中: | 44 | - 使用aclgrphBuildModel接口编译的离线模型,保存在内存缓冲区中: |
| 45 | 45 | ||
| 46 | - - 如果希望将内存缓冲区中的模型保存为离线模型文件xx.om,则需要调用[aclgrphSaveModel](aclgrphSaveModel.md)接口,序列化保存离线模型到文件中。后续进行推理业务,需要使用**从文件中**加载模型的接口,例如aclmdlLoadFromFile,然后使用aclmdlExecute接口执行推理。 | 46 | + - 如果希望将内存缓冲区中的模型保存为离线模型文件xx.om,则需要调用[aclgrphSaveModel](aclgrphSaveModel.md)接口,序列化保存离线模型到文件中。后续进行推理业务,需要使用**从文件中**加载模型的接口,例如aclmdlLoadFromFile,然后使用aclmdlExecute接口执行推理。 |
| 47 | - - 如果离线模型保存在内存缓冲区: | 47 | + - 如果离线模型保存在内存缓冲区: |
| 48 | 48 | ||
| 49 | - 后续进行推理业务时,需要使用**从内存中**加载模型的接口,例如aclmdlLoadFromMem,然后使用aclmdlExecute接口执行推理。 | 49 | + 后续进行推理业务时,需要使用**从内存中**加载模型的接口,例如aclmdlLoadFromMem,然后使用aclmdlExecute接口执行推理。 |
| 50 | 50 | ||
| 51 | - 接口详细使用说明请参见《应用开发 \(C&C++\)》中的“模型推理”章节。 | 51 | + 接口详细使用说明请参见[《应用开发 \(C&C++\)》](https://hiascend.com/document/redirect/CannCommunityCppBaseinfer)中的“模型推理”章节。 |
| @@ -24,7 +24,7 @@ | |||
| 24 | 24 | ||
| 25 | 1. 如果模型编译前,通过**TUNE\_BANK\_PATH**环境变量指定了子图调优自定义知识库路径,模型编译时又通过MDL\_BANK\_PATH参数加载了自定义知识库路径,该场景下以MDL\_BANK\_PATH参数加载的路径为准,**TUNE\_BANK\_PATH**环境变量设置的路径不生效。 | 25 | 1. 如果模型编译前,通过**TUNE\_BANK\_PATH**环境变量指定了子图调优自定义知识库路径,模型编译时又通过MDL\_BANK\_PATH参数加载了自定义知识库路径,该场景下以MDL\_BANK\_PATH参数加载的路径为准,**TUNE\_BANK\_PATH**环境变量设置的路径不生效。 |
| 26 | 2. MDL\_BANK\_PATH参数和环境变量指定路径都不生效或无可用自定义知识库,则使用默认自定义知识库路径。 | 26 | 2. MDL\_BANK\_PATH参数和环境变量指定路径都不生效或无可用自定义知识库,则使用默认自定义知识库路径。 |
| 27 | -3. 如果上述路径下都无可用的自定义知识库,则会查找子图调优内置知识库,该路径为:$\{INSTALL\_DIR\}/_<arch\>_-linux/data/fusion\_strategy/built-in,_<arch\>_表示具体操作系统架构。 | 27 | +3. 如果上述路径下都无可用的自定义知识库,则会查找子图调优内置知识库,该路径为:$\{INSTALL\_DIR\}/_<arch\>_-linux/data/fusion\_strategy/built-in,<arch\>表示具体操作系统架构。 |
| 28 | 28 | ||
| 29 | **产品支持情况:** | 29 | **产品支持情况:** |
| 30 | 30 | ||
| @@ -150,7 +150,6 @@ aipp_op { | |||
| 150 | - FP8E5M2:仅Ascend 950PR/Ascend 950DT支持该类型。 | 150 | - FP8E5M2:仅Ascend 950PR/Ascend 950DT支持该类型。 |
| 151 | - FP8E4M3FN:仅Ascend 950PR/Ascend 950DT支持该类型。 | 151 | - FP8E4M3FN:仅Ascend 950PR/Ascend 950DT支持该类型。 |
| 152 | <!-- end id15 --> | 152 | <!-- end id15 --> |
| 153 | -<!-- @ref: ge/res/docs/zh/api/graph_engine_api/cpp/ge/aclgrphBuildModel_config_params/basic_functions_res.md#id3 --> | ||
| 154 | 153 | ||
| 155 | 模型编译后,在对应的\*.om模型文件中,上述数据类型分别呈现方式如下: | 154 | 模型编译后,在对应的\*.om模型文件中,上述数据类型分别呈现方式如下: |
| 156 | 155 | ||
| @@ -165,9 +164,11 @@ aipp_op { | |||
| 165 | - DT\_UINT64 | 164 | - DT\_UINT64 |
| 166 | - DT\_INT64 | 165 | - DT\_INT64 |
| 167 | - DT\_DOUBLE | 166 | - DT\_DOUBLE |
| 167 | +<!-- npu="950" id16 --> | ||
| 168 | - DT\_HIFLOAT8 | 168 | - DT\_HIFLOAT8 |
| 169 | - DT\_FLOAT8\_E5M2 | 169 | - DT\_FLOAT8\_E5M2 |
| 170 | - DT\_FLOAT8\_E4M3FN | 170 | - DT\_FLOAT8\_E4M3FN |
| 171 | +<!-- end id16 --> | ||
| 171 | 172 | ||
| 172 | **配置示例:** | 173 | **配置示例:** |
| 173 | 174 | ||
| @@ -16,7 +16,7 @@ | |||
| 16 | 16 | ||
| 17 | - 设置shape分档(静态shape),包括设置batch\_size档位、设置分辨率档位、设置动态维度档位。 | 17 | - 设置shape分档(静态shape),包括设置batch\_size档位、设置分辨率档位、设置动态维度档位。 |
| 18 | 18 | ||
| 19 | - 设置INPUT\_SHAPE参数时,将对应维度值设置为-1,同时配合使用DYNAMIC\_BATCH\_SIZE(设置batch\_size档位)或DYNAMIC\_IMAGE\_SIZE(设置分辨率档位)或DYNAMIC\_DIMS(设置动态维度档位)参数。详细用法请参考DYNAMIC\_BATCH\_SIZE、DYNAMIC\_IMAGE\_SIZE、DYNAMIC\_DIMS参数说明。 | 19 | + 设置INPUT\_SHAPE参数时,将对应维度值设置为-1,同时配合使用[DYNAMIC\_BATCH\_SIZE](#dynamic_batch_size)(设置batch\_size档位)或[DYNAMIC\_IMAGE\_SIZE](#dynamic_image_size)(设置分辨率档位)或[DYNAMIC\_DIMS](#dynamic_dims)(设置动态维度档位)参数。 |
| 20 | 20 | ||
| 21 | - 设置shape范围(动态shape)。 | 21 | - 设置shape范围(动态shape)。 |
| 22 | 22 | ||
| @@ -46,7 +46,7 @@ | |||
| 46 | 46 | ||
| 47 | **配置示例:** | 47 | **配置示例:** |
| 48 | 48 | ||
| 49 | -- 固定shape,例如某网络的输入shape信息,输入1**:**input\_0\_0 \[16,32,208,208\],输入2:input\_1\_0 \[16,64,208,208\],则INPUT\_SHAPE的配置信息为: | 49 | +- 固定shape,例如某网络的输入shape信息,输入1:input\_0\_0 \[16,32,208,208\],输入2:input\_1\_0 \[16,64,208,208\],则INPUT\_SHAPE的配置信息为: |
| 50 | 50 | ||
| 51 | ```c++ | 51 | ```c++ |
| 52 | {ge::ir_option::INPUT_SHAPE, "input_0_0:16,32,208,208;input_1_0:16,64,208,208"} | 52 | {ge::ir_option::INPUT_SHAPE, "input_0_0:16,32,208,208;input_1_0:16,64,208,208"} |
| @@ -74,7 +74,7 @@ | |||
| 74 | {ge::ir_option::INPUT_SHAPE, "input_name1:;input_name2:16,32,208,208"} | 74 | {ge::ir_option::INPUT_SHAPE, "input_name1:;input_name2:16,32,208,208"} |
| 75 | ``` | 75 | ``` |
| 76 | 76 | ||
| 77 | - 上述示例中的**input\_name1**为可选配置**。** | 77 | + 上述示例中的**input\_name1**为可选配置。 |
| 78 | 78 | ||
| 79 | - 动态分档场景 | 79 | - 动态分档场景 |
| 80 | 80 | ||
| @@ -87,9 +87,7 @@ | |||
| 87 | 87 | ||
| 88 | > [!NOTE]说明 | 88 | > [!NOTE]说明 |
| 89 | > | 89 | > |
| 90 | ->如果模型转换时通过该参数设置了shape的范围,使用应用工程进行模型推理时,需要在**模型执行**接口之前,调用**aclmdlSetDatasetTensorDesc**接口,用于设置真实的输入Tensor描述信息(输入shape范围);模型执行之后,调用**aclmdlGetDatasetTensorDesc**接口获取模型动态输出的Tensor描述信息;再进一步调用**aclTensorDesc**下的操作接口获取输出Tensor数据占用的内存大小、Tensor的Format信息、Tensor的维度信息等。 | 90 | +>如果模型转换时通过该参数设置了shape的范围,使用应用工程进行模型推理时,需要在**模型执行**接口之前,调用[aclmdlSetDatasetTensorDesc](../../../c/acl/aclmdlSetDatasetTensorDesc.md)接口,用于设置真实的输入Tensor描述信息(输入shape范围);模型执行之后,调用[aclmdlGetDatasetTensorDesc](../../../c/acl/aclmdlGetDatasetTensorDesc.md)接口获取模型动态输出的Tensor描述信息;再进一步调用[aclTensorDesc](../../../c/acl/aclTensorDesc.md)下的操作接口获取输出Tensor数据占用的内存大小、Tensor的Format信息、Tensor的维度信息等。 |
| 91 | -> | ||
| 92 | ->关于**aclmdlSetDatasetTensorDesc**、**aclmdlGetDatasetTensorDesc**等接口的具体使用方法,请参见《GE图引擎 API》。 | ||
| 93 | 91 | ||
| 94 | **产品支持情况:** | 92 | **产品支持情况:** |
| 95 | 93 | ||
| @@ -105,7 +103,9 @@ | |||
| 105 | 103 | ||
| 106 | **参数值格式**:指定的参数必须放在双引号中,档位之间使用英文逗号分隔。 | 104 | **参数值格式**:指定的参数必须放在双引号中,档位之间使用英文逗号分隔。 |
| 107 | 105 | ||
| 106 | +<!-- npu="950,A3,910b,910,310p,310b" id48 --> | ||
| 108 | **参数值约束:** | 107 | **参数值约束:** |
| 108 | +<!-- end id48 --> | ||
| 109 | 109 | ||
| 110 | <!-- npu="950" id3 --> | 110 | <!-- npu="950" id3 --> |
| 111 | - 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为\(1, 256\],即必须设置至少2个档位,最多支持256档配置;每个档位数值建议限制为:\[1\~2048\]。 | 111 | - 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为\(1, 256\],即必须设置至少2个档位,最多支持256档配置;每个档位数值建议限制为:\[1\~2048\]。 |
| @@ -184,7 +184,9 @@ INPUT\_SHAPE中的“-1”表示设置动态batch。 | |||
| 184 | 184 | ||
| 185 | **参数值格式:**指定的参数必须放在双引号中,档位之间英文**分号**分隔,每档内参数使用英文**逗号**分隔。 | 185 | **参数值格式:**指定的参数必须放在双引号中,档位之间英文**分号**分隔,每档内参数使用英文**逗号**分隔。 |
| 186 | 186 | ||
| 187 | +<!-- npu="950,A3,910b,910,310p,310b" id46 --> | ||
| 187 | **参数值约束:** | 188 | **参数值约束:** |
| 189 | +<!-- end id46 --> | ||
| 188 | 190 | ||
| 189 | <!-- npu="950" id10 --> | 191 | <!-- npu="950" id10 --> |
| 190 | - 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为\(1, 256\],即必须设置至少2个档位,最多支持256档配置。 | 192 | - 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为\(1, 256\],即必须设置至少2个档位,最多支持256档配置。 |
| @@ -263,7 +265,9 @@ INPUT\_SHAPE中的“-1”表示设置动态分辨率。 | |||
| 263 | 265 | ||
| 264 | **参数值格式**:所有档位必须放在双引号中,档位之间使用英文**分号**分隔,每档内参数使用英文**逗号**分隔;每档中的dim值与INPUT\_SHAPE参数中的-1标识的参数依次对应,INPUT\_SHAPE参数中有几个-1,则每档必须设置几个维度。 | 266 | **参数值格式**:所有档位必须放在双引号中,档位之间使用英文**分号**分隔,每档内参数使用英文**逗号**分隔;每档中的dim值与INPUT\_SHAPE参数中的-1标识的参数依次对应,INPUT\_SHAPE参数中有几个-1,则每档必须设置几个维度。 |
| 265 | 267 | ||
| 268 | +<!-- npu="950,A3,910b,910,310p,310b" id47 --> | ||
| 266 | **参数值约束:** | 269 | **参数值约束:** |
| 270 | +<!-- end id47 --> | ||
| 267 | 271 | ||
| 268 | <!-- npu="950" id24 --> | 272 | <!-- npu="950" id24 --> |
| 269 | - 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为\(1, 256\],即必须设置至少2个档位,最多支持256档配置,建议配置为3\~4档。 | 273 | - 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为\(1, 256\],即必须设置至少2个档位,最多支持256档配置,建议配置为3\~4档。 |
| @@ -229,7 +229,7 @@ | |||
| 229 | 229 | ||
| 230 | **参数取值:** | 230 | **参数取值:** |
| 231 | 231 | ||
| 232 | -配置为路径以及文件名,文件为JSON格式。黑白灰名单,可从`${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json`内置优化策略文件中查看“precision\_reduce”参数下的flag参数值(其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。_xxx_请根据实际产品进行选择。): | 232 | +配置为路径以及文件名,文件为JSON格式。黑白灰名单,可从`${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json`内置优化策略文件中查看“precision\_reduce”参数下的flag参数值(其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。xxx请根据实际产品进行选择。): |
| 233 | 233 | ||
| 234 | - 若取值为true(白名单),表示混合精度模式下,**允许**降低精度。 | 234 | - 若取值为true(白名单),表示混合精度模式下,**允许**降低精度。 |
| 235 | - 若取值为false(黑名单),表示混合精度模式下,**不允许**降低精度。 | 235 | - 若取值为false(黑名单),表示混合精度模式下,**不允许**降低精度。 |
| @@ -346,7 +346,7 @@ OpType::Relu:InputDtype:float16,int8,OutputDtype:float16,int8 | |||
| 346 | > [!NOTE]说明 | 346 | > [!NOTE]说明 |
| 347 | > | 347 | > |
| 348 | >- 算子具体支持的计算精度可以从算子信息库中查看,默认存储路径为:`${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json`。 | 348 | >- 算子具体支持的计算精度可以从算子信息库中查看,默认存储路径为:`${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json`。 |
| 349 | -> $\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。_xxx_请根据实际产品进行选择。 | 349 | +> $\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。xxx请根据实际产品进行选择。 |
| 350 | >- 通过该参数指定的优先级高,因此可能会导致精度/性能的下降,如果指定的dtype不支持,会导致编译失败。 | 350 | >- 通过该参数指定的优先级高,因此可能会导致精度/性能的下降,如果指定的dtype不支持,会导致编译失败。 |
| 351 | 351 | ||
| 352 | **配置示例:** | 352 | **配置示例:** |
| @@ -13,7 +13,7 @@ | |||
| 13 | 13 | ||
| 14 | 将离线模型序列化并保存到指定文件中。 | 14 | 将离线模型序列化并保存到指定文件中。 |
| 15 | 15 | ||
| 16 | -- 与[aclgrphSaveModel](aclgrphSaveModel.md)接口的区别是,该接口适用于权重更新场景,且通过该接口生成的模型,如果要使用acl进行推理,需要使用aclmdlBundleLoadFromFile或aclmdlBundleLoadFromMem接口加载模型,接口详细介绍请参见《GE图引擎 API》中的“模型管理 \> 模型加载和卸载”。 | 16 | +- 与[aclgrphSaveModel](aclgrphSaveModel.md)接口的区别是,该接口适用于权重更新场景,且通过该接口生成的模型,如果要使用acl进行推理,需要使用[aclmdlBundleLoadFromFile](../../c/acl/aclmdlBundleLoadFromFile.md)或[aclmdlBundleLoadFromMem](../../c/acl/aclmdlBundleLoadFromMem.md)接口加载模型。 |
| 17 | - 通过[aclgrphBundleBuildModel](aclgrphBundleBuildModel.md)接口生成离线模型缓存后才可以使用aclgrphBundleSaveModel接口落盘。 | 17 | - 通过[aclgrphBundleBuildModel](aclgrphBundleBuildModel.md)接口生成离线模型缓存后才可以使用aclgrphBundleSaveModel接口落盘。 |
| 18 | 18 | ||
| 19 | ## 函数原型 | 19 | ## 函数原型 |
| @@ -19,6 +19,7 @@ | |||
| 19 | 19 | ||
| 20 | 全量芯片支持。 | 20 | 全量芯片支持。 |
| 21 | 21 | ||
| 22 | +<!-- npu="950,A3,910b" id1 --> | ||
| 22 | ## \_op\_aicore\_num | 23 | ## \_op\_aicore\_num |
| 23 | 24 | ||
| 24 | 用于配置算子编译时使用的AI Core中的Cube Core核数。 | 25 | 用于配置算子编译时使用的AI Core中的Cube Core核数。 |
| @@ -35,7 +36,7 @@ cube_core_cnt=24 | |||
| 35 | vector_core_cnt=48 | 36 | vector_core_cnt=48 |
| 36 | ``` | 37 | ``` |
| 37 | 38 | ||
| 38 | -其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。_<arch\>_表示具体操作系统架构,_xxx_请根据实际产品进行选择。 | 39 | +其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。<arch\>表示具体操作系统架构,xxx请根据实际产品进行选择。 |
| 39 | 40 | ||
| 40 | **产品支持情况:** | 41 | **产品支持情况:** |
| 41 | 42 | ||
| @@ -45,11 +46,9 @@ vector_core_cnt=48 | |||
| 45 | - Atlas 推理系列产品:不支持 | 46 | - Atlas 推理系列产品:不支持 |
| 46 | - Atlas 训练系列产品:不支持 | 47 | - Atlas 训练系列产品:不支持 |
| 47 | - Atlas 200I/500 A2 推理产品:不支持 | 48 | - Atlas 200I/500 A2 推理产品:不支持 |
| 48 | -- MC62CM12A AI处理器:不支持 | 49 | +<!-- end id1 --> |
| 49 | -- BS9SX1A AI处理器:不支持 | ||
| 50 | -- BS9SX2A AI处理器:不支持 | ||
| 51 | -- IPV350:不支持 | ||
| 52 | 50 | ||
| 51 | +<!-- npu="950,A3,910b" id2 --> | ||
| 53 | ## \_op\_vectorcore\_num | 52 | ## \_op\_vectorcore\_num |
| 54 | 53 | ||
| 55 | 用于配置算子编译时使用的AI Core中的Vector Core核数。 | 54 | 用于配置算子编译时使用的AI Core中的Vector Core核数。 |
| @@ -66,7 +65,7 @@ cube_core_cnt=24 | |||
| 66 | vector_core_cnt=48 | 65 | vector_core_cnt=48 |
| 67 | ``` | 66 | ``` |
| 68 | 67 | ||
| 69 | -其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。_<arch\>_表示具体操作系统架构,_xxx_请根据实际产品进行选择。 | 68 | +其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。<arch\>表示具体操作系统架构,xxx请根据实际产品进行选择。 |
| 70 | 69 | ||
| 71 | **产品支持情况:** | 70 | **产品支持情况:** |
| 72 | 71 | ||
| @@ -76,10 +75,7 @@ vector_core_cnt=48 | |||
| 76 | - Atlas 推理系列产品:不支持 | 75 | - Atlas 推理系列产品:不支持 |
| 77 | - Atlas 训练系列产品:不支持 | 76 | - Atlas 训练系列产品:不支持 |
| 78 | - Atlas 200I/500 A2 推理产品:不支持 | 77 | - Atlas 200I/500 A2 推理产品:不支持 |
| 79 | -- MC62CM12A AI处理器:不支持 | 78 | +<!-- end id2 --> |
| 80 | -- BS9SX1A AI处理器:不支持 | ||
| 81 | -- BS9SX2A AI处理器:不支持 | ||
| 82 | -- IPV350:不支持 | ||
| 83 | 79 | ||
| 84 | ## \_op\_exec\_never\_timeout | 80 | ## \_op\_exec\_never\_timeout |
| 85 | 81 | ||
Mdocs/zh/api/graph_engine_api/cpp/ge/fusion/MatchResult/MatchResult_constructor_and_destructor.md+0-4
| @@ -36,10 +36,6 @@ MatchResult &operator=(MatchResult &&other) noexcept ; | |||
| 36 | 36 | ||
| 37 | 无 | 37 | 无 |
| 38 | 38 | ||
| 39 | -## 异常处理 | ||
| 40 | - | ||
| 41 | -无 | ||
| 42 | - | ||
| 43 | ## 约束说明 | 39 | ## 约束说明 |
| 44 | 40 | ||
| 45 | 无 | 41 | 无 |
| @@ -21,7 +21,7 @@ | |||
| 21 | 21 | ||
| 22 | 考虑如下结构,当对ABC做匹配时,C会先后出现在2个匹配结果中,选取哪个结果需要调用者自行决定。 | 22 | 考虑如下结构,当对ABC做匹配时,C会先后出现在2个匹配结果中,选取哪个结果需要调用者自行决定。 |
| 23 | 23 | ||
| 24 | - ```mermaid | 24 | + ```plaintext |
| 25 | B C B | 25 | B C B |
| 26 | \ / \ / | 26 | \ / \ / |
| 27 | A A | 27 | A A |
| @@ -4,7 +4,7 @@ | |||
| 4 | 4 | ||
| 5 | - 考虑一个Tensor可能有多个消费者,因此一个Subgraph input可能对应多个Node input。 | 5 | - 考虑一个Tensor可能有多个消费者,因此一个Subgraph input可能对应多个Node input。 |
| 6 | 6 | ||
| 7 | - ```mermaid | 7 | + ```plaintext |
| 8 | tensor1 | 8 | tensor1 |
| 9 | / \ | 9 | / \ |
| 10 | op1 op2 | 10 | op1 op2 |
| @@ -22,7 +22,7 @@ Ascend 950PR/Ascend 950DT不支持该参数。 | |||
| 22 | 22 | ||
| 23 | 1. 如果模型编译前,通过**TUNE\_BANK\_PATH**环境变量指定了子图调优自定义知识库路径,模型编译时又通过ge.mdl\_bank\_path参数加载了自定义知识库路径,该场景下以ge.mdl\_bank\_path参数加载的路径为准,**TUNE\_BANK\_PATH**环境变量设置的路径不生效。 | 23 | 1. 如果模型编译前,通过**TUNE\_BANK\_PATH**环境变量指定了子图调优自定义知识库路径,模型编译时又通过ge.mdl\_bank\_path参数加载了自定义知识库路径,该场景下以ge.mdl\_bank\_path参数加载的路径为准,**TUNE\_BANK\_PATH**环境变量设置的路径不生效。 |
| 24 | 2. ge.mdl\_bank\_path参数和环境变量指定路径都不生效或无可用自定义知识库,则使用默认自定义知识库路径。 | 24 | 2. ge.mdl\_bank\_path参数和环境变量指定路径都不生效或无可用自定义知识库,则使用默认自定义知识库路径。 |
| 25 | -3. 如果上述路径下都无可用的自定义知识库,则会查找子图调优内置知识库,该路径为:$\{INSTALL\_DIR\}/_<arch\>_-linux/data/fusion\_strategy/built-in,_<arch\>_请替换为具体操作系统架构。 | 25 | +3. 如果上述路径下都无可用的自定义知识库,则会查找子图调优内置知识库,该路径为:$\{INSTALL\_DIR\}/_<arch\>_-linux/data/fusion\_strategy/built-in,<arch\>请替换为具体操作系统架构。 |
| 26 | 26 | ||
| 27 | **必选/可选**:可选 | 27 | **必选/可选**:可选 |
| 28 | 28 | ||
| @@ -231,9 +231,11 @@ N表示该台Server上的可用AI处理器个数。 | |||
| 231 | - DT\_UINT64 | 231 | - DT\_UINT64 |
| 232 | - DT\_INT64 | 232 | - DT\_INT64 |
| 233 | - DT\_DOUBLE | 233 | - DT\_DOUBLE |
| 234 | +<!-- npu="950" id8 --> | ||
| 234 | - DT\_HIFLOAT8 | 235 | - DT\_HIFLOAT8 |
| 235 | - DT\_FLOAT8\_E5M2 | 236 | - DT\_FLOAT8\_E5M2 |
| 236 | - DT\_FLOAT8\_E4M3FN | 237 | - DT\_FLOAT8\_E4M3FN |
| 238 | +<!-- end id8 --> | ||
| 237 | 239 | ||
| 238 | **参数值约束:** | 240 | **参数值约束:** |
| 239 | 241 | ||
| @@ -269,35 +271,7 @@ N表示该台Server上的可用AI处理器个数。 | |||
| 269 | 271 | ||
| 270 | 指定编译优化模型的AI处理器型号。 | 272 | 指定编译优化模型的AI处理器型号。 |
| 271 | 273 | ||
| 272 | -取值查询方法如下: | 274 | +取值查询方法请参见[--soc_version](../../../../../user_guides/atc_tools/CLI_options/--soc_version.md)。 |
| 273 | - | ||
| 274 | -<!-- npu="950" id2 --> | ||
| 275 | -- 针对Ascend 950PR/Ascend 950DT,在安装AI处理器的服务器执行**npu-smi info -t board -i **_id_命令进行查询,获取**Chip Name**和**NPU Name**信息,实际配置值为Chip Name\_NPU Name。例如**Chip Name**取值为Ascend_xxx_,**NPU Name**取值为1234,实际配置值为Ascend_xxx__\__1234。 | ||
| 276 | - | ||
| 277 | - 其中,id为设备id,通过**npu-smi info -l**命令查出的NPU ID即为设备id。 | ||
| 278 | -<!-- end id2 --> | ||
| 279 | - | ||
| 280 | -<!-- npu="A3" id3 --> | ||
| 281 | -- 针对Atlas A3 训练系列产品/Atlas A3 推理系列产品,在安装AI处理器的服务器执行**npu-smi info -t board -i **_id_** -c **_chip\_id_命令进行查询,获取**Chip Name**和**NPU Name**信息,实际配置值为Chip Name\_NPU Name。例如**Chip Name**取值为Ascend_xxx_,**NPU Name**取值为1234,实际配置值为Ascend_xxx__\__1234。其中: | ||
| 282 | - - id:设备id,通过**npu-smi info -l**命令查出的NPU ID即为设备id。 | ||
| 283 | - - chip\_id:芯片id,通过**npu-smi info -m**命令查出的Chip ID即为芯片id。 | ||
| 284 | -<!-- end id3 --> | ||
| 285 | - | ||
| 286 | -<!-- npu="910b,910,310p" id4 --> | ||
| 287 | -- 针对如下产品:在安装AI处理器的服务器执行**npu-smi info**命令进行查询,获取**Name**信息。实际配置值为AscendName,例如**Name**取值为_xxxyy_,实际配置值为Ascend_xxxyy_。 | ||
| 288 | - | ||
| 289 | - <!-- npu="910b" id5 --> | ||
| 290 | - Atlas A2 训练系列产品/Atlas A2 推理系列产品 | ||
| 291 | - <!-- end id5 --> | ||
| 292 | - | ||
| 293 | - <!-- npu="310p" id6 --> | ||
| 294 | - Atlas 推理系列产品 | ||
| 295 | - <!-- end id6 --> | ||
| 296 | - | ||
| 297 | - <!-- npu="910" id7 --> | ||
| 298 | - Atlas 训练系列产品 | ||
| 299 | - <!-- end id7 --> | ||
| 300 | -<!-- end id4 --> | ||
| 301 | 275 | ||
| 302 | **必选/可选**:可选 | 276 | **必选/可选**:可选 |
| 303 | 277 | ||
| @@ -25,11 +25,14 @@ | |||
| 25 | 25 | ||
| 26 | 设置ND格式下动态维度的档位,适用于执行推理时,每次处理任意维度的场景。该参数需要与ge.inputShape配合使用。详细使用示例请参见[编译并运行Graph场景](../../../../../user_guides/graph_dev/more_features/dynamic_shape.md#编译并运行graph场景)。 | 26 | 设置ND格式下动态维度的档位,适用于执行推理时,每次处理任意维度的场景。该参数需要与ge.inputShape配合使用。详细使用示例请参见[编译并运行Graph场景](../../../../../user_guides/graph_dev/more_features/dynamic_shape.md#编译并运行graph场景)。 |
| 27 | 27 | ||
| 28 | -**参数取值:**通过"dim1,dim2,dim3;dim4,dim5,dim6;dim7,dim8,dim9"的形式设置。 | 28 | +**参数取值:** |
| 29 | +通过"dim1,dim2,dim3;dim4,dim5,dim6;dim7,dim8,dim9"的形式设置。 | ||
| 29 | 30 | ||
| 30 | **参数值格式:**所有档位必须放在双引号中,档位之间使用英文**分号**分隔,每档内参数使用英文**逗号**分隔;每档中的dim值与ge.inputShape参数中的-1标识的参数依次对应,inputShape参数中有几个-1,则每档必须设置几个维度。并且要求档位信息必须大于1组。 | 31 | **参数值格式:**所有档位必须放在双引号中,档位之间使用英文**分号**分隔,每档内参数使用英文**逗号**分隔;每档中的dim值与ge.inputShape参数中的-1标识的参数依次对应,inputShape参数中有几个-1,则每档必须设置几个维度。并且要求档位信息必须大于1组。 |
| 31 | 32 | ||
| 33 | +<!-- npu="950,A3,910b,910,310p" id7 --> | ||
| 32 | **参数值约束:** | 34 | **参数值约束:** |
| 35 | +<!-- end id7 --> | ||
| 33 | 36 | ||
| 34 | <!-- npu="950" id1 --> | 37 | <!-- npu="950" id1 --> |
| 35 | - 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为\(1, 256\],即必须设置至少2个档位,最多支持256档配置,建议配置为3\~4档。 | 38 | - 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为\(1, 256\],即必须设置至少2个档位,最多支持256档配置,建议配置为3\~4档。 |
| @@ -103,7 +106,7 @@ | |||
| 103 | 106 | ||
| 104 | ## ge.exec.hostSchedulingMaxThreshold | 107 | ## ge.exec.hostSchedulingMaxThreshold |
| 105 | 108 | ||
| 106 | -控制**静态小图(根图)**执行时是否走动态shape调度的最大阈值。默认阈值为0。建议大模型场景使用。 | 109 | +控制静态小图(根图)执行时是否走动态shape调度的最大阈值。默认阈值为0。建议大模型场景使用。 |
| 107 | 110 | ||
| 108 | - 如果静态根图节点的个数<最大阈值,则走动态shape调度。大模型场景,该方式可以节约Stream资源。 | 111 | - 如果静态根图节点的个数<最大阈值,则走动态shape调度。大模型场景,该方式可以节约Stream资源。 |
| 109 | - 如果静态根图节点的个数\>最大阈值,则保持原有流程不变。 | 112 | - 如果静态根图节点的个数\>最大阈值,则保持原有流程不变。 |
| @@ -42,8 +42,8 @@ | |||
| 42 | 42 | ||
| 43 | Host侧输入数据搬运到Device侧时,将用户离散多个输入数据合并拷贝的阈值,最小值为0 Byte,最大值为33554432 Byte(32MB),默认值为131072Byte(128KB)。若: | 43 | Host侧输入数据搬运到Device侧时,将用户离散多个输入数据合并拷贝的阈值,最小值为0 Byte,最大值为33554432 Byte(32MB),默认值为131072Byte(128KB)。若: |
| 44 | 44 | ||
| 45 | -- 输入数据大小**<=**阈值,则合并输入,然后从host搬运到device。 | 45 | +- 输入数据大小<=阈值,则合并输入,然后从host搬运到device。 |
| 46 | -- 输入数据大小**\>**阈值,或者阈值=0(功能关闭),则不合并,直接从host搬运到device。 | 46 | +- 输入数据大小\>阈值,或者阈值=0(功能关闭),则不合并,直接从host搬运到device。 |
| 47 | 47 | ||
| 48 | 例如用户有10个输入,有2个输入数据大小为100KB,2个输入数据大小为50KB,其余输入大于100KB,若设置: | 48 | 例如用户有10个输入,有2个输入数据大小为100KB,2个输入数据大小为50KB,其余输入大于100KB,若设置: |
| 49 | 49 | ||
| @@ -205,12 +205,12 @@ ge.exec.outputReuseInputMemIndexes = "0,1|6,8" | |||
| 205 | 落盘路径说明: | 205 | 落盘路径说明: |
| 206 | 206 | ||
| 207 | - 若配置了ge.externalWeightDir,则权重文件会落盘到指定目录。 | 207 | - 若配置了ge.externalWeightDir,则权重文件会落盘到指定目录。 |
| 208 | -- 若环境中未配置环境变量ASCEND\_WORK\_PATH,则权重文件落盘至当前执行目录“tmp\_weight\__<pid\>_\__<sessionid__\>_”下。 | 208 | +- 若环境中未配置环境变量ASCEND\_WORK\_PATH,则权重文件落盘至当前执行目录`tmp_weight_<pid>_<sessionid>`下。 |
| 209 | -- 若环境中配置环境变量ASCEND\_WORK\_PATH,则权重文件会落盘至$\{ASCEND\_WORK\_PATH\}/tmp\_weight_\_<pid\>_\__<sessionid__\>_目录下,关于ASCEND\_WORK\_PATH的详细说明,可参见[《环境变量参考》](https://hiascend.com/document/redirect/CannCommunityEnvRef)。 | 209 | +- 若环境中配置环境变量ASCEND\_WORK\_PATH,则权重文件会落盘至`${ASCEND_WORK_PATH}/tmp_weight_<pid>_<sessionid>`目录下,关于ASCEND\_WORK\_PATH的详细说明,可参见[《环境变量参考》](https://hiascend.com/document/redirect/CannCommunityEnvRef)。 |
| 210 | 210 | ||
| 211 | -落盘路径优先级:ge.externalWeightDir \> $\{ASCEND\_WORK\_PATH\}/tmp\_weight_\_<pid\>_\__<sessionid__\>_ \>当前执行目录tmp\_weight\__<pid\>_\__<sessionid__\>_。 | 211 | +落盘路径优先级:ge.externalWeightDir \> `${ASCEND_WORK_PATH}/tmp_weight_<pid>_<sessionid>` \>当前执行目录`tmp_weight_<pid>_<sessionid>`。 |
| 212 | 212 | ||
| 213 | -模型卸载时,会将tmp\_weight\__<pid\>_\__<sessionid__\>_目录删除。 | 213 | +模型卸载时,会将`tmp_weight_<pid>_<sessionid>`目录删除。 |
| 214 | 214 | ||
| 215 | **配置示例:** | 215 | **配置示例:** |
| 216 | 216 | ||
| @@ -229,7 +229,7 @@ ge.exec.outputReuseInputMemIndexes = "0,1|6,8" | |||
| 229 | **使用约束:** | 229 | **使用约束:** |
| 230 | 230 | ||
| 231 | - 如果要自行指定外置权重文件存放路径,需与ge.externalWeight参数配合使用。 | 231 | - 如果要自行指定外置权重文件存放路径,需与ge.externalWeight参数配合使用。 |
| 232 | -- 优先级:ge.externalWeightDir \> $\{ASCEND\_WORK\_PATH\}/tmp\_weight_\_<pid\>_\__<sessionid__\>_ \>当前执行目录tmp\_weight\__<pid\>_\__<sessionid__\>_。 | 232 | +- 优先级:ge.externalWeightDir \> `${ASCEND_WORK_PATH}/tmp_weight_<pid>_<sessionid>` \>当前执行目录`tmp_weight_<pid>_<sessionid>`。 |
| 233 | 233 | ||
| 234 | **配置示例:** | 234 | **配置示例:** |
| 235 | 235 | ||
| @@ -65,7 +65,7 @@ | |||
| 65 | 65 | ||
| 66 | - 如果配置该参数的同时启用了算子编译缓存功能(ge.op\_compiler\_cache\_mode参数配置为“enable”或者“force”,默认为“enable”),此参数仅在首次编译时生效。若您想在非首次编译时生效该参数,需要清理编译磁盘的缓存。 | 66 | - 如果配置该参数的同时启用了算子编译缓存功能(ge.op\_compiler\_cache\_mode参数配置为“enable”或者“force”,默认为“enable”),此参数仅在首次编译时生效。若您想在非首次编译时生效该参数,需要清理编译磁盘的缓存。 |
| 67 | 67 | ||
| 68 | -其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。_<arch\>_表示具体操作系统架构,_xxx_请根据实际产品进行选择。 | 68 | +其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。<arch\>表示具体操作系统架构,xxx请根据实际产品进行选择。 |
| 69 | 69 | ||
| 70 | **配置示例:** | 70 | **配置示例:** |
| 71 | 71 | ||
| @@ -141,17 +141,9 @@ | |||
| 141 | 141 | ||
| 142 | ## ge.compile.h2dOverlappedWithCompute | 142 | ## ge.compile.h2dOverlappedWithCompute |
| 143 | 143 | ||
| 144 | -用于配置模型输入的H2D拷贝是否与模型计算重叠执行。该参数作为图编译选项传递给GE。 | 144 | +用于配置模型输入的H2D拷贝是否与模型计算重叠执行。 |
| 145 | 145 | ||
| 146 | -**参数取值:** | 146 | +该参数作为图编译选项传递给GE,GE首先筛选可以参与该功能的输入,并按照输入首次被使用的位置排序: |
| 147 | - | ||
| 148 | -- "0":关闭重叠。所有输入完成H2D拷贝后,模型才开始计算。默认值。 | ||
| 149 | -- "1":开启自动规划。GE自动对输入分组,并在模型计算过程中拷贝部分输入。 | ||
| 150 | -- 逗号分隔的分组边界,例如"44,64,68":手动指定输入如何分组。 | ||
| 151 | - | ||
| 152 | -**工作方式:** | ||
| 153 | - | ||
| 154 | -GE首先筛选可以参与该功能的输入,并按照输入首次被使用的位置排序: | ||
| 155 | 147 | ||
| 156 | - 首次消费节点的拓扑序越小,排序越靠前。 | 148 | - 首次消费节点的拓扑序越小,排序越靠前。 |
| 157 | - 首次消费节点相同时,按input index升序排列。 | 149 | - 首次消费节点相同时,按input index升序排列。 |
| @@ -160,47 +152,29 @@ GE首先筛选可以参与该功能的输入,并按照输入首次被使用的 | |||
| 160 | 152 | ||
| 161 | 第一组在模型开始计算前完成拷贝;其余组在模型计算过程中拷贝,与模型计算重叠执行。 | 153 | 第一组在模型开始计算前完成拷贝;其余组在模型计算过程中拷贝,与模型计算重叠执行。 |
| 162 | 154 | ||
| 163 | -**手动分组:** | 155 | +**参数取值:** |
| 164 | 156 | ||
| 165 | -手动配置的数字表示排序后输入序列的分组边界。例如: | 157 | +- "0":关闭重叠。所有输入完成H2D拷贝后,模型才开始计算。默认值。 |
| 158 | +- "1":开启自动规划。GE自动对输入分组,并在模型计算过程中拷贝部分输入。 | ||
| 159 | +- 逗号分隔的分组边界,例如"44,64,68":手动指定输入如何分组。 | ||
| 166 | 160 | ||
| 167 | -```text | 161 | + 手动配置的数字表示排序后输入序列的分组边界。例如:"44,64,68",表示将输入分为四个拷贝组:[0,44)、[44,64)、[64,68)、[68,N),其中,[0,44)在模型开始计算前完成拷贝,其余三组在模型计算过程中执行拷贝。 |
| 168 | -44,64,68 | ||
| 169 | -``` | ||
| 170 | 162 | ||
| 171 | -表示将输入分为四个拷贝组: | 163 | + 如果只需要一个边界,可以配置为:`44,`或`,44` |
| 172 | 164 | ||
| 173 | -```text | 165 | + 两种写法均表示[0,44)在模型开始计算前完成拷贝,[44,N)在模型计算过程中执行拷贝。 |
| 174 | -[0,44)、[44,64)、[64,68)、[68,N) | ||
| 175 | -``` | ||
| 176 | 166 | ||
| 177 | -其中,[0,44)在模型开始计算前完成拷贝,其余三组在模型计算过程中执行拷贝。 | 167 | + 需要注意的是,**边界编号基于GE对候选输入的排序结果,不是模型的input index**。GE会通过INFO日志打印最终采用的分组边界和拷贝区间: |
| 178 | 168 | ||
| 179 | -如果只需要一个边界,可以配置为: | 169 | + ```text |
| 170 | + [InputH2DOverlap] H2D overlap groups: mode=auto, boundaries=[44,64,68] | ||
| 171 | + ``` | ||
| 180 | 172 | ||
| 181 | -```text | 173 | + 手动配置时,mode显示为manual: |
| 182 | -44, | ||
| 183 | -``` | ||
| 184 | 174 | ||
| 185 | -或: | 175 | + ```text |
| 186 | - | 176 | + [InputH2DOverlap] H2D overlap groups: mode=manual, boundaries=[44,64,68] |
| 187 | -```text | 177 | + ``` |
| 188 | -,44 | ||
| 189 | -``` | ||
| 190 | - | ||
| 191 | -两种写法均表示`[0,44)`在模型开始计算前完成拷贝,`[44,N)`在模型计算过程中执行拷贝。 | ||
| 192 | - | ||
| 193 | -需要注意的是,**边界编号基于GE对候选输入的排序结果,不是模型的input index**。GE会通过INFO日志打印最终采用的分组边界和拷贝区间: | ||
| 194 | - | ||
| 195 | -```text | ||
| 196 | -[InputH2DOverlap] H2D overlap groups: mode=auto, boundaries=[44,64,68] | ||
| 197 | -``` | ||
| 198 | - | ||
| 199 | -手动配置时,mode显示为manual: | ||
| 200 | - | ||
| 201 | -```text | ||
| 202 | -[InputH2DOverlap] H2D overlap groups: mode=manual, boundaries=[44,64,68] | ||
| 203 | -``` | ||
| 204 | 178 | ||
| 205 | **推荐配置:** | 179 | **推荐配置:** |
| 206 | 180 | ||
| @@ -216,15 +190,15 @@ GE首先筛选可以参与该功能的输入,并按照输入首次被使用的 | |||
| 216 | 190 | ||
| 217 | - 自动规划: | 191 | - 自动规划: |
| 218 | 192 | ||
| 219 | -```c++ | 193 | + ```c++ |
| 220 | -{"ge.compile.h2dOverlappedWithCompute", "1"}; | 194 | + {"ge.compile.h2dOverlappedWithCompute", "1"}; |
| 221 | -``` | 195 | + ``` |
| 222 | 196 | ||
| 223 | - 手动分组: | 197 | - 手动分组: |
| 224 | 198 | ||
| 225 | -```c++ | 199 | + ```c++ |
| 226 | -{"ge.compile.h2dOverlappedWithCompute", "44,64,68"}; | 200 | + {"ge.compile.h2dOverlappedWithCompute", "44,64,68"}; |
| 227 | -``` | 201 | + ``` |
| 228 | 202 | ||
| 229 | **使用约束:** | 203 | **使用约束:** |
| 230 | 204 | ||
| @@ -196,7 +196,7 @@ dump文件生成在该参数指定的目录下,即\{dump\_path\}/\{time\}/\{de | |||
| 196 | 196 | ||
| 197 | 系统内置了一些图融合和UB融合规则,均为默认开启,可以根据需要关闭指定的融合规则,当前可以关闭的融合规则请参见《图融合和UB融合规则参考》,但是由于系统机制,其他融合规则无法关闭。 | 197 | 系统内置了一些图融合和UB融合规则,均为默认开启,可以根据需要关闭指定的融合规则,当前可以关闭的融合规则请参见《图融合和UB融合规则参考》,但是由于系统机制,其他融合规则无法关闭。 |
| 198 | 198 | ||
| 199 | -配置文件样例_fusion\_switch.cfg_如下所示_,_on表示开启,off表示关闭。 | 199 | +配置文件样例fusion\_switch.cfg如下所示:on表示开启,off表示关闭。 |
| 200 | 200 | ||
| 201 | 配置文件样例: | 201 | 配置文件样例: |
| 202 | 202 | ||
| @@ -32,7 +32,7 @@ OpType::Relu:InputDtype:float16,int8,OutputDtype:float16,int8 | |||
| 32 | 32 | ||
| 33 | > [!NOTE]说明 | 33 | > [!NOTE]说明 |
| 34 | > | 34 | > |
| 35 | ->- 算子具体支持的计算精度可以从算子信息库中查看,默认存储路径为:`${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/_xxx_/aic-xxx-ops-info-*.json`,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。xxx请根据实际产品进行选择。 | 35 | +>- 算子具体支持的计算精度可以从算子信息库中查看,默认存储路径为:`${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json`,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。xxx请根据实际产品进行选择。 |
| 36 | >- 通过该参数指定的优先级高,因此可能会导致精度/性能的下降,如果指定的dtype不支持,会导致编译失败。 | 36 | >- 通过该参数指定的优先级高,因此可能会导致精度/性能的下降,如果指定的dtype不支持,会导致编译失败。 |
| 37 | 37 | ||
| 38 | **必选/可选**:可选 | 38 | **必选/可选**:可选 |
| @@ -43,7 +43,7 @@ OpType::Relu:InputDtype:float16,int8,OutputDtype:float16,int8 | |||
| 43 | 43 | ||
| 44 | 混合精度场景下,通过此参数指定混合精度黑白灰名单的路径以及文件名,自行指定哪些算子允许降精度,哪些算子不允许降精度。配置为路径以及文件名,文件为JSON格式。 | 44 | 混合精度场景下,通过此参数指定混合精度黑白灰名单的路径以及文件名,自行指定哪些算子允许降精度,哪些算子不允许降精度。配置为路径以及文件名,文件为JSON格式。 |
| 45 | 45 | ||
| 46 | -黑白灰名单,可从`${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json`内置优化策略文件中查看“precision\_reduce”参数下的flag参数值(其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。_xxx_请根据实际产品进行选择。): | 46 | +黑白灰名单,可从`${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/config/xxx/aic-xxx-ops-info-*.json`内置优化策略文件中查看“precision\_reduce”参数下的flag参数值(其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。xxx请根据实际产品进行选择。): |
| 47 | 47 | ||
| 48 | - 若取值为true(白名单),表示混合精度模式下,**允许**降低精度。 | 48 | - 若取值为true(白名单),表示混合精度模式下,**允许**降低精度。 |
| 49 | - 若取值为false(黑名单),表示混合精度模式下,**不允许**降低精度。 | 49 | - 若取值为false(黑名单),表示混合精度模式下,**不允许**降低精度。 |
| @@ -162,7 +162,7 @@ true:白名单;false:黑名单;不配置:灰名单。 | |||
| 162 | - 如果原图中算子精度为float32,则优先使用原图精度float32,如果AI Core中算子不支持float32,则降低精度到bfloat16;如果AI Core中算子不支持bfloat16,则使用AI CPU算子进行计算;如果AI CPU算子也不支持,则执行报错。 | 162 | - 如果原图中算子精度为float32,则优先使用原图精度float32,如果AI Core中算子不支持float32,则降低精度到bfloat16;如果AI Core中算子不支持bfloat16,则使用AI CPU算子进行计算;如果AI CPU算子也不支持,则执行报错。 |
| 163 | - 如果原图中算子精度为bfloat16,则优先使用原图精度bfloat16,如果AI Core中算子不支持bfloat16,则选择float32,如果AI Core中算子不支持float32,则使用AI CPU算子进行计算;如果AI CPU算子也不支持,则执行报错。 | 163 | - 如果原图中算子精度为bfloat16,则优先使用原图精度bfloat16,如果AI Core中算子不支持bfloat16,则选择float32,如果AI Core中算子不支持float32,则使用AI CPU算子进行计算;如果AI CPU算子也不支持,则执行报错。 |
| 164 | 164 | ||
| 165 | -上述路径中的$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。_xxx_请根据实际产品进行选择。 | 165 | +上述路径中的$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。xxx请根据实际产品进行选择。 |
| 166 | 166 | ||
| 167 | **参数默认值:** | 167 | **参数默认值:** |
| 168 | 168 | ||
| @@ -184,9 +184,10 @@ true:白名单;false:黑名单;不配置:灰名单。 | |||
| 184 | 184 | ||
| 185 | 在线推理场景下,参数默认值为“force\_fp16”。 | 185 | 在线推理场景下,参数默认值为“force\_fp16”。 |
| 186 | 186 | ||
| 187 | +<!-- npu="950,A3,910b" id5 --> | ||
| 188 | + | ||
| 187 | **参数值约束:** | 189 | **参数值约束:** |
| 188 | 190 | ||
| 189 | -<!-- npu="950,A3,910b" id5 --> | ||
| 190 | **bfloat16数据类型仅支持以下产品**: | 191 | **bfloat16数据类型仅支持以下产品**: |
| 191 | 192 | ||
| 192 | Atlas A2 训练系列产品/Atlas A2 推理系列产品 | 193 | Atlas A2 训练系列产品/Atlas A2 推理系列产品 |
| @@ -272,7 +273,7 @@ Ascend 950PR/Ascend 950DT | |||
| 272 | 273 | ||
| 273 | 表示若原图中的cube算子既支持hifloat8,又支持float16、bfloat16或float32数据类型时,强制选择hifloat8数据类型。 | 274 | 表示若原图中的cube算子既支持hifloat8,又支持float16、bfloat16或float32数据类型时,强制选择hifloat8数据类型。 |
| 274 | 275 | ||
| 275 | -上述路径中的$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。_xxx_请根据实际产品进行选择。 | 276 | +上述路径中的$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。xxx请根据实际产品进行选择。 |
| 276 | 277 | ||
| 277 | **参数默认值:** | 278 | **参数默认值:** |
| 278 | 279 | ||
| @@ -148,11 +148,15 @@ | |||
| 148 | - 若原始模型中输入数据的某个或某些维度值不固定,当前支持通过设置shape范围的方式转换模型。 | 148 | - 若原始模型中输入数据的某个或某些维度值不固定,当前支持通过设置shape范围的方式转换模型。 |
| 149 | - 设置shape范围。 | 149 | - 设置shape范围。 |
| 150 | 150 | ||
| 151 | - Atlas 200I/500 A2 推理产品**不支持设置shape范围**。 | 151 | + <!-- npu="310b" id1 --> |
| 152 | + Atlas 200I/500 A2 推理产品**不支持设置shape范围**。 | ||
| 153 | + <!-- end id1 --> | ||
| 152 | 154 | ||
| 153 | - IPV350**不支持设置shape范围**。 | 155 | + <!-- npu="IPV350" id2 --> |
| 156 | + IPV350**不支持设置shape范围**。 | ||
| 157 | + <!-- end id2 --> | ||
| 154 | 158 | ||
| 155 | - 设置INPUT\_SHAPE参数时,可将对应维度的值设置为范围。 | 159 | + 设置INPUT\_SHAPE参数时,可将对应维度的值设置为范围。 |
| 156 | 160 | ||
| 157 | - 支持按照name设置:"input\_name1:n1,c1,h1,w1;input\_name2:n2,c2,h2,w2",例如:"input\_name1:8\~20,3,5,-1;input\_name2:5,3\~9,10,-1"。指定的节点必须放在双引号中,节点中间使用英文分号分隔。input\_name必须是转换前的网络模型中的节点名称。如果用户知道data节点的name,推荐按照name设置。 | 161 | - 支持按照name设置:"input\_name1:n1,c1,h1,w1;input\_name2:n2,c2,h2,w2",例如:"input\_name1:8\~20,3,5,-1;input\_name2:5,3\~9,10,-1"。指定的节点必须放在双引号中,节点中间使用英文分号分隔。input\_name必须是转换前的网络模型中的节点名称。如果用户知道data节点的name,推荐按照name设置。 |
| 158 | - 支持按照index设置:"n1,c1,h1,w1;n2,c2,h2,w2",例如:"8\~20,3,5,-1;5,3\~9,10,-1"。可以不指定节点名,节点按照索引顺序排列,节点中间使用英文分号分隔。按照index设置shape范围时,data节点需要设置属性index,说明是第几个输入,index从0开始。 | 162 | - 支持按照index设置:"n1,c1,h1,w1;n2,c2,h2,w2",例如:"8\~20,3,5,-1;5,3\~9,10,-1"。可以不指定节点名,节点按照索引顺序排列,节点中间使用英文分号分隔。按照index设置shape范围时,data节点需要设置属性index,说明是第几个输入,index从0开始。 |
| @@ -162,11 +166,11 @@ | |||
| 162 | - shape为标量。 | 166 | - shape为标量。 |
| 163 | - 非动态分档场景: | 167 | - 非动态分档场景: |
| 164 | 168 | ||
| 165 | - shape为标量的输入,可选配置,例如模型有两个输入,input\_name1为标量,即shape为"\[\]"形式,input\_name2输入shape为\[n2,c2,h2,w2\],则shape信息为"**input\_name1:**;input\_name2:n2,c2,h2,w2",指定的节点必须放在双引号中,不同输入之间使用英文分号分隔,input\_name必须是转换前的网络模型中的节点名称;标量的输入如果配置,则配置为空。 | 169 | + shape为标量的输入,可选配置,例如模型有两个输入,input\_name1为标量,即shape为"\[\]"形式,input\_name2输入shape为\[n2,c2,h2,w2\],则shape信息为"**input\_name1:**;input\_name2:n2,c2,h2,w2",指定的节点必须放在双引号中,不同输入之间使用英文分号分隔,input\_name必须是转换前的网络模型中的节点名称;标量的输入如果配置,则配置为空。 |
| 166 | 170 | ||
| 167 | **配置示例:** | 171 | **配置示例:** |
| 168 | 172 | ||
| 169 | -- 静态shape,例如某网络的输入shape信息,输入1**:**input\_0\_0 \[16,32,208,208\],输入2:input\_1\_0 \[16,64,208,208\],则INPUT\_SHAPE的配置信息为: | 173 | +- 静态shape,例如某网络的输入shape信息,输入1:input\_0\_0 \[16,32,208,208\],输入2:input\_1\_0 \[16,64,208,208\],则INPUT\_SHAPE的配置信息为: |
| 170 | 174 | ||
| 171 | ```c++ | 175 | ```c++ |
| 172 | {ge::AscendString(ge::ir_option::INPUT_SHAPE), ge::AscendString("input_0_0:16,32,208,208;input_1_0:16,64,208,208")}, | 176 | {ge::AscendString(ge::ir_option::INPUT_SHAPE), ge::AscendString("input_0_0:16,32,208,208;input_1_0:16,64,208,208")}, |
| @@ -187,7 +191,7 @@ | |||
| 187 | {ge::AscendString(ge::ir_option::INPUT_SHAPE), ge::AscendString("input_name1:;input_name2:16,32,208,208")}, | 191 | {ge::AscendString(ge::ir_option::INPUT_SHAPE), ge::AscendString("input_name1:;input_name2:16,32,208,208")}, |
| 188 | ``` | 192 | ``` |
| 189 | 193 | ||
| 190 | - 上述示例中的**input\_name1**为可选配置**。** | 194 | + 上述示例中的**input\_name1**为可选配置。 |
| 191 | 195 | ||
| 192 | > [!NOTE]说明 | 196 | > [!NOTE]说明 |
| 193 | > | 197 | > |
| @@ -1,6 +1,6 @@ | |||
| 1 | # 原型定义衍生接口 | 1 | # 原型定义衍生接口 |
| 2 | 2 | ||
| 3 | -算子原型定义的相关接口会自动生成对应的衍生接口,可用于IR模型构建,以下接口的详细使用方法可参见《图开发》。 | 3 | +算子原型定义的相关接口会自动生成对应的衍生接口,可用于IR模型构建,以下接口的详细使用方法可参见[《图开发》](../../../../user_guides/graph_dev/README.md)。 |
| 4 | 4 | ||
| 5 | ## 产品支持情况 | 5 | ## 产品支持情况 |
| 6 | 6 | ||
| @@ -14,7 +14,7 @@ | |||
| 14 | 14 | ||
| 15 | 注册算子类型后,会自动生成算子类型的两个构造函数。 | 15 | 注册算子类型后,会自动生成算子类型的两个构造函数。 |
| 16 | 16 | ||
| 17 | -例如,注册算子的类型名称Conv2D,可调用REG\_OP\(Conv2D\)接口,调用该接口后,定义了算子的类型名称Conv2D,同时产生Conv2D的两个构造函数,其中,**Conv2D\(const AscendString& name\)**需指定算子名称,Conv2D\(\)使用默认算子名称。 | 17 | +例如,注册算子的类型名称Conv2D,可调用REG\_OP\(Conv2D\)接口,调用该接口后,定义了算子的类型名称Conv2D,同时产生Conv2D的两个构造函数,其中,Conv2D\(const AscendString& name\)需指定算子名称,Conv2D\(\)使用默认算子名称。 |
| 18 | 18 | ||
| 19 | ```c++ | 19 | ```c++ |
| 20 | class Conv2D : public Operator { | 20 | class Conv2D : public Operator { |
| @@ -29,7 +29,7 @@ public: | |||
| 29 | 29 | ||
| 30 | 注册算子输入信息成功后,自动生成算子输入的相关接口,用于获取算子输入的名称、设置算子输入的对应描述等。 | 30 | 注册算子输入信息成功后,自动生成算子输入的相关接口,用于获取算子输入的名称、设置算子输入的对应描述等。 |
| 31 | 31 | ||
| 32 | -例如,注册算子输入x,算子输入支持的数据类型为TensorType\{DT\_FLOAT\},可调用**INPUT\(x, TensorType\{DT\_FLOAT\}\)**接口,注册算子输入成功后,自动生成以下相关接口: | 32 | +例如,注册算子输入x,算子输入支持的数据类型为TensorType\{DT\_FLOAT\},可调用INPUT\(x, TensorType\{DT\_FLOAT\}\)接口,注册算子输入成功后,自动生成以下相关接口: |
| 33 | 33 | ||
| 34 | ```c++ | 34 | ```c++ |
| 35 | static const string name_in_x(); // 返回输入的名称,即“x” | 35 | static const string name_in_x(); // 返回输入的名称,即“x” |
| @@ -45,7 +45,7 @@ graphStatus update_input_desc_x(const TensorDesc& tensorDesc);// 设置输入x | |||
| 45 | 45 | ||
| 46 | 注册可选算子输入信息成功后,自动生成算子输入的相关接口,用于获取算子输入的名称、设置算子输入的对应描述等。 | 46 | 注册可选算子输入信息成功后,自动生成算子输入的相关接口,用于获取算子输入的名称、设置算子输入的对应描述等。 |
| 47 | 47 | ||
| 48 | -例如,注册算子输入b,算子输入支持的数据类型为TensorType\{DT\_FLOAT\},可调用**OPTIONAL\_INPUT\(b, TensorType\{DT\_FLOAT\}\)**接口,注册算子输入成功后,自动生成以下相关接口: | 48 | +例如,注册算子输入b,算子输入支持的数据类型为TensorType\{DT\_FLOAT\},可调用OPTIONAL\_INPUT\(b, TensorType\{DT\_FLOAT\}\)接口,注册算子输入成功后,自动生成以下相关接口: |
| 49 | 49 | ||
| 50 | ```c++ | 50 | ```c++ |
| 51 | static const string name_in_b(); // 返回输入的名称,即“b” | 51 | static const string name_in_b(); // 返回输入的名称,即“b” |
| @@ -60,7 +60,7 @@ graphStatus update_input_desc_b(const TensorDesc& tensorDesc);// 设置输入b | |||
| 60 | 60 | ||
| 61 | 注册动态算子输入信息成功后,自动生成算子输入的相关接口,用于创建动态输入、设置算子输入的对应描述等。 | 61 | 注册动态算子输入信息成功后,自动生成算子输入的相关接口,用于创建动态输入、设置算子输入的对应描述等。 |
| 62 | 62 | ||
| 63 | -例如,注册算子的动态输入d,算子输入支持的数据类型为TensorType\{DT\_FLOAT\},可调用**DYNAMIC\_INPUT\(d, TensorType\{DT\_FLOAT\}\)**接口,注册算子的动态输入成功后,自动生成以下相关接口: | 63 | +例如,注册算子的动态输入d,算子输入支持的数据类型为TensorType\{DT\_FLOAT\},可调用DYNAMIC\_INPUT\(d, TensorType\{DT\_FLOAT\}\)接口,注册算子的动态输入成功后,自动生成以下相关接口: |
| 64 | 64 | ||
| 65 | ```c++ | 65 | ```c++ |
| 66 | _THIS_TYPE& create_dynamic_input_d(unsigned int num); // 创建动态输入d,包括num个输入,并且把这个输入作为算子最后的输入 | 66 | _THIS_TYPE& create_dynamic_input_d(unsigned int num); // 创建动态输入d,包括num个输入,并且把这个输入作为算子最后的输入 |
| @@ -76,7 +76,7 @@ _THIS_TYPE& set_dynamic_input_d(unsigned int dstIndex, Operator &v, const char * | |||
| 76 | 76 | ||
| 77 | 注册算子输出信息成功后,自动生成算子输出的相关接口,用户获取算子输出的名称、获取算子输出的描述、设置算子输出的描述。 | 77 | 注册算子输出信息成功后,自动生成算子输出的相关接口,用户获取算子输出的名称、获取算子输出的描述、设置算子输出的描述。 |
| 78 | 78 | ||
| 79 | -例如,注册算子输出y,算子输出支持的数据类型为TensorType\{DT\_FLOAT\},可调用**OUTPUT\(y, TensorType\{DT\_FLOAT\}\)**接口,注册算子输出成功后,自动生成以下相关接口 | 79 | +例如,注册算子输出y,算子输出支持的数据类型为TensorType\{DT\_FLOAT\},可调用OUTPUT\(y, TensorType\{DT\_FLOAT\}\)接口,注册算子输出成功后,自动生成以下相关接口 |
| 80 | 80 | ||
| 81 | ```c++ | 81 | ```c++ |
| 82 | static const string name_out_y();// 返回输出的名称,即“y” | 82 | static const string name_out_y();// 返回输出的名称,即“y” |
| @@ -88,7 +88,7 @@ graphStatus update_output_desc_y(const TensorDesc& tensorDesc); // 设置输出y | |||
| 88 | 88 | ||
| 89 | 注册动态算子输出信息成功后,自动生成动态算子输出的相关接口,包括用于创建动态输出、设置算子输出的对应描述等。 | 89 | 注册动态算子输出信息成功后,自动生成动态算子输出的相关接口,包括用于创建动态输出、设置算子输出的对应描述等。 |
| 90 | 90 | ||
| 91 | -例如,注册动态算子输出d,算子输出支持的数据类型为TensorType\{DT\_FLOAT\},可调用**DYNAMIC\_OUTPUT\(d, TensorType\{DT\_FLOAT\}\)**接口,注册动态算子输出成功后,自动生成以下相关接口: | 91 | +例如,注册动态算子输出d,算子输出支持的数据类型为TensorType\{DT\_FLOAT\},可调用DYNAMIC\_OUTPUT\(d, TensorType\{DT\_FLOAT\}\)接口,注册动态算子输出成功后,自动生成以下相关接口: |
| 92 | 92 | ||
| 93 | ```c++ | 93 | ```c++ |
| 94 | _THIS_TYPE& create_dynamic_output_d(unsigned int num); // 创建动态输出d,包括num个输出 | 94 | _THIS_TYPE& create_dynamic_output_d(unsigned int num); // 创建动态输出d,包括num个输出 |
| @@ -100,7 +100,7 @@ graphStatus update_dynamic_output_desc_d(unsigned int index, const TensorDesc& t | |||
| 100 | 100 | ||
| 101 | 注册算子属性成功后,自动生成算子属性的3个对外接口,用于获取属性的名称、获取属性的值、设置属性的值。 | 101 | 注册算子属性成功后,自动生成算子属性的3个对外接口,用于获取属性的名称、获取属性的值、设置属性的值。 |
| 102 | 102 | ||
| 103 | -例如,注册类型为int64\_t的属性mode,可调用**REQUIRED\_ATTR\(mode, Int\)**接口,注册算子属性成功后,会自动生成如下接口: | 103 | +例如,注册类型为int64\_t的属性mode,可调用REQUIRED\_ATTR\(mode, Int\)接口,注册算子属性成功后,会自动生成如下接口: |
| 104 | 104 | ||
| 105 | ```c++ | 105 | ```c++ |
| 106 | static const string name_attr_mode(); // 返回属性的名称,即“mode” | 106 | static const string name_attr_mode(); // 返回属性的名称,即“mode” |
| @@ -154,7 +154,7 @@ _THIS_TYPE& set_attr_data_format(const char* v); // 设置data_format属性的 | |||
| 154 | 154 | ||
| 155 | 注册算子子图信息成功后,自动生成算子子图的相关接口,用户获取算子子图的名称、获取算子子图的描述、设置算子子图的描述。 | 155 | 注册算子子图信息成功后,自动生成算子子图的相关接口,用户获取算子子图的名称、获取算子子图的描述、设置算子子图的描述。 |
| 156 | 156 | ||
| 157 | -例如,注册算子子图y,可调用**GRAPH\(y\)**接口,注册算子子图成功后,自动生成以下相关接口: | 157 | +例如,注册算子子图y,可调用GRAPH\(y\)接口,注册算子子图成功后,自动生成以下相关接口: |
| 158 | 158 | ||
| 159 | ```c++ | 159 | ```c++ |
| 160 | static const string name_graph_y();// 返回算子子图的名称,即“y” | 160 | static const string name_graph_y();// 返回算子子图的名称,即“y” |
| @@ -167,7 +167,7 @@ Graph get_subgraph_y() const;// 获取子图y对应的graph对象 | |||
| 167 | 167 | ||
| 168 | 注册动态算子子图信息成功后,自动生成动态算子子图的相关接口,包括用于创建动态子图、设置算子子图的对应描述等。 | 168 | 注册动态算子子图信息成功后,自动生成动态算子子图的相关接口,包括用于创建动态子图、设置算子子图的对应描述等。 |
| 169 | 169 | ||
| 170 | -例如,注册动态算子子图branches,可调用**DYNAMIC\_GRAPH\(branches\)**接口,注册动态算子子图成功后,自动生成以下相关接口: | 170 | +例如,注册动态算子子图branches,可调用DYNAMIC\_GRAPH\(branches\)接口,注册动态算子子图成功后,自动生成以下相关接口: |
| 171 | 171 | ||
| 172 | ```c++ | 172 | ```c++ |
| 173 | _THIS_TYPE& create_dynamic_subgraph_branches(unsigned int num); // 创建动态子图branches,包括num个子图 | 173 | _THIS_TYPE& create_dynamic_subgraph_branches(unsigned int num); // 创建动态子图branches,包括num个子图 |
| @@ -54,28 +54,4 @@ pyatc --model=resnet50.onnx --framework=5 --soc_version=MC62CM12A* --output=resn | |||
| 54 | pyatc --model=resnet50.onnx --framework=5 --soc_version=Ascend035 --output=resnet50 | 54 | pyatc --model=resnet50.onnx --framework=5 --soc_version=Ascend035 --output=resnet50 |
| 55 | ``` | 55 | ``` |
| 56 | 56 | ||
| 57 | -_<soc\_version\>_取值或者查询方法如下: | 57 | +<soc\_version\>查询方法请参见[--soc_version](../../../../../user_guides/atc_tools/CLI_options/--soc_version.md)。 |
| 58 | - | ||
| 59 | -- 针对如下产品:在安装AI处理器的服务器执行**npu-smi info**命令进行查询,获取**Name**信息。实际配置值为AscendName,例如**Name**取值为_xxxyy_,实际配置值为Ascend_xxxyy_。 | ||
| 60 | - | ||
| 61 | - Atlas A2 训练系列产品/Atlas A2 推理系列产品 | ||
| 62 | - | ||
| 63 | - Atlas 200I/500 A2 推理产品 | ||
| 64 | - | ||
| 65 | - Atlas 推理系列产品 | ||
| 66 | - | ||
| 67 | - Atlas 训练系列产品 | ||
| 68 | - | ||
| 69 | -- 针对Atlas A3 训练系列产品/Atlas A3 推理系列产品,在安装AI处理器的服务器执行**npu-smi info -t board -i **_id_** -c **_chip\_id_命令进行查询,获取**Chip Name**和**NPU Name**信息,实际配置值为Chip Name\_NPU Name。例如**Chip Name**取值为Ascend_xxx_,**NPU Name**取值为1234,实际配置值为Ascend_xxx__\__1234。其中: | ||
| 70 | - - id:设备id,通过**npu-smi info -l**命令查出的NPU ID即为设备id。 | ||
| 71 | - - chip\_id:芯片id,通过**npu-smi info -m**命令查出的Chip ID即为芯片id。 | ||
| 72 | - | ||
| 73 | -- 针对Ascend 950PR/Ascend 950DT,在安装AI处理器的服务器执行**npu-smi info -t board -i **_id_命令进行查询,获取**Chip Name**和**NPU Name**信息,实际配置值为Chip Name\_NPU Name。例如**Chip Name**取值为Ascend_xxx_,**NPU Name**取值为1234,实际配置值为Ascend_xxx__\__1234。 | ||
| 74 | - | ||
| 75 | - 其中,id为设备id,通过**npu-smi info -l**命令查出的NPU ID即为设备id。 | ||
| 76 | - | ||
| 77 | -BS9SX1A AI处理器参数值:BS9SX1A\* | ||
| 78 | - | ||
| 79 | -BS9SX2A AI处理器参数值:BS9SX2A\* | ||
| 80 | - | ||
| 81 | -其中:\*可能根据芯片性能提升等级、芯片核数使用等级等因素会有不同的取值,例如取值可以为A、B或C,请根据实际情况获取对应的取值。 | ||
| @@ -35,13 +35,26 @@ GeApi.ge_finalize() | |||
| 35 | 35 | ||
| 36 | **Session接口产品支持情况如下:** | 36 | **Session接口产品支持情况如下:** |
| 37 | 37 | ||
| 38 | +<!-- npu="950" id1 --> | ||
| 38 | - Ascend 950PR/Ascend 950DT:支持 | 39 | - Ascend 950PR/Ascend 950DT:支持 |
| 40 | +<!-- end id1 --> | ||
| 41 | +<!-- npu="A3" id2 --> | ||
| 39 | - Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持 | 42 | - Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持 |
| 43 | +<!-- end id2 --> | ||
| 44 | +<!-- npu="910b" id3 --> | ||
| 40 | - Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持 | 45 | - Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持 |
| 46 | +<!-- end id3 --> | ||
| 47 | +<!-- npu="310b" id4 --> | ||
| 41 | - Atlas 200I/500 A2 推理产品:不支持 | 48 | - Atlas 200I/500 A2 推理产品:不支持 |
| 49 | +<!-- end id4 --> | ||
| 50 | +<!-- npu="310p" id5 --> | ||
| 42 | - Atlas 推理系列产品:支持 | 51 | - Atlas 推理系列产品:支持 |
| 52 | +<!-- end id5 --> | ||
| 53 | +<!-- npu="910" id6 --> | ||
| 43 | - Atlas 训练系列产品:支持 | 54 | - Atlas 训练系列产品:支持 |
| 44 | -- MC62CM12A AI处理器:不支持 | 55 | +<!-- end id6 --> |
| 45 | -- BS9SX2A AI处理器:不支持 | 56 | +<!-- npu="IPV350" id7 --> |
| 46 | -- BS9SX1A AI处理器:不支持 | ||
| 47 | - IPV350:不支持 | 57 | - IPV350:不支持 |
| 58 | +<!-- end id7 --> | ||
| 59 | + | ||
| 60 | +<!-- @ref: ge/res/docs/zh/api/graph_engine_api/python/ge/session/Session/overview_res.md#id1 --> | ||
| @@ -28,17 +28,17 @@ | |||
| 28 | - 配置该选项,算子编译时,在当前执行路径算子编译生成的kernel\_meta文件夹中保留.o(算子二进制文件)和.json文件(算子描述文件)。 | 28 | - 配置该选项,算子编译时,在当前执行路径算子编译生成的kernel\_meta文件夹中保留.o(算子二进制文件)和.json文件(算子描述文件)。 |
| 29 | - 使用该选项后,在算子编译过程中会加入如下的检测逻辑,用户可以通过再使用**dump\_cce**参数,在生成的.cce文件中查看如下的代码。 | 29 | - 使用该选项后,在算子编译过程中会加入如下的检测逻辑,用户可以通过再使用**dump\_cce**参数,在生成的.cce文件中查看如下的代码。 |
| 30 | 30 | ||
| 31 | - ```cce | 31 | + ```cce |
| 32 | - inline __aicore__ void CheckInvalidAccessOfDDR(xxx) { | 32 | + inline __aicore__ void CheckInvalidAccessOfDDR(xxx) { |
| 33 | - if (access_offset < 0 || access_offset + access_extent > ddr_size) { | 33 | + if (access_offset < 0 || access_offset + access_extent > ddr_size) { |
| 34 | - if (read_or_write == 1) { | 34 | + if (read_or_write == 1) { |
| 35 | - trap(0X5A5A0001); | 35 | + trap(0X5A5A0001); |
| 36 | - } else { | 36 | + } else { |
| 37 | - trap(0X5A5A0002); | 37 | + trap(0X5A5A0002); |
| 38 | - } | ||
| 39 | } | 38 | } |
| 40 | } | 39 | } |
| 41 | - ``` | 40 | + } |
| 41 | + ``` | ||
| 42 | 42 | ||
| 43 | - **dump\_cce**:算子编译时,在当前执行路径算子编译生成的kernel\_meta文件夹中保留算子cce文件\*.cce,以及.o(算子二进制文件)和.json文件(算子描述文件)。 | 43 | - **dump\_cce**:算子编译时,在当前执行路径算子编译生成的kernel\_meta文件夹中保留算子cce文件\*.cce,以及.o(算子二进制文件)和.json文件(算子描述文件)。 |
| 44 | - **dump\_loc**:算子编译时,在当前执行路径算子编译生成的kernel\_meta文件夹中保留python-cce映射文件\*\_loc.json,以及.o(算子二进制文件)和.json文件(算子描述文件)。 | 44 | - **dump\_loc**:算子编译时,在当前执行路径算子编译生成的kernel\_meta文件夹中保留python-cce映射文件\*\_loc.json,以及.o(算子二进制文件)和.json文件(算子描述文件)。 |
| @@ -48,31 +48,31 @@ | |||
| 48 | - 配置该选项,算子编译时,在当前执行路径算子编译生成的kernel\_meta文件夹中保留.o(算子二进制文件)和.json文件(算子描述文件)。 | 48 | - 配置该选项,算子编译时,在当前执行路径算子编译生成的kernel\_meta文件夹中保留.o(算子二进制文件)和.json文件(算子描述文件)。 |
| 49 | - 使用该选项后,在算子编译过程中会加入如下的检测逻辑,用户可以通过再使用**dump\_cce**参数,在生成的.cce文件中查看如下的代码。 | 49 | - 使用该选项后,在算子编译过程中会加入如下的检测逻辑,用户可以通过再使用**dump\_cce**参数,在生成的.cce文件中查看如下的代码。 |
| 50 | 50 | ||
| 51 | - ```cce | 51 | + ```cce |
| 52 | - set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID0); | 52 | + set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID0); |
| 53 | - set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID1); | 53 | + set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID1); |
| 54 | - set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID2); | 54 | + set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID2); |
| 55 | - set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID3); | 55 | + set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID3); |
| 56 | - .... | 56 | + .... |
| 57 | - pipe_barrier(PIPE_MTE3); | 57 | + pipe_barrier(PIPE_MTE3); |
| 58 | - pipe_barrier(PIPE_MTE2); | 58 | + pipe_barrier(PIPE_MTE2); |
| 59 | - pipe_barrier(PIPE_M); | 59 | + pipe_barrier(PIPE_M); |
| 60 | - pipe_barrier(PIPE_V); | 60 | + pipe_barrier(PIPE_V); |
| 61 | - pipe_barrier(PIPE_MTE1); | 61 | + pipe_barrier(PIPE_MTE1); |
| 62 | - pipe_barrier(PIPE_ALL); | 62 | + pipe_barrier(PIPE_ALL); |
| 63 | - wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID0); | 63 | + wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID0); |
| 64 | - wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID1); | 64 | + wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID1); |
| 65 | - wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID2); | 65 | + wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID2); |
| 66 | - wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID3); | 66 | + wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID3); |
| 67 | - ... | 67 | + ... |
| 68 | - ``` | 68 | + ``` |
| 69 | 69 | ||
| 70 | - 实际执行推理过程中,如果确实存在算子内部流水线同步信号不匹配,则最终会在**有问题的算子处超时报错,并终止程序**,报错信息示例为: | 70 | + 实际执行推理过程中,如果确实存在算子内部流水线同步信号不匹配,则最终会在**有问题的算子处超时报错,并终止程序**,报错信息示例为: |
| 71 | 71 | ||
| 72 | - ``` | 72 | + ```plaintext |
| 73 | - Aicore kernel execute failed, ..., fault kernel_name=算子名,... | 73 | + Aicore kernel execute failed, ..., fault kernel_name=算子名,... |
| 74 | - rtStreamSynchronizeWithTimeout execute failed.... | 74 | + rtStreamSynchronizeWithTimeout execute failed.... |
| 75 | - ``` | 75 | + ``` |
| 76 | 76 | ||
| 77 | > [!NOTE]说明 | 77 | > [!NOTE]说明 |
| 78 | > | 78 | > |
| @@ -80,13 +80,13 @@ | |||
| 80 | > | 80 | > |
| 81 | > 由于算子Kernel文件过大而无法编译的报错日志示例如下: | 81 | > 由于算子Kernel文件过大而无法编译的报错日志示例如下: |
| 82 | > | 82 | > |
| 83 | -> ```console | 83 | +> ```plaintext |
| 84 | > message:link error ld.lld: error: InputSection too large for range extension thunk ./kernel_meta_xxxxx.o: | 84 | > message:link error ld.lld: error: InputSection too large for range extension thunk ./kernel_meta_xxxxx.o: |
| 85 | > ``` | 85 | > ``` |
| 86 | > | 86 | > |
| 87 | >- ccec编译器选项ccec\_O0和oom不能同时开启,可能会导致AICore Error报错,报错信息示例如下: | 87 | >- ccec编译器选项ccec\_O0和oom不能同时开启,可能会导致AICore Error报错,报错信息示例如下: |
| 88 | > | 88 | > |
| 89 | -> ```console | 89 | +> ```plaintext |
| 90 | > ...there is an aivec error exception, core id is 49, error code = 0x4 ... | 90 | > ...there is an aivec error exception, core id is 49, error code = 0x4 ... |
| 91 | > ``` | 91 | > ``` |
| 92 | > | 92 | > |
| @@ -29,19 +29,9 @@ | |||
| 29 | - DOUBLE | 29 | - DOUBLE |
| 30 | <!-- npu="950" id1 --> | 30 | <!-- npu="950" id1 --> |
| 31 | - HIF8:仅Ascend 950PR/Ascend 950DT支持该类型。 | 31 | - HIF8:仅Ascend 950PR/Ascend 950DT支持该类型。 |
| 32 | -<!-- end id1 --> | ||
| 33 | -<!-- npu="950" id2 --> | ||
| 34 | - FP8E5M2:仅Ascend 950PR/Ascend 950DT支持该类型。 | 32 | - FP8E5M2:仅Ascend 950PR/Ascend 950DT支持该类型。 |
| 35 | -<!-- end id2 --> | ||
| 36 | -<!-- npu="950" id3 --> | ||
| 37 | - FP8E4M3FN:仅Ascend 950PR/Ascend 950DT支持该类型。 | 33 | - FP8E4M3FN:仅Ascend 950PR/Ascend 950DT支持该类型。 |
| 38 | -<!-- end id3 --> | 34 | +<!-- end id1 --> |
| 39 | - | ||
| 40 | -<!-- npu="IPV350" id4 --> | ||
| 41 | -其中,HIF8、FP8E5M2、FP8E4M3FN:IPV350不支持。 | ||
| 42 | -<!-- end id4 --> | ||
| 43 | - | ||
| 44 | -<!-- @ref: ge/res/docs/zh/user_guides/atc_tools/CLI_options/--output_type_res.md#id1 --> | ||
| 45 | 35 | ||
| 46 | **参数值约束:** | 36 | **参数值约束:** |
| 47 | 37 | ||
| @@ -57,10 +47,12 @@ | |||
| 57 | - DT\_INT32 | 47 | - DT\_INT32 |
| 58 | - DT\_UINT64 | 48 | - DT\_UINT64 |
| 59 | - DT\_INT64 | 49 | - DT\_INT64 |
| 50 | +<!-- npu="950" id2 --> | ||
| 60 | - DT\_DOUBLE | 51 | - DT\_DOUBLE |
| 61 | - DT\_HIFLOAT8 | 52 | - DT\_HIFLOAT8 |
| 62 | - DT\_FLOAT8\_E5M2 | 53 | - DT\_FLOAT8\_E5M2 |
| 63 | - DT\_FLOAT8\_E4M3FN | 54 | - DT\_FLOAT8\_E4M3FN |
| 55 | +<!-- end id2 --> | ||
| 64 | 56 | ||
| 65 | 若在模型转换时不指定网络具体输出数据类型,则以原始网络模型最后一层输出的算子数据类型为准;若指定了类型,则以该参数指定的类型为准,此时[--is\_output\_adjust\_hw\_layout](--is_output_adjust_hw_layout.md)参数指定的类型不生效。 | 57 | 若在模型转换时不指定网络具体输出数据类型,则以原始网络模型最后一层输出的算子数据类型为准;若指定了类型,则以该参数指定的类型为准,此时[--is\_output\_adjust\_hw\_layout](--is_output_adjust_hw_layout.md)参数指定的类型不生效。 |
| 66 | 58 | ||
| @@ -32,7 +32,7 @@ | |||
| 32 | export LD_LIBRARY_PATH=/usr/local/Ascend/cann/<arch>-linux/devlib:$LD_LIBRARY_PATH | 32 | export LD_LIBRARY_PATH=/usr/local/Ascend/cann/<arch>-linux/devlib:$LD_LIBRARY_PATH |
| 33 | ``` | 33 | ``` |
| 34 | 34 | ||
| 35 | - 其中,/usr/local/Ascend/为root用户的默认安装路径,请根据实际情况进行替换,_<arch\>_请替换为操作系统具体架构。 | 35 | + 其中,/usr/local/Ascend/为root用户的默认安装路径,请根据实际情况进行替换,<arch\>请替换为操作系统具体架构。 |
| 36 | 36 | ||
| 37 | - **设置Python相关环境变量** | 37 | - **设置Python相关环境变量** |
| 38 | 38 | ||
| @@ -32,10 +32,10 @@ export ASCEND_MAX_OP_CACHE_SIZE=500 | |||
| 32 | 32 | ||
| 33 | 不同场景下指定算子编译磁盘缓存目录的方法不同,例如: | 33 | 不同场景下指定算子编译磁盘缓存目录的方法不同,例如: |
| 34 | 34 | ||
| 35 | -- 基于AscendCL接口开发AI应用场景下,可在“aclCompileOpt”接口中通过编译选项ACL\_OP\_COMPILER\_CACHE\_DIR设置。 | 35 | +- 基于acl接口开发AI应用场景下,可在[aclCompileOpt](../../api/graph_engine_api/c/acl/aclCompileOpt.md)接口中通过编译选项ACL\_OP\_COMPILER\_CACHE\_DIR设置。 |
| 36 | -- Ascend Graph构图场景下,可通过配置参数“ge.op\_compiler\_cache\_dir”设置。 | 36 | +- 图开发下,可通过配置参数[ge.op\_compiler\_cache\_dir](../../api/graph_engine_api/cpp/ge/options_params/operator_and_graph_compilation.md#geop_compiler_cache_dir)设置。 |
| 37 | -- ATC模型转换场景下,可通过参数“--op\_compiler\_cache\_dir”设置。 | 37 | +- ATC离线模型转换场景下,可通过参数[--op\_compiler\_cache\_dir](../atc_tools/CLI_options/--op_compiler_cache_dir.md)设置。 |
| 38 | -- PyTorch框架场景下,可通过环境变量“ACL\_OP\_COMPILER\_CACHE\_DIR”设置,关于“ACL\_OP\_COMPILER\_CACHE\_DIR”的介绍可参见《[Ascend Extension for PyTorch 环境变量参考](https://www.hiascend.com/document/detail/zh/Pytorch/600/apiref/Envvariables/Envir_001.html)》。 | 38 | +- PyTorch框架场景下,可通过环境变量“ACL\_OP\_COMPILER\_CACHE\_DIR”设置,关于“ACL\_OP\_COMPILER\_CACHE\_DIR”的介绍可参见《[TorchNPU环境变量参考](https://www.hiascend.com/document/detail/zh/Pytorch/600/apiref/Envvariables/Envir_001.html)》。 |
| 39 | - TensorFlow框架场景下,可通过配置参数“op\_compiler\_cache\_dir”设置。 | 39 | - TensorFlow框架场景下,可通过配置参数“op\_compiler\_cache\_dir”设置。 |
| 40 | 40 | ||
| 41 | TF Adapter配置参数“op\_compiler\_cache\_dir”的详细说明可参见: | 41 | TF Adapter配置参数“op\_compiler\_cache\_dir”的详细说明可参见: |
| @@ -35,7 +35,7 @@ DUMP\_GRAPH\_LEVEL环境变量只有在[DUMP\_GE\_GRAPH](DUMP_GE_GRAPH.md)开启 | |||
| 35 | ## 使用约束 | 35 | ## 使用约束 |
| 36 | 36 | ||
| 37 | - 如果此环境变量设置了其他非法值,可能会导致未定义的行为发生。 | 37 | - 如果此环境变量设置了其他非法值,可能会导致未定义的行为发生。 |
| 38 | -- 如果开启了采集算子dump数据功能,可以参考《图开发》\>“接口参考 \> C++语言接口 \> 图基础数据结构和接口 \> options参数说明 \> ge.exec.enableDump”参数,即使不配置DUMP\_GRAPH\_LEVEL环境变量,或者配置export DUMP\_GRAPH\_LEVEL="PreRunBegin|AfterInfershape"但不包括“Build”字符串,最终都会dump子图ge\_proto\_xxxx\_Build.txt。 | 38 | +- 如果开启了采集算子dump数据功能,可以参考[ge.exec.enableDump](../../api/graph_engine_api/cpp/ge/options_params/precision_comparison.md#geexecenabledump)参数,即使不配置DUMP\_GRAPH\_LEVEL环境变量,或者配置export DUMP\_GRAPH\_LEVEL="PreRunBegin|AfterInfershape"但不包括“Build”字符串,最终都会dump子图ge\_proto\_xxxx\_Build.txt。 |
| 39 | - 此环境变量需要配合[DUMP\_GE\_GRAPH](DUMP_GE_GRAPH.md)使用,即开启[DUMP\_GE\_GRAPH](DUMP_GE_GRAPH.md)的场景下,可通过DUMP\_GRAPH\_LEVEL控制生成的dump图信息。全量dump图信息请参见[表1](#table1)。 | 39 | - 此环境变量需要配合[DUMP\_GE\_GRAPH](DUMP_GE_GRAPH.md)使用,即开启[DUMP\_GE\_GRAPH](DUMP_GE_GRAPH.md)的场景下,可通过DUMP\_GRAPH\_LEVEL控制生成的dump图信息。全量dump图信息请参见[表1](#table1)。 |
| 40 | 40 | ||
| 41 | **表 1** dump图详细信息说明<a id="table1"></a> | 41 | **表 1** dump图详细信息说明<a id="table1"></a> |
| @@ -11,8 +11,8 @@ | |||
| 11 | 11 | ||
| 12 | > [!NOTE]说明 | 12 | > [!NOTE]说明 |
| 13 | > | 13 | > |
| 14 | ->1. 设置“DUMP\_GRAPH\_PATH”环境变量的场景下,程序会在指定路径下创建“pid\_$\{pid\}\_deviceid\_$\{deviceid\}”子文件夹,存储DUMP图文件。其中$\{pid\}为进程ID,$\{deviceid\}为设备ID。 | 14 | +>1. 设置“DUMP\_GRAPH\_PATH”环境变量的场景下,程序会在指定路径下创建`pid_${pid}_deviceid_${deviceid}`子文件夹,存储DUMP图文件。其中`${pid}`为进程ID,`${deviceid}`为设备ID。 |
| 15 | ->2. 若不设置“DUMP\_GRAPH\_PATH”环境变量,DUMP图文件直接存储在当前脚本执行路径,不会创建“pid\_$\{pid\}\_deviceid\_$\{deviceid\}”子文件夹。 | 15 | +>2. 若不设置“DUMP\_GRAPH\_PATH”环境变量,DUMP图文件直接存储在当前脚本执行路径,不会创建`pid_${pid}_deviceid_${deviceid}`子文件夹。 |
| 16 | 16 | ||
| 17 | DUMP图文件存储路径优先级为: | 17 | DUMP图文件存储路径优先级为: |
| 18 | 18 | ||
| @@ -24,7 +24,7 @@ DUMP图文件存储路径优先级为: | |||
| 24 | export DUMP_GRAPH_PATH=/home/dumpgraph | 24 | export DUMP_GRAPH_PATH=/home/dumpgraph |
| 25 | ``` | 25 | ``` |
| 26 | 26 | ||
| 27 | -则DUMP图文件存储在/home/dumpgraph/pid\_$\{pid\}\_deviceid\_$\{deviceid\}路径下,例如/home/dumpgraph/pid\_53343\_deviceid\_0。 | 27 | +则DUMP图文件存储在`/home/dumpgraph/pid_${pid}_deviceid_${deviceid}`路径下,例如/home/dumpgraph/pid\_53343\_deviceid\_0。 |
| 28 | 28 | ||
| 29 | ## 使用约束 | 29 | ## 使用约束 |
| 30 | 30 | ||
| @@ -17,7 +17,7 @@ | |||
| 17 | > - 为兼容历史版本配置,配置为“1”的场景下,系统会按照“2”的方式进行处理。 | 17 | > - 为兼容历史版本配置,配置为“1”的场景下,系统会按照“2”的方式进行处理。 |
| 18 | > - 配置为“3”和“4”的场景下,将带来内存收益,但可能导致性能损失。 | 18 | > - 配置为“3”和“4”的场景下,将带来内存收益,但可能导致性能损失。 |
| 19 | > - 针对TensorFlow训练场景与在线推理场景,此环境变量与配置参数“static_memory_policy”不可同时使用,否则网络运行会冲突。建议开发者优先使用配置参数“static_memory_policy”设置网络运行时的内存分配方式。 | 19 | > - 针对TensorFlow训练场景与在线推理场景,此环境变量与配置参数“static_memory_policy”不可同时使用,否则网络运行会冲突。建议开发者优先使用配置参数“static_memory_policy”设置网络运行时的内存分配方式。 |
| 20 | -> - 针对Ascend Graph构图场景,此环境变量与配置参数“ge.exec.staticMemoryPolicy”不可同时使用,否则网络运行会冲突。建议开发者优先使用配置参数“ge.exec.staticMemoryPolicy”设置网络运行时的内存分配方式。 | 20 | +> - 针对图开发场景,此环境变量与配置参数[ge.exec.staticMemoryPolicy](../../api/graph_engine_api/cpp/ge/options_params/memory_management.md#geexecstaticmemorypolicy)不可同时使用,否则网络运行会冲突。建议开发者优先使用配置参数“ge.exec.staticMemoryPolicy”设置网络运行时的内存分配方式。 |
| 21 | 21 | ||
| 22 | ## 配置示例 | 22 | ## 配置示例 |
| 23 | 23 | ||
| @@ -1,4 +1,4 @@ | |||
| 1 | -# 环境变量参考 | 1 | +# GE图引擎环境变量 |
| 2 | 2 | ||
| 3 | - [图编译](graph_building.md) | 3 | - [图编译](graph_building.md) |
| 4 | - [ASCEND\_ENGINE\_PATH](ASCEND_ENGINE_PATH.md) | 4 | - [ASCEND\_ENGINE\_PATH](ASCEND_ENGINE_PATH.md) |
| @@ -39,7 +39,7 @@ GE面向不同的用户场景,提供了不同的对接方案,便于用户更 | |||
| 39 | - 对于PyTorch、TensorFlow、MindSpore、PaddlePaddle等主流AI框架,目前已支持接入GE,用户仅需对训练代码进行少量的迁移适配即可使用GE图引擎能力,从而在AI处理器加速执行训练或在线推理任务。 | 39 | - 对于PyTorch、TensorFlow、MindSpore、PaddlePaddle等主流AI框架,目前已支持接入GE,用户仅需对训练代码进行少量的迁移适配即可使用GE图引擎能力,从而在AI处理器加速执行训练或在线推理任务。 |
| 40 | - PyTorch框架接入GE | 40 | - PyTorch框架接入GE |
| 41 | 41 | ||
| 42 | - PyTorch网络支持通过Ascend for PyTorch的TorchAir组件接入GE图引擎。TorchAir(Torch Ascend Intermediate Representation)是Ascend for PyTorch(TorchNPU)中支持图模式能力的扩展库,对接PyTorch的[Dynamo特性](https://docs.pytorch.org/docs/main/user_guide/torch_compiler/torch.compiler_dynamo_overview.html),可将PyTorch的[FX](https://pytorch.org/docs/main/fx.html)(Functionalization)图转换为Ascend IR(Intermediate Representation)表达的计算图,再通过GE进行计算图的编译优化等操作,下发到昇腾硬件执行。 | 42 | + PyTorch网络支持通过TorchNPU的TorchAir组件接入GE图引擎。TorchAir(Torch Ascend Intermediate Representation)是TorchNPU中支持图模式能力的扩展库,对接PyTorch的[Dynamo特性](https://docs.pytorch.org/docs/main/user_guide/torch_compiler/torch.compiler_dynamo_overview.html),可将PyTorch的[FX](https://pytorch.org/docs/main/fx.html)(Functionalization)图转换为Ascend IR(Intermediate Representation)表达的计算图,再通过GE进行计算图的编译优化等操作,下发到昇腾硬件执行。 |
| 43 | 43 | ||
| 44 | **图 2** 昇腾平台PyTorch图模式软件架构 | 44 | **图 2** 昇腾平台PyTorch图模式软件架构 |
| 45 |  | 45 |  |
| @@ -9,7 +9,7 @@ | |||
| 9 | - “$\{INSTALL\_DIR\}/**opp/built-in/op\_graph/inc**”下提供了CANN算子原型定义,用于通过算子原型构建Graph。 | 9 | - “$\{INSTALL\_DIR\}/**opp/built-in/op\_graph/inc**”下提供了CANN算子原型定义,用于通过算子原型构建Graph。 |
| 10 | - “$\{INSTALL\_DIR\}/**include/graph**”下提供了Graph构建接口。 | 10 | - “$\{INSTALL\_DIR\}/**include/graph**”下提供了Graph构建接口。 |
| 11 | - “$\{INSTALL\_DIR\}/**include/ge**”下提供了Graph运行接口。 | 11 | - “$\{INSTALL\_DIR\}/**include/ge**”下提供了Graph运行接口。 |
| 12 | -- “$\{INSTALL\_DIR\}/**_<arch\>_-linux/devlib**”下为相关依赖库。_<arch\>_为操作系统架构。 | 12 | +- “$\{INSTALL\_DIR\}/**_<arch\>_-linux/devlib**”下为相关依赖库。<arch\>为操作系统架构。 |
| 13 | 13 | ||
| 14 | 其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。 | 14 | 其中,$\{INSTALL\_DIR\}请替换为CANN软件安装后文件存储路径。以root用户安装为例,安装后文件默认存储路径为:/usr/local/Ascend/cann。 |
| 15 | 15 | ||
🟡 Medium Priority
在
aclgrphBuildModel.md第 44 行,父列表项(- 使用aclgrphBuildModel接口编译的离线模型,保存在内存缓冲区中:)以冒号结尾,表示后续为子选项。但第 46-47 行的子列表项缩进从原先的 4 个空格改为 2 个空格(-),与父列表项缩进级别相同。在 CommonMark 标准中,子列表需要至少 4 个空格(或父列表内容起始位置的缩进)才能正确嵌套。2 空格缩进会使这些条目渲染为父列表项的兄弟节点而非子节点,破坏了文档的逻辑层级结构——读者将无法看出"保存到文件"和"保存在内存缓冲区"是从属于前一条"保存在内存缓冲区中"的子选项。
此外,第 49 行
后续进行推理业务时...从 8 空格缩进变为 4 空格,在子列表嵌套失效后,该段落也会失去与所属子项的从属关系。建议:将第 46-47 行的子列表项缩进从 2 空格恢复为 4 空格,第 49 行从 4 空格恢复为 8 空格(即属于上一子列表项的延续段落),以保持正确的 Markdown 列表嵌套关系。