TensorFlow 1.15模型迁移

• 前言

• TF Adapter简介

• 环境准备

• 快速入门

• 脚本迁移

  • 迁移方式比较
  • 自动迁移
  • 手工迁移
    • 单机单卡脚本迁移
    • 分布式训练脚本迁移
      • 简介
      • 支持数据并行（Allreduce）
      • 支持数据并行（PS-Worker）
      • Horovod脚本迁移

• 模型训练

  • 执行单Device训练
  • 执行分布式训练

• 精度调试

  • 精度调试流程
  • 调优前检查
  • 精度分析工具部署
  • 浮点异常检测
  • 融合异常检测
  • 整网数据比对
  • 随机错误检测
  • 跨版本精度问题检测
  • 参考
    • precision_tool命令参考
    • 整网精度比对结果文件说明
    • 训练脚本去随机处理

• 性能调优

  • 性能调优流程

  • 基本调优

    • 混合精度训练
    • 亲和接口是否替换
    • 训练迭代循环下沉
    • AOE自动调优
    • 亲和性CPU自动绑核调优

  • Profiling数据采集与分析

  • 进阶调优

• 模型固化

• 模型推理

  • 离线推理
  • 在线推理
    • 在线推理简介
    • 编译配置
    • 样例参考
    • 基于TF Serving部署在线推理业务
      • 概述
      • 环境准备
      • TF Serving集成TF Adapter
      • 启动TF Serving
      • 样例参考
      • 常用操作
      • FAQ

• 更多特性

  • 混合计算
  • Dump数据采集
  • 溢出数据采集
  • Log/Summary
  • 调整梯度切分策略
  • 集合通信初始化
  • 权重更新（在线推理）
  • 动态分档（在线推理）
  • 自定义算子开发

• 样例参考

  • 自动迁移样例
  • 手工迁移样例（ResNet50模型）
    • 训练前准备
    • 脚本实现流程与关键文件介绍
    • 数据预处理
    • 模型构建
    • 运行配置
    • 执行训练
    • 脚本执行

• 常用操作

  • 如何获取fp_point与bp_point
  • 绑定训练进程到指定CPU
  • 开启AI CPU Cast算子自动插入特性
  • tf.is_finite接口手工迁移
  • tf.train.batch接口手工迁移
  • 仅在某个Device上保存Checkpoint数据
  • 如何基于TensorFlow的C++接口适配NPU设备
  • 读取pb模型文件的节点名称
  • 安装Python版本的proto
  • Estimator单卡训练脚本改造为分布式训练脚本
  • 自动迁移后如何进行sess.run分布式脚本改造

• FAQ

  • Hook的index顺序改变导致训练异常
  • 数据集shuffle数量过大导致训练超时
  • 数据预处理中存在资源类算子导致训练异常
  • 网络中存在ResourceConditionalAccumulator等算子导致训练性能不达标
  • 变量初始化和数据预处理初始化在同一子图导致训练异常
  • uint8和quint8加减溢出
  • 数据预处理中存在tf.Variable导致训练异常
  • 网络调测时ReduceSum算子性能差
  • 使用NPU Loss Scale优化器后，训练不收敛
  • 混合精度场景下，由于极端模型超参导致算子溢出
  • 多优化器共用导致浮点异常检测存在问题
  • 关闭memory_optimization后发生core dump
  • NPULossScaleOptimizer优化器使用常见问题
  • V1版本控制流算子导致内存不足
  • 动态shape网络执行时报V1控制流算子不支持的错误
  • 数据预处理使用tf.keras.backend.zeros生成变量，训练报错变量未初始化
  • 执行分布式训练时，出现get rank id error错误
  • HCCL初始化网卡失败，HCCP返回错误ret[-17]
  • GetNext算子超时，返回错误码E30008
  • 多Device上执行模型不同导致应用程序出错

• TF Adapter 1.x API