| GatherPaKvCache: arch35: 支持float8_e4m3fn的key和float16的value
Co-authored-by: gt0cd001<ranzherui@huawei.com>
# message auto-generated for no-merge-commit merge:
!2120 merge feature_gather_pa_kv_cache into master
GatherPaKvCache: arch35: 支持float8_e4m3fn的key和float16的value
Created-by: gt0cd001
Commit-by: gt0cd001
Merged-by: cann-robot
Description: ## 描述
<!--在这里详细描述你的改动，包括改动的原因和所采取的方法。-->
GatherPaKvCache支持key和value不同数据类型：将所有key和value都作为uint8_t类型，对于1字节数据类型，tensor的shape不变，对于2字节和4字节数据类型，将head size分别乘以2和4以保持字节数不变。对应到tensor的shape上：keyCache和valueCache的第3维（从0编号）乘以2，key和value的最后一维（ND模式第2维，NZ模式第1维）乘以2。
## 关联的Issue
<!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000-->
<!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。-->
关联Issue #1126
## 测试
<!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。-->
## 文档更新
<!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。-->
## 类型标签
<!-- [x] 表示选中 -->
- [ ] Bug修复
- [x] 新特性
- [ ] 性能优化
- [ ] 文档更新
- [ ] 其他，请描述：
See merge request: cann/ops-transformer!2120 | 2 个月前 |
