fbb-modelzoo:基于海思轻智能终端芯片的嵌入式 AI 模型仓库项目

AI生态

分支2Tags2

FBB ModelZoo

项目简介

FBB ModelZoo 是 HiSpark.AI 海思嵌入式 AI 解决方案下的开源模型仓库,面向 WS63 MCU、Hi3066H MCU、HiDiTing Nano NPU、Hi5682T Tiny NPU 等轻智能终端芯片,提供从模型适配到固件打包的端到端示例工程。覆盖图像分类、图像超分辨率、音频事件检测、关键词识别、音频增强、时序预测、视觉唤醒词、人体活动识别、说话人识别(声纹识别)等场景。仓库以 application/<scene>/run.sh 为统一入口,基于配置文件 config.cfg 串联数据生成 → 模型转换 → SDK 工程打包,输出可烧录或可执行的产物。

仓库对模型进行了适配与格式转换,并提供基于海思芯片的实操示例与精度参考,便于开发者快速复现与扩展。后续会持续收录更多典型网络与数据集;如有需求或问题,欢迎在 Gitcode 提交 issue。

FBB ModelZoo 目录介绍

目录 下层目录 介绍
application <scene> 应用场景运行入口(run.sh)和板端示例代码
models <scene>/<model> 存放模型资产、模型元数据信息、部署预设配置
dataset <scene>/<dataset> 存放数据生成脚本,生成校准集、测试集、单样本板端输入和可选参考输出
tools/ — 存放通用的转换、编译、校验工具
docs/ — 存放指导文档,包括 ModelZoo 自定义扩展方式、工具链获取途径

模型列表

支持状态:已支持 = 提供完整预设、metadata.yaml、可运行的板端 demo 工程,以及用于和板端结果比对的参考精度;计划支持 实际进度以版本发布为准。

应用场景 模型 数据集 支持芯片 支持状态 运行入口
图像分类 mnist-12 MNIST WS63、Hi3066H、HiDiTing、Hi5682T 已支持 image_classification
图像分类 ResNet8 CIFAR-10 WS63、HiDiTing、Hi5682T 已支持 image_classification
图像分类 mnist-resnet MNIST WS63、Hi3066H、HiDiTing、Hi5682T 已支持 image_classification
图像分类 binary-mnist binary_mnist WS63、Hi3066H、HiDiTing、Hi5682T 已支持 image_classification
图像分类 open-closed-eye MRLEye WS63、Hi3066H、HiDiTing、Hi5682T 已支持 image_classification
图像分类 shape-classifier SimpleGeometricShapes WS63、HiDiTing、Hi5682T 已支持 image_classification
音频事件检测 ad01 ToyCar WS63、HiDiTing、Hi5682T 已支持 audio_event_detection
关键词识别 cnn-small GoogleSpeechCommands WS63、HiDiTing、Hi5682T 已支持 keyword_spotting
关键词识别 gru-s SpeechCommandsGRU WS63、HiDiTing、Hi5682T 已支持 keyword_spotting
关键词识别 gru-m SpeechCommandsGRU HiDiTing 已支持 keyword_spotting
关键词识别 gru-l SpeechCommandsGRU HiDiTing 已支持 keyword_spotting
关键词识别 micro-speech MicroSpeech WS63、HiDiTing、Hi5682T 已支持 keyword_spotting
关键词识别 microspeech-lstm SpeechCommandsV1 WS63 已支持 keyword_spotting
关键词识别 streaming-wakeword StreamWakeWord WS63、HiDiTing、Hi5682T 已支持 keyword_spotting
关键词识别 keyword-spotting GoogleSpeechCommandsv2 WS63、HiDiTing、Hi5682T 已支持 keyword_spotting
时序预测 temporal-cnn-anomaly SKAB WS63、HiDiTing、Hi5682T 已支持 time_series_prediction
时序预测 arr-2-eff-sm PtbxlLsad WS63 已支持 time_series_prediction
时序预测 sepsis-prediction PhysioNet2019 WS63、HiDiTing、Hi5682T 已支持 time_series_prediction
时序预测 sunshine-regression WeatherPrediction WS63、HiDiTing、Hi5682T 已支持 time_series_prediction
音频增强 RNNoise RNNoise WS63 已支持 audio_enhancement
视觉唤醒词 visual-wake-words MSCOCO WS63、HiDiTing、Hi5682T 已支持 visual_wake_words
视觉唤醒词 person-detect MSCOCO WS63 已支持 visual_wake_words
人体活动识别 har-cnn WISDM WS63 已支持 human_activity_recognition
人体活动识别 magic-wand MagicWand WS63、HiDiTing、Hi5682T 已支持 human_activity_recognition
图像超分辨率 espcn-x4 Set5 WS63、HiDiTing、Hi5682T 已支持 image_super_resolution
说话人识别(声纹识别) efficienttdnn_c2min VoxCeleb1 HiDiTing 已支持 speaker_recognition

应用方案

solutions/ 提供结合模型与 SDK sample 的应用方案。目前支持以下场景:

模型训练

GRU-S/M/L 重训 支持使用自有语音数据训练唤醒词模型,导出逐帧 ONNX、校准数据,并支持对接 HiDiTing AI 语音应用唤醒词替换方案配置。

文档入口

免责声明

致 FBB ModelZoo 使用者

  • 本仓库提供的模型仅供学习、研究与非商业用途。
  • 本仓库可能收录公开数据集的下载 / 处理脚本、原始预训练模型,以及基于原始预训练模型适配、转换、微调或量化得到的模型资产。除仓库自有代码及明确标注由 FBB ModelZoo 或海思提供 / 拥有权利的内容外,相关数据集、原始模型及其派生模型的权利归原权利人所有;仓库不对其质量、持续维护或第三方许可负责。请在使用、复制、分发或商用前自行确认并遵守对应许可证、数据集协议和模型使用限制;如因使用相关数据集或模型产生侵权或合规纠纷,海思不承担任何责任。
  • 使用过程中遇到任何问题(包括但不限于功能、合规问题),欢迎在 Gitcode issue 反馈,维护者会及时审视并跟进。

致数据集、模型所有者

如果您不希望某个数据集或模型被收录在 FBB ModelZoo 中,或希望更新其中属于您的内容,请通过 Gitcode issue 联系维护者,我们将按您的诉求删除或更新对应条目,感谢理解与支持。

License 声明

  • 本仓库自有代码采用 Apache License 2.0,详见 LICENSE。
  • FBB ModelZoo 提供的模型,如模型目录下存在 LICENSE 文件的,以该 License 为准。如模型目录下不存在 LICENSE 文件的,以 Apache 2.0 许可证许可,对应许可证文本可查阅 FBB ModelZoo 根目录。