FilesLast commitLast update
9 days ago
9 days ago
9 days ago
9 days ago
9 days ago
9 days ago
9 days ago
9 days ago
9 days ago
9 days ago
9 days ago
9 days ago
9 days ago
README

smart_translate · 端侧多语言翻译(OpenHarmony / 展锐 P7885)

基于 M2M-100 418M、ONNX Runtime、sherpa-onnx 的端侧多语言翻译 App, 支持「翻译 + 语音输入(SenseVoice)+ 译文播报(VITS-Melo)」全离线,与 smart_photo 使用同一套 OpenHarmony 构建链(API 23 / 兼容 20,arm64-v8a,BiSheng 编译器)。

特性

  • 100 语种互译,全本地推理(CPU,2 线程),无网络请求。
  • 语音输入:sherpa-onnx SenseVoice(中英日韩粤,228MB INT8),录音转文字并自动检测语种。
  • 译文播报:sherpa-onnx VITS-Melo 中文/英文离线音色(162MB),支持暂停/停止。
  • 三套模型打进 HAP(rawfile,共约 1GB),装机开箱即用;翻译模型首次启动自动流式释放到沙箱。
  • 翻译全程在后台 Worker 线程(ets/workers/TranslateWorker.ts):释放/加载/推理均不阻塞 UI 主线程,规避 APP_INPUT_BLOCK(ANR)。
  • 三模型内存互斥(设备可用内存仅 ~2GB,核心修复):
    • 翻译会话(encoder+decoder ~600MB)是 C++ 进程级常驻,Worker terminate() 不会释放;
    • 加载语音/TTS 模型前,UI 通过 ModelBridge.ts → onnxReleaseModelByName 显式释放翻译会话, 保证同一时刻最多驻留一套大模型(翻译 / 语音 / 播报),避免叠加导致系统内存危机(wms died)。
  • 通用 NAPI 桥接:onnxRunTensors 支持 float32 / int64 多输入多输出,可复用于任何 token 类模型;onnxGetModelIdByName 供 Worker 防重复加载(会话进程级共享)。
  • 分词器为纯 ArkTS 实现的 SentencePiece 风格 BPE(vocab.json + merges.txt),与官方 tokenizers 分词结果一致性已验证(中英/混合/长句全过)。

目录结构

device/
├── AppScope/                     # 应用元信息(bundle: com.algoforge.smarttranslate)
├── common/onnx_runtime/          # C++17 ONNX Runtime 会话管理 + NAPI 桥接(int64 通用推理 + rawfile 流式释放 + 按名释放)
├── entry/
│   ├── libs/arm64-v8a/lib/libonnxruntime.so
│   └── src/main/
│       ├── cpp/                  # CMakeLists + libentry.so 类型声明(Index.d.ts)
│       ├── ets/common/           # TranslateTypes.ts(Worker 消息契约)+ ModelBridge.ts(翻译会话释放桥接)
│       ├── ets/entryability/     # EntryAbility + Translator.ts(主线程实现,Worker 方案备份)
│       ├── ets/pages/Index.ets   # 翻译页面(翻译/语音输入/译文播报,三状态互斥)
│       ├── ets/workers/          # TranslateWorker.ts / SenseVoiceWorker.ets / TtsWorker.ets
│       └── resources/
│           └── rawfile/          # models/(M2M-100)、sherpa-onnx-sense-voice-*(ASR)、vits-melo-tts-zh_en(TTS)
└── scripts/prepare_model.py      # 下载 M2M-100 现成 INT8 ONNX + 生成 BPE 词表

前置条件

  • DevEco Studio / OpenHarmony SDK(本机 SDK 路径 D:/SDK,见 local.properties)。
  • Python 3.9+(PC 上跑模型准备脚本),可联网访问 Hugging Face(国内建议 HF_ENDPOINT=https://hf-mirror.com)。

完整流程

1. 下载模型(默认集成到 HAP)

pip install huggingface_hub
python scripts/prepare_model.py

脚本从 Xenova/m2m100_418M(transformers.js 生态,ONNX 现成)拉取:

  • onnx/encoder_model_quantized.onnx(~275MB,optimum dynamic INT8)→ 改名为 encoder_model_int8.onnx
  • onnx/decoder_model_quantized.onnx(~324MB)→ 改名为 decoder_model_int8.onnx
  • tokenizer.json → 本地解析为 vocab.json(token→id)+ merges.txt(BPE merges,过滤词表外无效项)
  • config.json

产物进入 entry/src/main/resources/rawfile/models/(合计约 600MB,HAP 相应增大;本地安装无体积硬限制)。

调试模式:python scripts/prepare_model.py --out models 输出到独立目录, 构建后按提示用 hdc file send 推送到沙箱(此时 HAP 不含模型)。

2. 构建

hvigorw --mode module -p module=entry@default -p product=default assembleHap

产物:entry/build/default/outputs/default/entry-default-unsigned.hap(约 1060MB,含三套模型)

Worker 脚本通过 entry/build-profile.json5 的 buildOption.sourceOption.workers 注册 (TranslateWorker.ts / SenseVoiceWorker.ets / TtsWorker.ets),编译进 modules.abc, 运行时按 entry/ets/workers/*.js|ets 加载。

3. 安装并运行

hdc install entry/build/default/outputs/default/entry-default-unsigned.hap
  • 首次点击「翻译」时在 Worker 线程自动把模型从 HAP 释放到 files/models/ (首次 1-3 分钟,UI 不冻结;日志 [TranslateWorker] 已从 bundle rawfile 释放模型文件: ...), 翻译会话即用即放(v2 策略):编码完成立即释放 encoder(~274MB),解码完成立即释放 decoder(~323MB), 翻译结束内存清零——二次翻译需重新加载(约 27 秒),换取 2GB 设备上不触发系统内存危机。
  • 点击「加载语音模型」/「加载播报模型」时,UI 再通过 onnxReleaseModelByName 兜底释放翻译会话, 再启动对应 Worker;翻译时释放语音/TTS Worker。 三套模型不会同时驻留,规避 2GB 设备的内存危机(真机 NotifyMemoryLevel:2 持续、 wms died:pid 24517 仅加载翻译模型、未解码、未点 TTS 即触发,600MB 常驻本身超设备余量, 必须降至 ~350MB 峰值并在翻译结束后释放)。

Worker 无 resourceManager,模型释放直接读 HAP 解包目录 /data/storage/el1/bundle/[entry/]resources/rawfile/models/(双候选路径)。 若真机报「模型文件组未就绪」,用 hdc shell ls /data/storage/el1/bundle/ 确认实际结构后 调整 TranslateWorker.ts 顶部 BUNDLE_RAW_MODELS_CANDIDATES。

推理格式(M2M-100)

与 transformers.js / HuggingFace 官方一致(已用 ONNX 端到端验证,hello world → 问好世界):

  • 分词:句子按空白拆词,每个词加 ▁ 前缀(SentencePiece 语义),字符级贪心 BPE。
  • 编码器输入:[__源语言__] + BPE tokens + [</s>](语言 token 为 __en__、__zh__ 双下划线格式)。
  • 解码器:初始 [</s>, __目标语言__](ForcedBOS 机制),贪心采样至 </s>,无 KV cache(每步全量重算)。

运行

  1. 输入源文本,选择源/目标语言码(如 en → zh;M2M-100 支持 100 语种,语言 token 见词表 __xx__)。
  2. 点击「翻译」,页面显示译文与编码/解码耗时。

已知限制与路线

  • 分词器为近似 BPE:中文等 BMP 字符正常;BMP 外字符(emoji/生僻字按代理对拆分)与 byte-fallback 为简化实现,个别符号可能偏差;后续可换 C++/NAPI 绑定 sentencepiece 或 WASM。
  • 解码器为无 KV cache 版本(每步全量重算),短句可用;优化方向:改用 decoder_model_merged.onnx(with-past)并把解码循环下沉到 C++,减少 NAPI 往返。
  • 模型释放采用流式拷贝(onnxExtractRawFile,主线程实现)或 Worker 内 fs.copyFileSync(当前默认路径),避免整包解压进内存;首次释放 600MB 级文件需数十秒到数分钟。
  • Worker 线程单线程访问 ORT 会话(OnnxWrapper 进程级单例,UI 不再直接调 ORT),线程安全;若未来多线程调用需在 C++ 侧加锁。
  • 设备可用内存仅 ~2GB:三套模型(翻译 600MB / ASR 228MB / TTS 162MB)不得同时驻留。 已实现:翻译会话即用即放(编码完释放 encoder、解码完释放 decoder,峰值 ~350MB)+ 加载语音/TTS 前兜底释放(onnxReleaseModelByName);翻译前释放语音/TTS Worker。 注意:语音与 TTS 可共存(合计约 390MB);若仍出现内存高压,可在 loadSpeechModel/loadTtsModel 中互斥释放对方 Worker。
  • 当前走 CPU;要使用 P7885 的 8 TOPS NPU,需经 OpenHarmony NNRt 或 MindSpore Lite(.ms)路线,工程量较大,属二期。
  • 如需更高中文质量,可换 NLLB-200(200 语种),但需补 Unigram 分词器实现。

引用

  • 模型:Xenova/m2m100_418M(transformers.js ONNX 导出,含现成 INT8 量化与 BPE tokenizer.json)
  • 运行时:ONNX Runtime for OpenHarmony