| Files | Last commit | Last update |
|---|---|---|
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago | ||
| 9 days ago |
smart_translate · 端侧多语言翻译(OpenHarmony / 展锐 P7885)
基于 M2M-100 418M、ONNX Runtime、sherpa-onnx 的端侧多语言翻译 App, 支持「翻译 + 语音输入(SenseVoice)+ 译文播报(VITS-Melo)」全离线,与 smart_photo 使用同一套 OpenHarmony 构建链(API 23 / 兼容 20,arm64-v8a,BiSheng 编译器)。
特性
- 100 语种互译,全本地推理(CPU,2 线程),无网络请求。
- 语音输入:sherpa-onnx SenseVoice(中英日韩粤,228MB INT8),录音转文字并自动检测语种。
- 译文播报:sherpa-onnx VITS-Melo 中文/英文离线音色(162MB),支持暂停/停止。
- 三套模型打进 HAP(rawfile,共约 1GB),装机开箱即用;翻译模型首次启动自动流式释放到沙箱。
- 翻译全程在后台 Worker 线程(
ets/workers/TranslateWorker.ts):释放/加载/推理均不阻塞 UI 主线程,规避 APP_INPUT_BLOCK(ANR)。 - 三模型内存互斥(设备可用内存仅 ~2GB,核心修复):
- 翻译会话(encoder+decoder ~600MB)是 C++ 进程级常驻,Worker
terminate()不会释放; - 加载语音/TTS 模型前,UI 通过
ModelBridge.ts→onnxReleaseModelByName显式释放翻译会话, 保证同一时刻最多驻留一套大模型(翻译 / 语音 / 播报),避免叠加导致系统内存危机(wms died)。
- 翻译会话(encoder+decoder ~600MB)是 C++ 进程级常驻,Worker
- 通用 NAPI 桥接:
onnxRunTensors支持 float32 / int64 多输入多输出,可复用于任何 token 类模型;onnxGetModelIdByName供 Worker 防重复加载(会话进程级共享)。 - 分词器为纯 ArkTS 实现的 SentencePiece 风格 BPE(vocab.json + merges.txt),与官方 tokenizers 分词结果一致性已验证(中英/混合/长句全过)。
目录结构
device/
├── AppScope/ # 应用元信息(bundle: com.algoforge.smarttranslate)
├── common/onnx_runtime/ # C++17 ONNX Runtime 会话管理 + NAPI 桥接(int64 通用推理 + rawfile 流式释放 + 按名释放)
├── entry/
│ ├── libs/arm64-v8a/lib/libonnxruntime.so
│ └── src/main/
│ ├── cpp/ # CMakeLists + libentry.so 类型声明(Index.d.ts)
│ ├── ets/common/ # TranslateTypes.ts(Worker 消息契约)+ ModelBridge.ts(翻译会话释放桥接)
│ ├── ets/entryability/ # EntryAbility + Translator.ts(主线程实现,Worker 方案备份)
│ ├── ets/pages/Index.ets # 翻译页面(翻译/语音输入/译文播报,三状态互斥)
│ ├── ets/workers/ # TranslateWorker.ts / SenseVoiceWorker.ets / TtsWorker.ets
│ └── resources/
│ └── rawfile/ # models/(M2M-100)、sherpa-onnx-sense-voice-*(ASR)、vits-melo-tts-zh_en(TTS)
└── scripts/prepare_model.py # 下载 M2M-100 现成 INT8 ONNX + 生成 BPE 词表
前置条件
- DevEco Studio / OpenHarmony SDK(本机 SDK 路径
D:/SDK,见local.properties)。 - Python 3.9+(PC 上跑模型准备脚本),可联网访问 Hugging Face(国内建议
HF_ENDPOINT=https://hf-mirror.com)。
完整流程
1. 下载模型(默认集成到 HAP)
pip install huggingface_hub
python scripts/prepare_model.py
脚本从 Xenova/m2m100_418M(transformers.js 生态,ONNX 现成)拉取:
onnx/encoder_model_quantized.onnx(~275MB,optimum dynamic INT8)→ 改名为encoder_model_int8.onnxonnx/decoder_model_quantized.onnx(~324MB)→ 改名为decoder_model_int8.onnxtokenizer.json→ 本地解析为vocab.json(token→id)+merges.txt(BPE merges,过滤词表外无效项)config.json
产物进入 entry/src/main/resources/rawfile/models/(合计约 600MB,HAP 相应增大;本地安装无体积硬限制)。
调试模式:
python scripts/prepare_model.py --out models输出到独立目录, 构建后按提示用hdc file send推送到沙箱(此时 HAP 不含模型)。
2. 构建
hvigorw --mode module -p module=entry@default -p product=default assembleHap
产物:entry/build/default/outputs/default/entry-default-unsigned.hap(约 1060MB,含三套模型)
Worker 脚本通过
entry/build-profile.json5的buildOption.sourceOption.workers注册 (TranslateWorker.ts / SenseVoiceWorker.ets / TtsWorker.ets),编译进modules.abc, 运行时按entry/ets/workers/*.js|ets加载。
3. 安装并运行
hdc install entry/build/default/outputs/default/entry-default-unsigned.hap
- 首次点击「翻译」时在 Worker 线程自动把模型从 HAP 释放到
files/models/(首次 1-3 分钟,UI 不冻结;日志[TranslateWorker] 已从 bundle rawfile 释放模型文件: ...), 翻译会话即用即放(v2 策略):编码完成立即释放 encoder(~274MB),解码完成立即释放 decoder(~323MB), 翻译结束内存清零——二次翻译需重新加载(约 27 秒),换取 2GB 设备上不触发系统内存危机。 - 点击「加载语音模型」/「加载播报模型」时,UI 再通过
onnxReleaseModelByName兜底释放翻译会话, 再启动对应 Worker;翻译时释放语音/TTS Worker。 三套模型不会同时驻留,规避 2GB 设备的内存危机(真机NotifyMemoryLevel:2持续、wms died:pid 24517 仅加载翻译模型、未解码、未点 TTS 即触发,600MB 常驻本身超设备余量, 必须降至 ~350MB 峰值并在翻译结束后释放)。
Worker 无 resourceManager,模型释放直接读 HAP 解包目录
/data/storage/el1/bundle/[entry/]resources/rawfile/models/(双候选路径)。 若真机报「模型文件组未就绪」,用hdc shell ls /data/storage/el1/bundle/确认实际结构后 调整TranslateWorker.ts顶部BUNDLE_RAW_MODELS_CANDIDATES。
推理格式(M2M-100)
与 transformers.js / HuggingFace 官方一致(已用 ONNX 端到端验证,hello world → 问好世界):
- 分词:句子按空白拆词,每个词加
▁前缀(SentencePiece 语义),字符级贪心 BPE。 - 编码器输入:
[__源语言__] + BPE tokens + [</s>](语言 token 为__en__、__zh__双下划线格式)。 - 解码器:初始
[</s>, __目标语言__](ForcedBOS 机制),贪心采样至</s>,无 KV cache(每步全量重算)。
运行
- 输入源文本,选择源/目标语言码(如
en→zh;M2M-100 支持 100 语种,语言 token 见词表__xx__)。 - 点击「翻译」,页面显示译文与编码/解码耗时。
已知限制与路线
- 分词器为近似 BPE:中文等 BMP 字符正常;BMP 外字符(emoji/生僻字按代理对拆分)与 byte-fallback 为简化实现,个别符号可能偏差;后续可换 C++/NAPI 绑定 sentencepiece 或 WASM。
- 解码器为无 KV cache 版本(每步全量重算),短句可用;优化方向:改用
decoder_model_merged.onnx(with-past)并把解码循环下沉到 C++,减少 NAPI 往返。 - 模型释放采用流式拷贝(
onnxExtractRawFile,主线程实现)或 Worker 内fs.copyFileSync(当前默认路径),避免整包解压进内存;首次释放 600MB 级文件需数十秒到数分钟。 - Worker 线程单线程访问 ORT 会话(OnnxWrapper 进程级单例,UI 不再直接调 ORT),线程安全;若未来多线程调用需在 C++ 侧加锁。
- 设备可用内存仅 ~2GB:三套模型(翻译 600MB / ASR 228MB / TTS 162MB)不得同时驻留。
已实现:翻译会话即用即放(编码完释放 encoder、解码完释放 decoder,峰值 ~350MB)+ 加载语音/TTS 前兜底释放(
onnxReleaseModelByName);翻译前释放语音/TTS Worker。 注意:语音与 TTS 可共存(合计约 390MB);若仍出现内存高压,可在loadSpeechModel/loadTtsModel中互斥释放对方 Worker。 - 当前走 CPU;要使用 P7885 的 8 TOPS NPU,需经 OpenHarmony NNRt 或 MindSpore Lite(.ms)路线,工程量较大,属二期。
- 如需更高中文质量,可换 NLLB-200(200 语种),但需补 Unigram 分词器实现。
引用
- 模型:Xenova/m2m100_418M(transformers.js ONNX 导出,含现成 INT8 量化与 BPE tokenizer.json)
- 运行时:ONNX Runtime for OpenHarmony