内存占用太大?可以试试使用量化模型

Written By smartmeng

Last updated 4 months ago

如果你在使用闪电说时,发现 内存占用偏高,这通常是因为默认使用的是 非量化(原始精度)模型

你可以手动更换为 量化版本模型,体积更小、运行更轻量、内存占用更低。

⚠️ 注意:量化模型会更省内存,但精度会有一定下降。
如果你对识别准确率要求非常高,建议继续使用默认模型。

下面只需要 三步 即可完成。


第 1 步:下载量化模型文件

请在这里下载SenseVoice 量化模型文件model_quant.onnx

👉 下载地址:SenseVoice多语言语音理解模型Small-onnx · 模型库


第 2 步:打开闪电说的模型目录

  1. 打开闪电说

  2. 点击设置

  3. 找到 「模型设置」

  4. 点击 「打开目录」 按钮

  5. 点击后会自动打开模型文件所在的本地目录


第 3 步:替换模型

  1. 备份或删除原来的模型文件

  2. 将下载的量化模型 model_quant.onnx 更名为 model.onnx

  3. 将更名后的量化模型替换目录原来的模型文件

  4. 重新启动闪电说即可生效


完成!

更换为量化模型后,你将获得:

  • ✔ 更低的内存占用

  • ✔ 更快的启动速度

  • ✔ 更轻的 CPU/GPU 压力

同时请注意:

  • ✦ 精度会略有下降,尤其在噪音环境或口音较重时

  • ✦ 如果对准确度非常敏感,可以随时换回默认模型