### 现象 目前 (v2.0.0 beta3) OpenLess 无法使用火山方舟引擎提供的低延迟推理功能。 不少豆包seed系列模型支持在请求中设置 ``` { "service_tier": "fast", } ``` 来开启低延迟在线推理服务 启用后对于处理延迟的降低确实是很有效果的。我自己用`doubao-seed-2-1-lite-260915`做的初步测试,TTFT p90从2s降到0.3s,tps从70提到125,作为输入法的流程算是肉眼可见的差距 ### 影响 使用豆包等 Ark 渠道模型进行听写后文本整理时,无法完整使用提供商已经支持的低延迟推理能力。 ### 建议接受标准 - [ ] 设置页面中ARK渠道模型可以增加一个fast选项,勾选后在请求中加上`"service_tier": "fast"`来开启低延迟 ### TODO / 不确定项 - [ ] 不同火山平台模型对 thinking 和 service_tier 的支持范围可能不同,具体是否需要按模型限制待确认。 - [ ] 其他平台模型有的也支持快速模式(比如OpenAI模型也可以设置`"service_tier": "fast"`),可能需要进一步确认
Activity
HKLHaoBin commentedon Oct 4, 2026
开始调研
HKLHaoBin commentedon Oct 5, 2026
@Bomsw #1125 已完成实现并通过 CI、桌面端和 Android 构建,请协助测试以下产物:
桌面端:
移动端:
构建记录:Release Tauri · Android debug · CI
如果 artifact 页面没有直接开始下载,请进入页面后在 Artifacts 区点击同名产物。
Bomsw commentedon Oct 7, 2026
感谢更新!前几天刚好不在,没能及时回复。我测试能正常使用。辛苦了!