Skip to content

[polish] 支持火山方舟低延迟请求参数 #1125

Closed

Description

@Bomsw

现象

目前 (v2.0.0 beta3) OpenLess 无法使用火山方舟引擎提供的低延迟推理功能。

不少豆包seed系列模型支持在请求中设置

{
  "service_tier": "fast",
}

来开启低延迟在线推理服务

启用后对于处理延迟的降低确实是很有效果的。我自己用doubao-seed-2-1-lite-260915做的初步测试,TTFT p90从2s降到0.3s,tps从70提到125,作为输入法的流程算是肉眼可见的差距

影响

使用豆包等 Ark 渠道模型进行听写后文本整理时,无法完整使用提供商已经支持的低延迟推理能力。

建议接受标准

  • 设置页面中ARK渠道模型可以增加一个fast选项,勾选后在请求中加上"service_tier": "fast"来开启低延迟

TODO / 不确定项

  • 不同火山平台模型对 thinking 和 service_tier 的支持范围可能不同,具体是否需要按模型限制待确认。
  • 其他平台模型有的也支持快速模式(比如OpenAI模型也可以设置"service_tier": "fast"),可能需要进一步确认

Activity

  1. HKLHaoBin commented on Oct 4, 2026

    @HKLHaoBin
    Collaborator

    开始调研

  2. HKLHaoBin commented on Oct 5, 2026

    @HKLHaoBin
    Collaborator

    @Bomsw #1125 已完成实现并通过 CI、桌面端和 Android 构建,请协助测试以下产物:

    桌面端:

    移动端:

    构建记录:Release Tauri · Android debug · CI

    如果 artifact 页面没有直接开始下载,请进入页面后在 Artifacts 区点击同名产物。

  3. Bomsw commented on Oct 7, 2026

    @Bomsw
    Author

    感谢更新!前几天刚好不在,没能及时回复。我测试能正常使用。辛苦了!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions