跳转至

SGLang

SGLang 通过兼容 OpenAI 的 HTTP API 提供开放权重模型。OpenClaw 使用 openai-completions 提供商系列连接 SGLang,并自动发现可用模型。

属性 值
提供商 ID sglang
插件 内置,enabledByDefault: true
认证环境变量 SGLANG_API_KEY(如果服务器未启用认证,任意非空值即可)
引导标志 --auth-choice sglang
API 兼容 OpenAI(openai-completions)
默认 base URL http://127.0.0.1:30000/v1
默认模型占位符 sglang/Qwen/Qwen3-8B
流式使用 支持(supportsStreamingUsage: true)
定价 标记为外部免费(modelPricing.external: false)

OpenClaw 在使用 SGLANG_API_KEY 选择加入时,还会自动发现 SGLang 提供的可用模型。当您同时配置自定义 SGLang base URL 时,请在 agents.defaults.models 中使用 sglang/* 以保持动态发现。另请参阅下方 模型发现(隐式提供商)。

快速开始

1. 启动 SGLang

以兼容 OpenAI 的方式启动 SGLang 服务。您的 base URL 应暴露 /v1 端点(例如 /v1/models、/v1/chat/completions)。SGLang 通常运行在:

  • http://127.0.0.1:30000/v1

2. 设置 API 密钥

如果您的服务器未配置认证,设置任意值即可:

export SGLANG_API_KEY="sglang-local"

3. 运行引导流程或直接设置模型

openclaw onboard --auth-choice sglang

或手动配置模型:

{
  agents: {
    defaults: {
      model: { primary: "sglang/your-model-id" },
    },
  },
}

模型发现(隐式提供商)

当设置了 SGLANG_API_KEY(或存在认证配置文件),且您未定义 models.providers.sglang 时,OpenClaw 会查询:

  • GET http://127.0.0.1:30000/v1/models

并将返回的 ID 转换为模型条目。

Note

如果您显式设置了 models.providers.sglang,OpenClaw 默认使用您声明的模型。当您希望 OpenClaw 查询该已配置提供商的 /models 端点并包含所有公布的 SGLang 模型时,请在 agents.defaults.models 中添加 "sglang/*": {}。

显式配置(手动模型)

在以下情况下使用显式配置:

  • SGLang 运行在不同的主机/端口上。
  • 您希望固定 contextWindow/maxTokens 值。
  • 您的服务器需要真实的 API 密钥(或您希望控制请求头)。
{
  models: {
    providers: {
      sglang: {
        baseUrl: "http://127.0.0.1:30000/v1",
        apiKey: "${SGLANG_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local SGLang Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

高级配置

代理风格行为

SGLang 被视为代理风格的 OpenAI 兼容 /v1 后端,而非原生 OpenAI 端点。

行为 SGLang
仅限 OpenAI 的请求整形 不应用
service_tier、Responses store、提示缓存提示 不发送
推理兼容负载整形 不应用
隐藏的来源标识请求头(originator、version、User-Agent) 不会注入到自定义 SGLang base URL
故障排查

服务器无法访问

请确认服务器正在运行并能正常响应:

curl http://127.0.0.1:30000/v1/models

认证错误

如果请求因认证错误而失败,请设置与您的服务器配置匹配的真实 SGLANG_API_KEY,或在 models.providers.sglang 下显式配置该提供商。

Tip

如果您在无认证的情况下运行 SGLang,为 SGLANG_API_KEY 设置任意非空值即可选择加入模型发现。

模型选择

选择提供商、模型引用及故障转移行为。

配置参考

完整的配置模式,包括提供商条目。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 cl/openclaw