跳转至

SGLang

SGLang 通过 OpenAI 兼容的 HTTP API 提供开放权重模型。OpenClaw 使用 openai-completions 提供商系列连接到 SGLang,并自动发现可用模型。

属性 值
提供商 ID sglang
插件 内置,enabledByDefault: true
认证环境变量 SGLANG_API_KEY(如果服务器没有认证,任意非空值均可)
引导标志 --auth-choice sglang
API OpenAI 兼容(openai-completions)
默认基础 URL http://127.0.0.1:30000/v1
默认模型占位符 sglang/Qwen/Qwen3-8B
流式用量 是(supportsStreamingUsage: true)
定价 标记为外部免费(modelPricing.external: false)

当使用 SGLANG_API_KEY 选择加入时,OpenClaw 还会从 SGLang 自动发现可用模型。如果同时配置了自定义 SGLang 基础 URL,请在 agents.defaults.models 中使用 sglang/*,以保持发现动态。参见下文 模型发现(隐式提供商)。

快速开始

1. 启动 SGLang

使用 OpenAI 兼容服务器启动 SGLang。你的基础 URL 应暴露 /v1 端点(例如 /v1/models、/v1/chat/completions)。SGLang 通常运行在:

  • http://127.0.0.1:30000/v1

2. 设置 API 密钥

如果服务器未配置认证,任意值均可:

export SGLANG_API_KEY="sglang-local"

3. 运行引导或直接设置模型

openclaw onboard --auth-choice sglang

或手动配置模型:

{
  agents: {
    defaults: {
      model: { primary: "sglang/your-model-id" },
    },
  },
}

模型发现(隐式提供商)

当设置了 SGLANG_API_KEY(或存在认证配置)且你未 定义 models.providers.sglang 时,OpenClaw 会查询:

  • GET http://127.0.0.1:30000/v1/models

并将返回的 ID 转换为模型条目。

Note

如果你显式设置了 models.providers.sglang,OpenClaw 默认使用你声明的 模型。当你希望 OpenClaw 查询该已配置提供商的 /models 端点并包含 所有已通告的 SGLang 模型时,请在 agents.defaults.models 中添加 "sglang/*": {}。

显式配置(手动模型)

在以下情况下使用显式配置:

  • SGLang 运行在不同的主机/端口。
  • 你希望固定 contextWindow/maxTokens 值。
  • 你的服务器需要真实 API 密钥(或你希望控制请求头)。
{
  models: {
    providers: {
      sglang: {
        baseUrl: "http://127.0.0.1:30000/v1",
        apiKey: "${SGLANG_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local SGLang Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

高级配置

代理式行为

SGLang 被视为代理式 OpenAI 兼容 /v1 后端,而不是 原生 OpenAI 端点。

行为 SGLang
仅 OpenAI 的请求整形 不适用
service_tier、Responses store、提示缓存提示 不发送
推理兼容负载整形 不适用
隐藏归属请求头(originator、version、User-Agent) 在自定义 SGLang 基础 URL 上不注入
故障排查
**服务器不可达**

验证服务器正在运行并响应:

```bash
curl http://127.0.0.1:30000/v1/models
```

**认证错误**

如果请求因认证错误失败,请设置与服务器配置匹配的真实 `SGLANG_API_KEY`,
或在 `models.providers.sglang` 下显式配置提供商。

Tip

如果你在没有认证的情况下运行 SGLang,SGLANG_API_KEY 的任意非空值 都足以选择加入模型发现。

模型选择

选择提供商、模型引用和故障转移行为。

配置参考

完整配置模式,包括提供商条目。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 cl/openclaw