SGLang
SGLang 通过兼容 OpenAI 的 HTTP API 提供开放权重模型。OpenClaw 使用 openai-completions 提供商系列连接 SGLang,并自动发现可用模型。
| 属性 | 值 |
|---|---|
| 提供商 ID | sglang |
| 插件 | 内置,enabledByDefault: true |
| 认证环境变量 | SGLANG_API_KEY(如果服务器未启用认证,任意非空值即可) |
| 引导标志 | --auth-choice sglang |
| API | 兼容 OpenAI(openai-completions) |
| 默认 base URL | http://127.0.0.1:30000/v1 |
| 默认模型占位符 | sglang/Qwen/Qwen3-8B |
| 流式使用 | 支持(supportsStreamingUsage: true) |
| 定价 | 标记为外部免费(modelPricing.external: false) |
OpenClaw 在使用 SGLANG_API_KEY 选择加入时,还会自动发现 SGLang 提供的可用模型。当您同时配置自定义 SGLang base URL 时,请在 agents.defaults.models 中使用 sglang/* 以保持动态发现。另请参阅下方 模型发现(隐式提供商)。
快速开始¶
1. 启动 SGLang
以兼容 OpenAI 的方式启动 SGLang 服务。您的 base URL 应暴露 /v1 端点(例如 /v1/models、/v1/chat/completions)。SGLang 通常运行在:
http://127.0.0.1:30000/v1
2. 设置 API 密钥
如果您的服务器未配置认证,设置任意值即可:
3. 运行引导流程或直接设置模型
或手动配置模型:
模型发现(隐式提供商)¶
当设置了 SGLANG_API_KEY(或存在认证配置文件),且您未定义 models.providers.sglang 时,OpenClaw 会查询:
GET http://127.0.0.1:30000/v1/models
并将返回的 ID 转换为模型条目。
Note
如果您显式设置了 models.providers.sglang,OpenClaw 默认使用您声明的模型。当您希望 OpenClaw 查询该已配置提供商的 /models 端点并包含所有公布的 SGLang 模型时,请在 agents.defaults.models 中添加 "sglang/*": {}。
显式配置(手动模型)¶
在以下情况下使用显式配置:
- SGLang 运行在不同的主机/端口上。
- 您希望固定
contextWindow/maxTokens值。 - 您的服务器需要真实的 API 密钥(或您希望控制请求头)。
{
models: {
providers: {
sglang: {
baseUrl: "http://127.0.0.1:30000/v1",
apiKey: "${SGLANG_API_KEY}",
api: "openai-completions",
models: [
{
id: "your-model-id",
name: "Local SGLang Model",
reasoning: false,
input: ["text"],
cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
contextWindow: 128000,
maxTokens: 8192,
},
],
},
},
},
}
高级配置¶
代理风格行为
SGLang 被视为代理风格的 OpenAI 兼容 /v1 后端,而非原生 OpenAI 端点。
| 行为 | SGLang |
|---|---|
| 仅限 OpenAI 的请求整形 | 不应用 |
service_tier、Responses store、提示缓存提示 |
不发送 |
| 推理兼容负载整形 | 不应用 |
隐藏的来源标识请求头(originator、version、User-Agent) |
不会注入到自定义 SGLang base URL |
故障排查
服务器无法访问
请确认服务器正在运行并能正常响应:
认证错误
如果请求因认证错误而失败,请设置与您的服务器配置匹配的真实 SGLANG_API_KEY,或在 models.providers.sglang 下显式配置该提供商。
Tip
如果您在无认证的情况下运行 SGLang,为 SGLANG_API_KEY 设置任意非空值即可选择加入模型发现。
相关¶
选择提供商、模型引用及故障转移行为。
完整的配置模式,包括提供商条目。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 cl/openclaw