线上模型冒烟测试(配置文件密钥)
实时:模型冒烟测试(配置文件密钥)¶
实时模型测试分为两层,以便隔离故障:
- “Direct model”(直接模型)告诉你使用给定密钥时,提供商/模型是否至少能够响应。
- “Gateway smoke”(网关冒烟测试)告诉你针对该模型的完整 gateway+agent 流水线是否可用(会话、历史记录、工具、沙箱策略等)。
实时:模型矩阵 中精选的模型列表位于 src/agents/test-helpers/live-model-dynamic-candidates.ts,并会随时间变化;请以那里的数组作为权威来源,而不是本页。
MiniMax M3 默认使用 minimax/MiniMax-M3 作为其提供商/模型引用。
显式 provider/model 选择使用 agent 的规范模型解析器,包括已配置的模型和被接受的捆绑别名。仅包含模型的模糊选择器仍会枚举匹配的已发现模型。无效选择器以及无法解析的所请求模型会在检查运行之前报告。提供商允许列表仍会缩小选择范围,有意的模型上限仍会限制运行多少个候选项。解析所有适用选择器可证明可用性,而不是对因上限而被省略的模型执行推理。
第一层:直接模型补全(无 gateway)¶
- 测试:
src/agents/models.profiles.live.test.ts - 目标:
- 枚举已发现的模型
- 使用
getApiKeyForModel选择你拥有凭据的模型 - 为每个模型运行一次小型补全(并在需要时运行针对性回归测试)
- 如何启用:
pnpm test:live(如果直接调用 Vitest,则使用OPENCLAW_LIVE_TEST=1)- 设置
OPENCLAW_LIVE_MODELS=modern、small或all(modern的别名)以实际运行该测试套件;否则它会跳过,因此单独运行pnpm test:live仍专注于网关冒烟测试。 - 如何选择模型:
OPENCLAW_LIVE_MODELS=modern运行精选的高信号优先级列表(参见 实时:模型矩阵)OPENCLAW_LIVE_MODELS=small运行精选的小型模型优先级列表OPENCLAW_LIVE_MODELS=all是modern的别名- 或
OPENCLAW_LIVE_MODELS="openai/gpt-5.6-luna,anthropic/claude-opus-4-6,..."(逗号分隔的允许列表) - 本地 Ollama 小型模型运行默认使用
http://127.0.0.1:11434;仅当使用 LAN、自定义或 Ollama Cloud 端点时,才设置OPENCLAW_LIVE_OLLAMA_BASE_URL。 - Modern/all 和 small 扫描默认以其精选列表的长度作为上限;设置
OPENCLAW_LIVE_MAX_MODELS=0以对所选配置文件进行穷举扫描,或设置正数以使用更小的上限。 - 穷举扫描使用
OPENCLAW_LIVE_TEST_TIMEOUT_MS作为整个直接模型测试的超时时间。默认值:60 分钟。 - 直接模型检查默认以 20 路并行运行;设置
OPENCLAW_LIVE_MODEL_CONCURRENCY可覆盖该值。 - 如何选择提供商:
OPENCLAW_LIVE_PROVIDERS="google,google-gemini-cli"(逗号分隔的允许列表)- 密钥来源:
- 默认:profile store 和环境变量回退
- 设置
OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1以仅强制使用 profile store - 此层存在的原因:
- 将“提供商 API 损坏 / 密钥无效”与“gateway agent 流水线损坏”区分开
- 包含小型、隔离的回归测试(例如:OpenAI Responses/Codex Responses 推理重放 + 工具调用流程)
第二层:Gateway + dev agent 冒烟测试(“@openclaw”实际执行的内容)¶
- 测试:
src/gateway/gateway-models.profiles.live.test.ts - 目标:
- 启动一个进程内 gateway
- 创建/修补一个
agent:dev:*会话(每次运行覆盖模型) - 遍历拥有密钥的模型并断言:
- “有意义”的响应(无工具)
- 真实工具调用可用(
read检查) - 可选的额外工具检查(
exec+read检查) - OpenAI 回归路径(仅工具调用 -> 后续)保持可用
- 检查详情(便于快速解释失败):
read检查:测试在工作区写入一个 nonce 文件,并要求 agentread它并回显该 nonce。exec+read检查:测试要求 agent 通过exec将一个 nonce 写入临时文件,然后read回来。- 图像检查:测试附加一个生成的 PNG(cat + 随机代码),并期望模型返回
cat <CODE>。 - 实现参考:
src/gateway/gateway-models.profiles.live.test.ts和test/helpers/live-image-probe.ts。 - 如何启用:
pnpm test:live(如果直接调用 Vitest,则使用OPENCLAW_LIVE_TEST=1)- 如何选择模型:
- 默认:精选的高信号(
modern)优先级列表 OPENCLAW_LIVE_GATEWAY_MODELS=small通过完整 gateway+agent 流水线运行精选的小型模型列表OPENCLAW_LIVE_GATEWAY_MODELS=all是modern的别名- 或设置
OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"(或逗号列表)以缩小范围 - Modern/all 和 small gateway 扫描默认以其精选列表的长度作为上限;设置
OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0以进行所选模型的穷举扫描,或设置正数以使用更小的上限。 - 如何选择提供商(避免“OpenRouter 全部”):
OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-gemini-cli,openai,anthropic,zai,minimax"(逗号分隔的允许列表)- 在此实时测试中,工具 + 图像检查始终开启:
read检查 +exec+read检查(工具压力)- 当模型声明支持图像输入时,运行图像检查
- 流程(高层级):
- 测试生成一个包含 "CAT" + 随机代码的小型 PNG(
test/helpers/live-image-probe.ts) - 通过
agent的attachments: [{ mimeType: "image/png", content: "<base64>" }]发送 - Gateway 将附件解析为
images[](src/gateway/server-methods/agent.ts+src/gateway/chat-attachments.ts) - 嵌入式 agent 将多模态用户消息转发给模型
- 断言:回复包含
cat+ 该代码(OCR 容差:允许轻微错误)
- 测试生成一个包含 "CAT" + 随机代码的小型 PNG(
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 cl/openclaw