本地 ONNX 决策模型¶
可安装的 ONNX 插件通过 决策模型 API 在本地运行分类器。 它使用一个独立的、持久的 Node 进程,并采用 ONNX Runtime 的 CPU 后端。 推理不会将状态或问题发送到远程服务。只有在你显式运行下载命令时,模型才会下载。
有关模型角色、评分标准示例和提供商中立的插件 API,请参阅 决策模型。
设置¶
decision-provider API 是在已发布的 OpenClaw 2026.9.5 之后添加的。
打包的 ONNX 安装要求宿主和插件 API 至少为 2026.9.6;
安装程序会在加载插件之前拒绝 2026.9.5。原生运行时
属于插件包,不会捆绑到核心中。
当前开发检出¶
在支持版本可用之前,请使用一个同时包含 decision-provider API 和 extensions/onnx 的 OpenClaw 源代码检出。
使用 pnpm install --frozen-lockfile 和 pnpm build 构建该
检出,然后启用插件,
并使用以下配置选择其模型。从
检出目录运行命令:
pnpm openclaw onnx models
pnpm openclaw onnx download gliclass-edge-v3.0
pnpm openclaw onnx probe gliclass-edge-v3.0
检出中的同版本源代码插件使用宿主的开发 API。这
并不会使打包插件与已发布的 2026.9.5 宿主兼容。
打包安装¶
在兼容的宿主上,安装本地构建的包并准备一个模型:
openclaw plugins install npm-pack:/path/to/openclaw-onnx.tgz
openclaw onnx models
openclaw onnx download gliclass-edge-v3.0
openclaw onnx probe gliclass-edge-v3.0
配置¶
全局选择角色,或为单个代理选择角色:
{
agents: {
defaults: { decisionModel: "onnx/gliclass-edge-v3.0" },
},
plugins: {
entries: {
onnx: {
enabled: true,
config: { threads: 2, maxLoadedModels: 2 },
},
},
},
}
默认工件目录是 <stateDir>/models/onnx。设置插件的
modelDir 以使用其他目录;download、verify 和 probe 命令也
接受 --model-dir <path>。工件按模型 ID 分组。下载使用固定的
仓库修订版本、大小和 SHA256 哈希。现有不匹配的文件
会被拒绝,而不是被覆盖。openclaw onnx verify <model> 检查一个安装。
验证和缓存下载检查会流式处理文件,因此检查大型
图不需要与图大小相当的内存缓冲区。推理仍会将
已验证的图字节加载到其工作进程中。
模型¶
| 模型 ID | 来源 | 准备 |
|---|---|---|
deberta-v3-base-zeroshot-v2.0 |
Moritz Laurer 的官方 ONNX 导出 | download |
gliclass-base-v3.0 |
Knowledgator 模型,cnmoro ONNX 转换 | download |
gliclass-edge-v3.0 |
Knowledgator 模型,cnmoro ONNX 转换 | download |
gliclass-instruct-base-v1.0 |
Knowledgator 模型 | 本地导出 |
gliclass-instruct-edge-v1.0 |
Knowledgator 模型 | 本地导出 |
gliner2.5-base-v1 |
Fastino 模型,nicolasembleton ONNX 转换 | download |
gliner2.5-small-v1 |
Fastino 模型,nicolasembleton ONNX 转换 | download |
托管预设使用 FP32 图。模型许可证和转换来源 链接自原始 GLiClass、 GLiNER2 和 DeBERTa 模型 页面。下载的权重与 OpenClaw 的包保持分离。
对于 Instruct 模型,请使用已安装插件的 dist/scripts/export-gliclass-instruct.py
辅助脚本,并使用由 --help 列出的固定版本的 Python 包。提供
openclaw onnx models 打印的精确官方检查点修订版本的本地副本:
python export-gliclass-instruct.py --model edge \
--source /path/to/checkpoint \
--output /path/to/models/gliclass-instruct-edge-v1.0
openclaw onnx verify gliclass-instruct-edge-v1.0 --model-dir /path/to/models
该辅助脚本会验证源文件,在不使用远程模型代码或下载的情况下运行,
并创建一个新目录,其中包含图、分词器和 model.json
导出清单。本地导出是操作员提供的工件:运行时检查
其声明的源修订版本和文件哈希。其图哈希不是已发布的
第三方证明。此导出不支持少样本示例部分。
问题语义¶
这些模型根据评分标准对文本进行分类。JSON 状态和评分标准条目 被序列化为文本;指令和标准描述会约束分类。 尽可能使用描述性标准,而不是不透明的 ID。
- Choice: 对模型的完整标签 logits 进行 softmax;概率最高的标签获胜。
- Score: 对有序的标准级别进行分类,然后返回其期望的从零开始索引。
- Boolean: 同时提供
criteria.true和criteria.false作为有意义的谓词 描述。不支持裸布尔问题,因为诸如true和false的标签无法可靠地表达零样本谓词。
概率是模型估计值,而不是经过校准的保证。这些分类器 并非在所有推理任务中都能与 Jev 互换。在依赖其决策质量之前,请在 代表性示例上验证评分标准。
该插件最多支持 32 个问题,每个问题 64 个标签,并且整个批次的编译输入限制为 1 MiB。 每个编码 输入(包括其评分标准)必须适合 512 个 token。它会拒绝不支持的输入 ,而不是截断输入。GLiClass 保留其标签、分隔符和示例 标记。GLiNER2.5 还会拒绝评分标准中模式保留的标记和括号;普通状态文本可以包含标点符号。
生命周期与运行时¶
在插件服务启动期间,最多 maxLoadedModels 个选定模型会预热。后续请求复用原生会话;常驻缓存满时淘汰最近最少使用的模型。文件缺失和工件完整性检查失败仍会保留可用的预热会话。淘汰发生在工件验证和分词器准备之后、加载替换原生会话之前。threads 将 CPU 操作内并行度设置为 1 到 8。
在较慢的机器上,冷加载大型模型可能会耗尽请求的截止时间。宿主最多允许 30 秒;消费者可以请求更短的时间。当代理使用多个模型时,如果内存允许,请设置 maxLoadedModels 以保留活动模型,或选择更小的模型。默认缓存保留两个模型;最大为五个。
宿主仍会执行其 30 秒决策截止时间和四次调用的提供商限制。工作进程串行化原生操作。排队中的取消会保持预热进程完整;取消活动原生工作会先终止并 join 该进程,然后释放请求。下一个实时请求会启动一个全新的工作进程。插件退役会停止工作进程及其拥有的工作。
运行时要求受支持的 Node.js 以及可选的 onnxruntime-node 原生包。CPU 推理是初始后端;此插件未启用 GPU 和 WASM 执行。原生库和模型分词器在工作进程内加载,从而将其排除在 Gateway 发现和常规插件注册之外。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 cl/openclaw