跳转至

Llama Cpp 插件参考

用于 GGUF 聊天和嵌入的托管及外部 llama.cpp 服务器。

分发

  • 软件包:@openclaw/llama-cpp-provider
  • 安装路径:npm 或 ClawHub:clawhub:@openclaw/llama-cpp-provider

接口面

  • 提供商:llama-cpp
  • 契约:embeddingProviders

托管文本模型

在交互式设置期间,OpenClaw 会安装一个固定且经过验证的 llama-server,并根据 Gateway 主机的可用内存、GPU 和磁盘空间推荐一个模型。推荐从符合条件的 8 GiB 主机上的 Qwen3.5 4B(约 2.7 GB)开始,并随着硬件条件提升。有关大小和选择下限,请参阅当前的模型推荐。

若要使用其他模型,请配置 params.modelPath,选择其 llama-cpp/<id> 引用,然后重新运行托管设置。设置会使用该已编写路径,并在需要时提供下载。自定义模型不受推荐内存下限约束。现有缓存的 GGUF 仍受支持;本地内存搜索也可以使用仅嵌入设置。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 cl/openclaw