ModelReady:部署本地和 Hugging Face 模型 - Openclaw Skills
作者:互联网
2026-04-05
什么是 ModelReady?
ModelReady 是一款高性能实用程序,旨在简化从本地存储或 Hugging Face 枢纽部署大语言模型(LLM)的过程。通过利用 vLLM 引擎,它能在数秒内将复杂的模型库转换为可访问的、兼容 OpenAI 的端点,从而允许在您的开发环境中进行即时交互。
作为 Openclaw Skills 的多功能组件,ModelReady 弥合了原始模型文件与交互式聊天界面之间的鸿沟。它允许开发人员保持对模型基础设施的完全控制,同时受益于简化的命令行界面进行管理和测试。
下载入口:https://github.com/openclaw/skills/tree/main/skills/carol-gutianle/modelready
安装与下载
1. ClawHub CLI
从源直接安装技能的最快方式。
npx clawhub@latest install modelready
2. 手动安装
将技能文件夹复制到以下位置之一
全局模式~/.openclaw/skills/
工作区
/skills/
优先级:工作区 > 本地 > 内置
3. 提示词安装
将此提示词复制到 OpenClaw 即可自动安装。
请帮我使用 Clawhub 安装 modelready。如果尚未安装 Clawhub,请先安装(npm i -g clawhub)。
ModelReady 应用场景
- 无需手动设置,即可使用特定的 Hugging Face 模型变体快速构建应用原型。
- 在本地运行敏感或专有模型,以确保数据隐私和安全。
- 实时测试不同的量化级别或张量并行配置,以进行性能调优。
- 将本地模型端点集成到由 Openclaw Skills 驱动的大型自动化工作流中。
- 通过指定本地文件路径或 Hugging Face 仓库 ID 初始化模型服务器。
- 配置张量并行和数据类型等性能参数,以匹配您的硬件。
- 该技能利用 vLLM 在指定端口上托管一个兼容 OpenAI 的 API。
- 直接通过聊天命令与模型交互,或从外部应用程序向本地端点发送请求。
- 任务完成后监控服务器状态或停止进程,以释放系统资源。
ModelReady 配置指南
确保您的系统中安装了 bash 和 curl。要将其添加到您的环境中,请使用 Openclaw Skills 的标准安装命令:
openclaw install modelready
如果您针对的是远程主机,请配置环境变量:
export URL="http://your-server-ip"
ModelReady 数据架构与分类体系
该技能通过一组结构化参数管理模型的执行和连接:
| 参数 | 描述 | 默认值/选项 |
|---|---|---|
| repo | 模型的源路径或 Hugging Face ID。 | 必填 |
| port | 兼容 OpenAI 的 API 服务器的网络端口。 | 必填 |
| tp | 用于多 GPU 扩展的张量并行度。 | 整数 (例如 2, 4) |
| dtype | 权重和激活数据类型。 | 例如 bfloat16, float16 |
| ip | 服务器实例的主机 IP 地址。 | 默认本地主机 |
name: modelready description: Start using a local or Hugging Face model instantly, directly from chat. metadata: {"openclaw":{"requires":{"bins":["bash", "curl"]}, "env": ["URL"]}}
ModelReady
ModelReady lets you start using a local or Hugging Face model immediately, without leaving clawdbot.
It turns a model into a running, OpenAI-compatible endpoint and allows you to chat with it directly from a conversation.
When to use
Use this skill when you want to:
- Quickly start using a local or Hugging Face model
- Chat with a locally running model
- Test or interact with a model directly from chat
Commands
Start a model server
/modelready start repo= port= [tp=] [dtype=]
Examples:
/modelready start repo=Qwen/Qwen2.5-7B-Instruct port=19001
/modelready start repo=/home/user/models/Qwen-2.5 port=8010 tp=4 dtype=bfloat16
Chat with a running model
/modelready chat port= text=""
Example:
/modelready chat port=8010 text="hello"
Check status or stop the server
/modelready status port=
/modelready stop port=
Set default host or port
/modelready set_ip ip=
/modelready set_port port=
Notes
- The model is served locally using vLLM.
- The exposed endpoint follows the OpenAI API format.
- The server must be started before sending chat requests.
相关推荐
专题
+ 收藏
+ 收藏
+ 收藏
+ 收藏
+ 收藏
+ 收藏
最新数据
相关文章
OpenClaw 2.6.2 核心 Skill 推荐 新手快速上手教程
【含最新安装包】OpenClaw 2.6.2 Windows 安装与配置详细教程
重磅接入!GLM-5.7登陆阿里云模型广场,解锁企业AI高效落地新范式
什么是异构算力管理平台?一文讲清核心概念、能力边界与应用价值
(包含安装包)Windows一键部署OpenClaw教程5分钟搭建本地AI智能体
效果广告中点击IP与转化IP不一致?用IP查询怎么做归因分析?
百炼 Coding Plan 是什么?售罄抢不到怎么办?附抢购技巧及平替方案
AI 英语学习 App的开发
阿里云优惠券在哪里领取?一般会通过哪些平台发布优惠券?2026领券入口
OpenClaw本地部署指南
AI精选
