什么是 Lobster Crawler？

Lobster Crawler 是一款专为需要从 Webnovel 和 ReelShorts 提取结构化数据的开发人员和内容策划者设计的专业自动化工具。作为 Openclaw Skills 生态系统的一部分，它通过 curl_cffi 利用先进的 TLS 指纹识别技术绕过反爬虫机制，而无需无头浏览器的开销。这确保了跟踪网络小说和短剧的工作流程轻量、高效且可靠。

该技能提供了一个强大的内容管理框架，允许用户将发现的内容分类为高、中、低等级。通过直接与钉钉集成并支持 RSS 生成，它将原始网页数据转换为可操作的通知和提要，使其成为媒体监控和自动化内容聚合的重要工具。

下载入口:https://github.com/openclaw/skills/tree/main/skills/7487/lp-lobster-crawler

安装与下载

1. ClawHub CLI

从源直接安装技能的最快方式。

2. 手动安装

将技能文件夹复制到以下位置之一

优先级：工作区 > 本地 > 内置

3. 提示词安装

将此提示词复制到 OpenClaw 即可自动安装。

Lobster Crawler 应用场景

• 自动跟踪并从 Webnovel 下载最新章节。
• 监控 ReelShorts 的新短剧发布和元数据。
• 根据质量等级对创意内容进行分类以供编辑审核。
• 通过钉钉 webhook 将爬取结果同步到团队沟通渠道。
• 创建自定义 RSS 提要，将网络小说更新集成到个人新闻阅读器中。

1. 使用 uv 包管理器设置本地 Python 环境，以高效处理依赖关系。
2. 配置必要的环境变量，特别是用于自动警报的钉钉 webhook。
3. 使用命令行界面对 webnovel 或 reelshorts 执行有针对性的爬取。
4. 分析系统状态以查看数据库统计信息，包括作品数量和章节总数。
5. 对提取的内容进行评分，并将结果广播到外部平台或生成结构化的 RSS 文件。

Lobster Crawler 配置指南

要开始使用此技能，请导航至技能路径并初始化 Python 环境：

cd {{skillPath}}
uv venv .venv
uv pip install -r requirements.txt

确保您的系统上安装了 uv 工具。在运行广播命令之前，请配置您的环境变量：

export DINGTALK_WEBHOOK="your_webhook_url"

所有后续命令都应通过 uv run 执行，以保持环境一致性。

Lobster Crawler 数据架构与分类体系

Lobster Crawler 将数据以结构化格式组织在其内部数据库中。下表描述了跟踪的主要数据点：

状态报告提供跨这些维度的实时计数，以确保 Openclaw Skills 内部的数据完整性。

name: lp-lobster-crawler
description: 定向抓取 Webnovel/ReelShorts 等站点的书籍/短剧内容，支持内容分级与钉钉播报。
version: 0.7.0
metadata:
  openclaw:
    emoji: "??"
    os: ["darwin", "linux"]
    requires:
      anyBins:
        - uv
      env:
        - DINGTALK_WEBHOOK
    primaryEnv: DINGTALK_WEBHOOK
    install:
      - kind: uv
        package: "curl_cffi"
        bins: ["uv"]

龙虾爬虫技能

定向抓取 Webnovel 小说和 ReelShorts 短剧的结构化内容，支持增量更新、内容分级（高/中/低）和钉钉机器人播报。

环境初始化

首次使用前，在技能目录下初始化 Python 环境：

cd {{skillPath}}
uv venv .venv
uv pip install -r requirements.txt

不需要安装浏览器。反爬通过 curl_cffi TLS 指纹伪装实现，纯 Python 库，无系统依赖。

后续所有命令都通过 uv run 执行，它会自动激活 .venv 虚拟环境。

触发条件

当用户消息包含以下意图时激活此技能：

• 抓取/爬取小说、短剧、webnovel、reelshorts 内容
• 查看爬虫状态、已抓取作品列表
• 播报抓取结果到钉钉
• 生成 RSS 订阅源
• 管理定时抓取任务

命令

所有命令必须在技能目录下执行。先 cd {{skillPath}}，再运行命令。

抓取内容

uv run python -m src.cli crawl 

• spider_name 可选值：webnovel（小说）、reelshorts（短剧）
• 支持传递爬虫参数：uv run python -m src.cli crawl webnovel -a max_pages=5

列出已抓取作品

uv run python -m src.cli list [--site ] [--grade ] [--limit ]

• --site：按站点过滤（webnovel / reelshorts）
• --grade：按分级过滤（high / medium / low）
• --limit：显示数量，默认 20

查看系统状态

uv run python -m src.cli status

返回数据库统计（作品数、章节数、剧集数）和各分级数量。

播报到钉钉

uv run python -m src.cli broadcast [--site ] [--grade ] [--title