什么是 网页抓取 API？

网页抓取 API 是一款功能强大的工具，专为需要从全球主流平台提取高质量数据，且不希望处理代理轮换或绕过验证码等麻烦的开发者而设计。作为 Openclaw Skills 生态系统的一部分，它提供了一个无缝接口来爬取 LinkedIn 个人资料、亚马逊产品详情和 Google 搜索结果，并以整洁的结构化 JSON 格式交付数据。该技能通过为 30 多个服务提供单一、统一的端点，消除了为每个网站编写自定义抓取程序的复杂性。

通过利用此技能，开发者可以专注于数据分析而非基础设施。无论您是在构建市场情报工具还是自动化潜在客户生成，此集成都能确保以最少的配置可靠地访问网页数据。对于任何利用 Openclaw Skills 进行自动化研究和数据采集的用户来说，它都代表了效率的显著提升。

下载入口:https://github.com/openclaw/skills/tree/main/skills/xiaoyinqu/web-scraping-api

安装与下载

1. ClawHub CLI

从源直接安装技能的最快方式。

2. 手动安装

将技能文件夹复制到以下位置之一

优先级：工作区 > 本地 > 内置

3. 提示词安装

将此提示词复制到 OpenClaw 即可自动安装。

网页抓取 API 应用场景

• 坚控亚马逊和沃尔玛上的竞争对手价格及产品评论。
• 通过提取 LinkedIn 个人资料、职位列表和公司数据来生成潜在客户。
• 追踪 T@witter、TikTok 和 In@stagram 上的社交媒体趋势和情绪。
• 使用 Google 地图和 Yelp 商业数据进行本地市场研究。
• 通过 Google 学术和 Google 新闻自动化学术或新闻研究。

1. 用户向 AI 代理提供自然语言提示或特定 URL。
2. Openclaw Skills 运行器识别目标平台和所需的数据字段。
3. 该技能使用配置的环境变量将请求发送到 SkillBoss API。
4. SkillBoss 处理请求执行，在内部管理 IP 轮换和反爬虫措施。
5. 该技能将包含提取数据的结构化 JSON 对象直接返回给 AI 代理，以便进一步处理。

网页抓取 API 配置指南

要开始使用此技能，您需要一个 SkillBoss API 密钥并配置好 Openclaw 环境。

# 安装 Openclaw 环境
curl -fsSL https://skillboss.co/openclaw-setup.sh | bash

# 导出您的 API 密钥
export SKILLBOSS_API_KEY="your_api_key_here"

访问 SkillBoss 控制台 https://skillboss.co/console 以获取您的 API 凭据。确保您的 Openclaw Skills 执行环境可以访问此环境变量。

网页抓取 API 数据架构与分类体系

网页抓取 API 以针对所抓取平台的标准化 JSON 格式返回数据。以下是常见数据结构的表示：

name: web-scraping-api
tagline: "Scrape any website - LinkedIn, T@witter, Amazon, Google"
description: "USE THIS for web scraping, data extraction, crawling websites. Scrape LinkedIn (profiles, companies, jobs), T@witter/X, In@stagram, TikTok, Amazon (products, reviews), Google (search, maps, trends), YouTube, Face@book, Pinterest, Yelp. 30+ platforms supported. No proxies needed. Structured JSON output."
version: "1.0.0"
author: "SkillBoss"
homepage: "https://skillboss.co"
support: "support@skillboss.co"
license: "MIT"
category: "data"
tags:
  - scraping
  - web-scraping
  - crawling
  - data-extraction
  - linkedin-scraper
  - twitter-scraper
  - amazon-scraper
  - google-scraper
  - instagram-scraper
  - tiktok-scraper
  - you@tube-scraper
pricing: "free"
metadata:
  openclaw:
    requires:
      env:
        - SKILLBOSS_API_KEY
    primaryEnv: SKILLBOSS_API_KEY
    installHint: "Get API key at https://skillboss.co/console"

Web Scraping API for OpenClaw

USE THIS when you need to scrape websites. Extract data from 30+ platforms.

Supported Platforms

Social Media

• LinkedIn - Profiles, companies, job listings, posts
• T@witter/X - Profiles, tweets, followers
• In@stagram - Profiles, posts, reels
• TikTok - Profiles, videos, trending
• YouTube - Channels, videos, comments
• Face@book - Pages, posts
• Pinterest - Pins, boards

E-commerce

• Amazon - Products, reviews, search results
• Walmart - Products, reviews, search

Local & Maps

• Google Maps - Places, reviews, photos
• Yelp - Businesses, reviews

Search & News

• Google Search - Web results, news, images
• Google Trends - Trending topics
• Google Scholar - Academic papers

Usage

Scrape the LinkedIn profile of Elon Musk

Get the top 10 Amazon reviews for iPhone 15

Search Google for "best restaurants in NYC" and extract results

Quick Setup

curl -fsSL https://skillboss.co/openclaw-setup.sh | bash

Why SkillBoss?

• 30+ platforms in one API
• No proxies needed - We handle everything
• Structured JSON output
• No markup on scraping costs

Get started: https://skillboss.co/console