什么是 Singleshot 提示词测试与优化？

Singleshot 是一款专为开发者设计的专业工具，用于在生产部署前完善和验证 AI 提示词。它提供有关 Token 消耗、估算成本和响应时间的详细指标，支持 OpenAI、Anthropic 等主要供应商以及通过 Ollama 运行的本地模型。通过将此工具集成到您的 Openclaw Skills 开发流程中，您可以确保代理交互既具成本效益又兼顾性能。

该工具允许使用单次聊天命令或配置文件进行快速实验，使其成为现代 AI 开发生命周期中不可或缺的一部分。无论您的目标是减少开销还是提高系统提示词的准确性，Singleshot 都能提供做出知情决策所需的实证数据。

下载入口:https://github.com/openclaw/skills/tree/main/skills/vincentzhangz/singleshot-prompt-testing

安装与下载

1. ClawHub CLI

从源直接安装技能的最快方式。

2. 手动安装

将技能文件夹复制到以下位置之一

优先级：工作区 > 本地 > 内置

3. 提示词安装

将此提示词复制到 OpenClaw 即可自动安装。

Singleshot 提示词测试与优化 应用场景

• 在 Openclaw Skills 中实施之前测试新提示词。
• 在不同模型版本之间进行 Token 效率的基准测试。
• 比较 OpenAI、Anthropic 和 OpenRouter 之间的模型性能和成本。
• 在生产发布前验证提示词输出和系统指令。
• 使用 Ollama 运行本地提示词测试以节省 API 成本。

1. 通过 Homebrew 或 Cargo 安装 CLI 工具开始测试。
2. 为您选择的 AI 供应商设置环境变量以进行会话身份验证。
3. 使用 -d（详细）和 -r（报告）标志运行聊天命令，为您的提示词生成基准指标。
4. 分析生成的 Markdown 报告，检查具体的 Token 使用情况和估算成本。
5. 迭代提示词或系统指令，并运行对比测试以查看改进情况。
6. 使用 diff 或 grep 等终端工具评估不同配置版本之间的效率提升。

Singleshot 提示词测试与优化 配置指南

# 通过 Homebrew 安装
brew tap vincentzhangz/singleshot
brew install singleshot

# 或通过 Cargo 安装
cargo install singleshot

# 配置用于身份验证的环境变量
export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."

Singleshot 提示词测试与优化 数据架构与分类体系

该技能生成详细的 Markdown 报告，结构化以便于解析和比较 Openclaw Skills 性能。

Singleshot Prompt Testing & Optimization Skill

Description

Prompt cost testing with single shot

Installation

brew tap vincentzhangz/singleshot
brew install singleshot

Or: cargo install singleshot

When to Use

• Testing new prompts before openclaw implementation
• Benchmarking prompt variations for token efficiency
• Comparing model performance and costs
• Validating prompt outputs before production

Core Commands

Always use -d (detail) and -r (report) flags for efficiency analysis:

# Basic test with full metrics
singleshot chat -p "Your prompt" -P openai -d -r report.md

# Test with config file
singleshot chat -l config.md -d -r report.md

# Compare providers
singleshot chat -p "Test" -P openai -m gpt-4o-mini -d -r openai.md
singleshot chat -p "Test" -P anthropic -m claude-sonnet-4-20250514 -d -r anthropic.md

# Batch test variations
for config in *.md; do
  singleshot chat -l "$config" -d -r "report-${config%.md}.md"
done

Report Analysis Workflow

1. Generate Baseline

singleshot chat -p "Your prompt" -P openai -d -r baseline.md
cat baseline.md

2. Optimize & Compare

# Create optimized version, test, and compare
cat > optimized.md << 'EOF'
---provider---
openai
---model---
gpt-4o-mini
---max_tokens---
200
---system---
Expert. Be concise.
---prompt---
Your optimized prompt
EOF

singleshot chat -l optimized.md -d -r optimized-report.md

# Compare metrics
echo "Baseline:" && grep -E "(Tokens|Cost)" baseline.md
echo "Optimized:" && grep -E "(Tokens|Cost)" optimized-report.md

Report Metrics

Reports contain:

## Token Usage
- Input Tokens: 245
- Output Tokens: 180
- Total Tokens: 425

## Cost (estimated)
- Input Cost: $0.00003675
- Output Cost: $0.000108
- Total Cost: $0.00014475

## Timing
- Time to First Token: 0.45s
- Total Time: 1.23s

Optimization Strategies

1. Test with cheaper models first:

   singleshot chat -p "Test" -P openai -m gpt-4o-mini -d -r report.md
   

2. Reduce tokens:

   • Shorten system prompts
   • Use --max-tokens to limit output
   • Add "be concise" to system prompt

3. Test locally (free):

   singleshot chat -p "Test" -P ollama -m llama3.2 -d -r report.md
   

Example: Full Optimization

# Step 1: Baseline (verbose)
singleshot chat r
  -p "How do I write a Rust function to add two numbers?" r
  -s "You are an expert Rust programmer with 10 years experience" r
  -P openai -d -r v1.md

# Step 2: Read metrics
cat v1.md
# Expected: ~130 input tokens, ~400 output tokens

# Step 3: Optimized version
singleshot chat r
  -p "Rust function: add(a: i32, b: i32) -> i32" r
  -s "Rust expert. Code only." r
  -P openai --max-tokens 100 -d -r v2.md

# Step 4: Compare
echo "=== COMPARISON ==="
grep "Total Cost" v1.md v2.md
grep "Total Tokens" v1.md v2.md

Quick Reference

# Test with full details
singleshot chat -p "prompt" -P openai -d -r report.md

# Extract metrics
grep -E "(Input|Output|Total)" report.md

# Compare reports
diff report1.md report2.md

# Vision test
singleshot chat -p "Describe" -i image.jpg -P openai -d -r report.md

# List models
singleshot models -P openai

# Test connection
singleshot ping -P openai

Environment Variables

export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."
export OPENROUTER_API_KEY="sk-or-..."

Best Practices

1. Always use -d for detailed token metrics
2. Always use -r to save reports
3. Always cat reports to analyze metrics
4. Test variations and compare costs
5. Set --max-tokens to control costs
6. Use gpt-4o-mini for testing (cheaper)

Troubleshooting

• No metrics: Ensure -d flag is used
• No report file: Ensure -r flag is used
• High costs: Switch to gpt-4o-mini or Ollama
• Connection issues: Run singleshot ping -P