Bỏ qua tới nội dung
TakoAPI
Quay lại kỹ năng

token-guard

bởi edmonddantesj

AI & LLMs
602Lượt tải do clawskills.sh công bố
1Lượt xem
0 lượt thíchĐăng nhập để thích kỹ năng này
—Chưa có đánh giá
Đánh giá của bạn

Tóm tắt

<!-- 🌌 Aoineco-Verified | S-DNA: AOI-2026-0213-SDNA-TG01 -->.

Mô tả

Kỹ năng này làm gì

Intercepts LLM API requests before they're sent to prevent 429 rate limit errors. Tracks per-model token usage with a sliding window and automatically waits, falls back to another model, or blocks runaway duplicate requests. Works with Gemini, Claude, GPT-4o, and DeepSeek with pre-configured quotas.

Unlike post-hoc retry wrappers, it estimates token count before the call so failed requests never consume quota.

Khi nào nên dùng

  • Processing large PDFs without hitting Gemini's 1M TPM limit
  • Detecting and stopping retry loops that spiral into quota exhaustion
  • Switching to a cheaper model automatically when primary quota runs low
  • Caching repeated prompts to avoid redundant API calls
  • Monitoring token spend across multiple models in a single agent run

Quy trình ví dụ

ĐẦU VÀO

User asks: process this 200-page PDF using Gemini Flash

AGENT
  1. 1

    Call guard.check(prompt_text, model='gemini-3-flash') to estimate token count

  2. 2

    Receive decision.action == 'wait' because usage is above 80% of 1M TPM limit

  3. 3

    Sleep for decision.wait_seconds, then re-check

  4. 4

    Receive decision.action == 'proceed', call the LLM API

  5. 5

    Call guard.record_usage() and guard.cache_response() to update quota tracking

ĐẦU RA

PDF processed without a 429 error; quota state updated for subsequent calls

Cài đặt

clawhub install edmonddantesj/token-guard

Chạy lệnh CLI, hoặc dán prompt vào Claude Code, Cursor, Codex hay coding agent bạn đang dùng.

Liên kết