कंटेंट पर जाएँ
TakoAPI
स्किल्स पर वापस

crawl-for-ai

angusthefuzz द्वारा

Web & Frontend Development
2.4kclawskills.sh द्वारा बताए गए डाउनलोड
5स्टार
0व्यूज़
0 लाइकइस स्किल को लाइक करने के लिए साइन इन करें
—अभी तक कोई रेटिंग नहीं
आपकी रेटिंग

संक्षिप्त

Web scraping using local Crawl4AI instance.

विवरण

यह स्किल क्या करती है

Fetches full web page content using a local Crawl4AI instance with JavaScript rendering. Offers two endpoints: a proxy for clean markdown output and a direct endpoint for structured data including links, HTML, and media. No usage limits since it runs locally.

Runs on a local instance with no rate limits or API costs, and reliably handles dynamic JavaScript content that simpler fetch-based scrapers miss.

इसे कब इस्तेमाल करें

  • Scraping JavaScript-rendered single-page applications
  • Extracting article text from JS-heavy or dynamic news sites
  • Collecting product data from e-commerce pages
  • Archiving web pages with full link and media metadata
  • Pulling content from documentation portals that require JS execution

उदाहरण वर्कफ़्लो

इनपुट

User asks: Get the full content from https://example.com/docs/getting-started

एजेंट
  1. 1

    Identify the target URL from the user request

  2. 2

    Call crawl4ai.js with the URL via the proxy endpoint for clean output

  3. 3

    Receive the page rendered as structured markdown with metadata

  4. 4

    Return the extracted content to the user

आउटपुट

Full page content as clean markdown, including any dynamically loaded text

आवश्यकताएँ

  • Self-hosted Crawl4AI instance running locally or on a server
  • CRAWL4AI_URL environment variable set to the instance URL
  • CRAWL4AI_KEY environment variable if the instance requires authentication

इंस्टॉलेशन

clawhub install angusthefuzz/crawl-for-ai

CLI कमांड चलाएँ, या प्रॉम्प्ट को Claude Code, Cursor, Codex या जो भी कोडिंग एजेंट आप इस्तेमाल करते हैं उसमें पेस्ट करें।

लिंक