कंटेंट पर जाएँ
TakoAPI
स्किल्स पर वापस

modelready

carol-gutianle द्वारा

AI & LLMs
1.1kclawskills.sh द्वारा बताए गए डाउनलोड
0व्यूज़
0 लाइकइस स्किल को लाइक करने के लिए साइन इन करें
—अभी तक कोई रेटिंग नहीं
आपकी रेटिंग

संक्षिप्त

Start using a local or Hugging Face model instantly, directly from chat.

विवरण

यह स्किल क्या करती है

ModelReady starts a local or Hugging Face model as an OpenAI-compatible server and lets you chat with it without leaving your conversation. It uses vLLM to serve the model on a port you specify.

Eliminates switching to a terminal to launch vLLM, track the process, and manually curl the endpoint just to send a message.

इसे कब इस्तेमाल करें

  • Testing a freshly downloaded Hugging Face model checkpoint
  • Chatting with a local Qwen or LLaMA model mid-session
  • Running a fine-tuned model on a specific port for a quick demo
  • Checking whether a model server is still up during a long session
  • Switching between two local models by starting them on different ports

उदाहरण वर्कफ़्लो

इनपुट

User asks: start Qwen2.5-7B-Instruct on port 19001 and send it a greeting

एजेंट
  1. 1

    Run /modelready start repo=Qwen/Qwen2.5-7B-Instruct port=19001

  2. 2

    Wait for the vLLM server to initialize and confirm it is ready

  3. 3

    Run /modelready chat port=19001 text="hello"

  4. 4

    Return the model response inline in the conversation

आउटपुट

The model's reply to "hello" displayed in chat

आवश्यकताएँ

  • vLLM installed on the host machine
  • URL environment variable set to the server host address

इंस्टॉलेशन

clawhub install carol-gutianle/modelready

CLI कमांड चलाएँ, या प्रॉम्प्ट को Claude Code, Cursor, Codex या जो भी कोडिंग एजेंट आप इस्तेमाल करते हैं उसमें पेस्ट करें।

लिंक