कंटेंट पर जाएँ
TakoAPI
स्किल्स पर वापस

mlx-local-inference

bendusy द्वारा

DevOps & Cloud
329clawskills.sh द्वारा बताए गए डाउनलोड
1स्टार
0व्यूज़
0 लाइकइस स्किल को लाइक करने के लिए साइन इन करें
—अभी तक कोई रेटिंग नहीं
आपकी रेटिंग

संक्षिप्त

Full local AI inference stack on Apple Silicon Macs via MLX.

विवरण

यह स्किल क्या करती है

Runs a full AI inference stack locally on Apple Silicon Macs using the MLX framework. Covers LLM chat (Qwen3-14B, Gemma3-12B), speech-to-text via Whisper and Qwen3-ASR, text embeddings, OCR with PaddleOCR, and text-to-speech. All services expose OpenAI-compatible APIs on localhost.

Eliminates cloud API costs and keeps all data local while exposing the same OpenAI-compatible API format that most AI tooling already supports.

इसे कब इस्तेमाल करें

  • Transcribing Cantonese audio without uploading to cloud services
  • Running privacy-sensitive LLM queries entirely on-device
  • Extracting text from scanned documents or images via OCR
  • Building local semantic search with on-device text embeddings
  • Auto-transcribing a folder of meeting recordings in the background

उदाहरण वर्कफ़्लो

इनपुट

User asks: Transcribe and clean up the Cantonese meeting recording at ~/Downloads/meeting.m4a

एजेंट
  1. 1

    Copy meeting.m4a into ~/transcribe/ to trigger the daemon

  2. 2

    Daemon detects the file within 15 seconds and sends it to Qwen3-ASR on port 8788

  3. 3

    ASR output is saved as meeting_raw.md with the raw transcript

  4. 4

    Qwen3-14B reads the raw transcript, corrects homophones, adds punctuation, and preserves Cantonese characters

  5. 5

    Corrected file is moved to ~/transcribe/done/meeting_corrected.md

आउटपुट

meeting_corrected.md in ~/transcribe/done/ with a clean, punctuated Cantonese transcript

आवश्यकताएँ

  • Apple Silicon Mac (M1, M2, M3, or M4)
  • Python packages: mlx, mlx-lm, mlx-audio, mlx-vlm

इंस्टॉलेशन

clawhub install bendusy/mlx-local-inference

CLI कमांड चलाएँ, या प्रॉम्प्ट को Claude Code, Cursor, Codex या जो भी कोडिंग एजेंट आप इस्तेमाल करते हैं उसमें पेस्ट करें।

लिंक