تخطَّ إلى المحتوى
TakoAPI
العودة إلى المهارات

mlx-local-inference

بواسطة bendusy

DevOps & Cloud
329التنزيلات وفق ما يذكره clawskills.sh
1النجوم
0المشاهدات
لا إعجاباتسجّل الدخول للإعجاب بهذه المهارة
—لم يُقيَّم بعد
تقييمك

موجز

Full local AI inference stack on Apple Silicon Macs via MLX.

الوصف

ما الذي تفعله هذه المهارة

Runs a full AI inference stack locally on Apple Silicon Macs using the MLX framework. Covers LLM chat (Qwen3-14B, Gemma3-12B), speech-to-text via Whisper and Qwen3-ASR, text embeddings, OCR with PaddleOCR, and text-to-speech. All services expose OpenAI-compatible APIs on localhost.

Eliminates cloud API costs and keeps all data local while exposing the same OpenAI-compatible API format that most AI tooling already supports.

متى تستخدمها

  • Transcribing Cantonese audio without uploading to cloud services
  • Running privacy-sensitive LLM queries entirely on-device
  • Extracting text from scanned documents or images via OCR
  • Building local semantic search with on-device text embeddings
  • Auto-transcribing a folder of meeting recordings in the background

مثال على سير العمل

الإدخال

User asks: Transcribe and clean up the Cantonese meeting recording at ~/Downloads/meeting.m4a

الوكيل
  1. 1

    Copy meeting.m4a into ~/transcribe/ to trigger the daemon

  2. 2

    Daemon detects the file within 15 seconds and sends it to Qwen3-ASR on port 8788

  3. 3

    ASR output is saved as meeting_raw.md with the raw transcript

  4. 4

    Qwen3-14B reads the raw transcript, corrects homophones, adds punctuation, and preserves Cantonese characters

  5. 5

    Corrected file is moved to ~/transcribe/done/meeting_corrected.md

الإخراج

meeting_corrected.md in ~/transcribe/done/ with a clean, punctuated Cantonese transcript

المتطلبات

  • Apple Silicon Mac (M1, M2, M3, or M4)
  • Python packages: mlx, mlx-lm, mlx-audio, mlx-vlm

التثبيت

clawhub install bendusy/mlx-local-inference

شغّل أمر واجهة سطر الأوامر، أو الصق النص في Claude Code أو Cursor أو Codex أو أي وكيل برمجة تستخدمه.

الروابط