Local AI Run

本機跑 AI,零外網依賴

雙擊安裝,提供 OpenAI 相容 API 給任意專案接入。圖文分析 / 文字向量 / 語音辨識三服務開箱即用。

選擇你的平台

macOS(Apple Silicon)

v1.0.0

M1 / M2 / M3 / M4,內建 Metal GPU 加速

5.83 GB
立即下載

Windows(AMD64)

v1.0.0

建議搭配 NVIDIA GPU(CUDA)

5.69 GB
立即下載

三服務一鍵開通

🖼️

圖文分析(VLM)

Gemma 4 E4B Q4_K_M,描述圖片、文字生成、多模態問答。Endpoint::8080/v1/chat/completions

🔢

文字向量(Embedding)

BGE-base-zh,768 維中文向量,語意搜尋與相似度比對。Endpoint::8081/v1/embeddings

🎙️

語音辨識(STT)

Whisper large-v3-turbo,多語逐字稿,M4 Max 實測 8x 即時。Endpoint::8082/inference

系統需求

macOS(Apple Silicon) Windows(AMD64)
處理器Apple Silicon M1+AMD64 / Intel x64
記憶體16 GB+(建議 32 GB)
顯示卡內建 Metal(自動加速)建議 NVIDIA GPU 8GB+
磁碟8 GB(模型約 6.3 GB)
作業系統macOS 12+Windows 10 / 11

🔒 安全

所有服務僅綁 127.0.0.1,無外網依賴、零雲端成本,完全在本機推理。Client 與服務必須在同台機器。