【OpenClaw 手册】06 本地運行:打造私有 AI

OpenClaw 的 AI 模型的選擇(三):本地運行打造私有 AI

前言

前兩章我們介紹了 OAuth 和 API Key 兩種連接方式,都是把您的資料送到別人的伺服器處理。

這一章要介紹的是第三種方式:本地運行。如果您非常注重隱私,想要完全掌控自己的資料,本地運行是最佳選擇。


什麼是本地運行?

生活比喻:把助理請到家裡上班

本地運行 就像是您直接把這位虛擬助理請到家裡,讓他在您家的電腦上工作。所有資料都不會離開您的設備,隱私度最高。

實際運作方式

您需要使用專門的「本地模型服務軟體」,讓您的電腦可以跑 AI 模型。


常見的本地模型軟體

軟體特點適合作業系統
**Ollama**最受歡迎、設定簡單Mac / Windows / Linux
**LM Studio**介面美觀、易上手Mac / Windows
**llama.cpp**輕量化、資源效率高Linux 為主
**Jan**乾淨介面、本地優先Mac / Windows / Linux

本地運行的費用結構

本地運行最大的特點是:沒有雲端費用,但需要投資自己的硬體。

硬體需求

硬體建議規格參考價格(台幣)備註
顯示卡 (GPU)8GB+ VRAMNT$8,000-30,000RTX 3060 起,RTX 4070 更佳
顯示卡 (GPU)12-24GB VRAMNT$20,000-60,000RTX 4070 Ti, 4080, 4090
記憶體 (RAM)16GB+NT$1,500-4,000建議 32GB 體驗更佳
儲存空間 (SSD)額外 20GB+NT$500-2,000模型檔案約 5-20GB

專用 AI 迷你電腦

產品規格參考價格(台幣)
Mac Mini (M3 Pro)18GB RAM, 統一記憶體NT$45,000 起
NVIDIA Jetson Orin嵌入式 AI 運算NT$20,000-50,000
Intel NUC迷你主機(需外接 GPU)NT$5,000-30,000

其他成本

項目說明成本
**電費**顯示卡運行時耗電視使用強度,每月 NT$200-1,500

總持有成本預估(3 年)

方案初期投資每月電費3 年總成本
現有電腦湓用NT$0NT$300NT$10,800
自行組裝/升級(RTX 3060 等級)NT$15,000NT$400NT$28,800
Mac Mini M3 ProNT$45,000NT$200NT$52,200

💡 如果使用量很大(每天超過 100 次對話),本地運行可能在 1-2 年內比雲端付費更劃算。


常見的本地模型

  • **Llama 3 / 3.1** — Meta 開源模型,表現優異
  • **Mistral** — 歐洲團隊開發,效率高
  • **Qwen** — 阿里巴巴開源,中文支援佳
  • **Phi-3** — Microsoft 開發,輕量快速

本地運行的優點

  • ✅ **完全隱私:** 所有資料都在本地處理,不會上傳到任何地方
  • ✅ **離線可用:** 不需要網路也能使用
  • ✅ **無用量限制:** 想用多久就用多久,不會被收費
  • ✅ **長期成本低:** 雖然初期需要投資,但長期可能比訂閱更省

本地運行的缺點

  • ❌ **需要硬體:** 沒有高階顯示卡就跑不動
  • ❌ **需要設定:** 對新手來說有一定難度
  • ❌ **模型能力較弱:** 同等級下,本地模型的表現通常比不上付費的雲端模型

本地運行適合誰?

如果您非常注重隱私、已有適合的硬體、喜歡自己掌控一切,且不介意研究技術細節,本地運行是最佳選擇。


結語

本地運行 需要一次性硬體投資,但長期看起來可能更省,而且隱私度最高。適合願意折騰一下、追求完全掌控的使用者!🙂

留言