Лучшие небольшие LLM для локального выполнения: полное руководство
DEV · 17.11.2026 · 00:20
Выбор небольших моделей зависит от ваших рабочих требований. Рассматриваются различные модели, подходящие для тестирования на вашем компьютере.
Оригинал
在本機執行的最佳小型 LLM:完整指南
依實際工作需求選擇小型模型 先選擇支援你所需輸入類型的模型。可以試用 Qwen3 4B 作為小型文字基準模型;如果也需要圖片輸入,可以試用 Gemma 3 4B;若要測試數學或結構化任務,可以把 Phi-4-mini 當作第二個文字基準模型。這些都是適合在自己的電腦上測試的候選模型。它們的相對品質取決於你的提示詞、語言和驗收標準。 估算可用記憶體 40 億個參數,每個精確使用 4 位元,光儲存原始權重就需要約 2 GB。檔案可能更大,而載入後的模型還需要空間供執行時緩衝區及鍵值快取使用。請為作業系統和推論期間同時執行的其他工作保留記憶體。即使下載的權重不變,更長的上下文仍需要更多記憶體。Ollama 上下文長度文件 為了讓比較可以重現,先用相同提示詞搭配較短的上下文測試,例如 2,048 個 token,接著再使用工作實際需要的上下文長度。除了延遲,也要記錄是否使用交換空間或將部分運算轉移至 CPU。模型在第一種設定下能放進記憶體,並不表示在第二種設定下也能放得下。 使用 Ollama 進行初次比較 ollama run qw