Горячие эксперты, холодная оперативная память: запуск большого MoE на машине с большим объемом памяти, чем VRAM
DEV · 17.11.2026 · 00:22
Статья обсуждает два бюджета, с которыми сталкиваются локальные развертывания: размер модели и стоимость памяти. Рассматривается, как использование системной DDR может снизить затраты на…
Оригинал
Hot experts, cold RAM: running a big MoE on a machine with more memory than VRAM
Two budgets, and only one of them is expensive Every local deployment spends against two budgets at once: the size of the model and the price of the memory holding it. VRAM is the one people reach for first, and it is the one that costs the most per gigabyte. System DDR is fast, vast and cheap; GPU memory is fast, small and expensive. An inference engine that can put weights in the second place changes the bill. That is what Strata is for. It is forked from llama.cpp and built for memory effi