Сколько видеопамяти нужно LLM: считаем веса, KV-кэш и запас на одновременных пользователей

Хабр · 20.11.2026 · 08:23

Вопрос «какая видеокарта нужна под модель N миллиардов параметров» обычно получает ответ «возьмите побольше». Но это можно посчитать на салфетке, и считать нужно не только веса модели:…

Читать в источнике