Сколько видеопамяти нужно LLM: считаем веса, KV-кэш и запас на одновременных пользователей
Хабр · 20.11.2026 · 08:23
Вопрос «какая видеокарта нужна под модель N миллиардов параметров» обычно получает ответ «возьмите побольше». Но это можно посчитать на салфетке, и считать нужно не только веса модели:…