Scale-to-zero для LLM: на что уходят 294 секунды после первого запроса
Хабр · 06.11.2026 · 11:12
Когда запросы к LLM приходят лишь несколько раз в день, GPU большую часть времени простаивает, но платить за ноду приходится круглосуточно. Хочется освобождать карту между запросами:…