Один искра, четыре потока: эксперимент TensorFold с нативным CUDA
DEV · 13.11.2026 · 01:18
Проект TensorFold исследует производительность модели при одновременной обработке нескольких запросов. Тесты показывают, как система справляется с увеличением нагрузки и определяют её…
Оригинал
One Spark, four streams: TensorFold’s native CUDA experiment
A local model feels quick when one person is chatting. What happens when four requests arrive together? Community project TensorFold, maintained by ashhart, has a native CUDA recipe for Spark-X2.6-4B. Its published tests follow that question from a single stream to concurrent serving, then add a longer input. The result is an engineering story about capacity, with clear limits. When the queue grows On an RTX 5090 running Linux, the author reports 191–204 tokens/s for one stream, 375