Запуск Spark-X2.5 1.7B на Rockchip RK3576 и RK3588

DEV · 22.11.2026 · 10:18

В статье рассматриваются показатели времени ожидания первого токена и скорости генерации последующих токенов для моделей Rockchip RK3576 и RK3588.

Читать в источнике

Оригинал

Running Spark-X2.5 1.7B on Rockchip RK3576 and RK3588

How long do you wait for the first token, and how fast do the next ones arrive? Rockchip’s RKNN-LLM v1.3.1 benchmark lists both measurements for Spark-X2.5 1.7B. Board Quantization First token Generation Memory RK3576 W4A16 768.66 ms 13.57 tokens/s 1,028.58 MB RK3588 W8A8 386.23 ms 15.61 tokens/s 1,830.32 MB Rockchip used 128 input tokens and requested 64 new tokens, with the CPU and NPU running at their respective maximum frequencies. The two rows use different quantization form