Оптимизация и ускорение инференса

Делаем большую модель дешёвой и быстрой без потери качества ответов.

• Квантование: GGUF (llama.cpp), AWQ/GPTQ (vLLM), INT8/FP8;
• Прореживание и дистилляция в компактные ученики;
• Speculative decoding, батчинг продолжающихся запросов, оптимизация KV-cache;
• Бенчмарк до/после под вашу нагрузку: токены/с, латентность P95, стоимость на 1M токенов;
• Целевые платформы: от RTX 4090 и ARM SBC (RK3588 NPU) до кластеров Kubernetes.