AI optimization

AI Optimization là tối ưu hiệu năng mô hình AI: quantization (int8, int4), pruning, distillation, KV cache. Giúp giảm kích thước model và tăng tốc inference mà không mất nhiều độ chính xác.

1 bài viết