lượng tử hóa

Lượng tử hóa (Quantization) trong AI là kỹ thuật giảm độ chính xác của trọng số mô hình (ví dụ từ FP16 sang INT8) để giảm bộ nhớ và tăng tốc độ suy luận, với đánh đổi tối thiểu về hiệu suất.

1 bài viết