Gradient Accumulation Là Gì?
Gradient Accumulation là kỹ thuật cho phép huấn luyện model AI với batch size lớn hơn bộ nhớ GPU cho phép, bằng cách chia nhỏ batch thành nhiều sub-batch và tích lũy gradient trước khi cập nhật trọng số.
Nói đơn giản: thay vì nạp toàn bộ dữ liệu vào GPU cùng lúc (khiến VRAM quá tải), bạn chia nhỏ ra, tính gradient từng phần, rồi cộng dồn lại. Khi đủ số lượng mong muốn, mới thực hiện một bước cập nhật.
Mình hay ví kỹ thuật này như việc mua đồ xếp vào xe đẩy. Bạn không cần khiêng tất cả cùng một lúc, mà chia thành nhiều chuyến, mỗi chuyến thêm vài món. Cuối cùng, tổng số đồ vẫn bằng một chuyến lớn.
Tại Sao Cần Gradient Accumulation?
Trong huấn luyện deep learning, batch size đóng vai trò quan trọng. Batch size càng lớn, gradient càng ổn định, model hội tụ nhanh hơn. Nhưng vấn đề là GPU chỉ có giới hạn VRAM nhất định.
Ví dụ thực tế: bạn muốn train model với batch size 64, nhưng GPU 24GB VRAM chỉ chứa được batch size 16. Nếu cố nhồi 64 sample vào, CUDA out of memory ngay lập tức.
Gradient Accumulation giải quyết bài toán này. Bạn chia batch size 64 thành 4 sub-batch size 16, chạy lần lượt, tích lũy gradient qua 4 bước. Kết quả tương đương với việc chạy batch size 64 trong một lần.
Gradient Accumulation Hoạt Động Như Thế Nào?
Quy trình gồm 4 bước chính:
Bước 1: Chạy forward pass trên sub-batch đầu tiên, tính loss như bình thường.
Bước 2: Thực hiện backward pass để tính gradient, nhưng quan trọng là không cập nhật trọng số. Gradient được lưu lại trong bộ nhớ.
Bước 3: Chạy sub-batch tiếp theo, tính gradient mới và cộng dồn vào gradient trước đó. Lặp lại cho đến khi hết số sub-batch.
Bước 4: Khi đã tích lũy đủ gradient từ tất cả sub-batch, thực hiện một bước optimizer step duy nhất để cập nhật trọng số. Sau đó reset gradient về 0.
Toán học rất đơn giản: gradient cuối cùng là trung bình cộng gradient của tất cả sub-batch. Điều này tương đương với việc chạy toàn bộ batch trong một lần.
Công Thức Gradient Accumulation
Số bước tích lũy (accumulation steps) được tính bằng:
accumulation_steps = desired_batch_size / actual_batch_size
Ví dụ: muốn batch size 64, GPU chỉ chạy được batch size 8, thì accumulation_steps = 64/8 = 8. Mỗi 8 sub-batch, bạn mới cập nhật trọng số một lần.
Quan trọng: cần chia loss cho accumulation_steps trước khi backward, để gradient trung bình thay vì cộng dồn. Nếu không, gradient sẽ bị nhân lên accumulation_steps lần, gây nhiễu quá trình học. Tham khảo thêm về learning rate để hiểu cách điều chỉnh khi thay đổi batch size.
Ưu Điểm Của Gradient Accumulation
Tiết kiệm VRAM: Đây là lợi ích lớn nhất. Bạn có thể train model lớn trên GPU nhỏ mà không cần giảm batch size. Rất hữu ích khi làm việc với model hàng tỷ parameter.
Tăng hiệu quả training: Batch size lớn hơn cho gradient ổn định hơn, giúp model học nhanh và ổn định hơn so với batch size nhỏ.
Không cần đổi hardware: Thay vì mua GPU đắt tiền hơn, bạn tối ưu phần mềm. Đây là cách tiết kiệm thực tế mà nhiều developer Việt Nam đang áp dụng.
Tương thích rộng rãi: Hầu hết framework hiện đại (PyTorch, Hugging Face Transformers, DeepSpeed) đều hỗ trợ gradient accumulation tích hợp sẵn.
Nhược Điểm Cần Biết
Chậm hơn về thời gian thực: Tổng thời gian xử lý không giảm, thậm chí tăng nhẹ do overhead. Bạn vẫn phải xử lý cùng lượng dữ liệu, chỉ là chia nhỏ ra.
BatchNorm không hoạt động chuẩn: Batch Normalization tính thống kê trên batch thực tế, không phải batch logic. Nếu sub-batch quá nhỏ, thống kê sẽ sai lệch. Cần dùng GroupNorm hoặc LayerNorm thay thế.
Gradient stale: Trong distributed training, gradient từ các sub-batch trước được tính trên trọng số cũ. Điều này có thể gây sai lệch nhẹ so với batch size thực sự lớn.
Khi Nào Nên Dùng Gradient Accumulation?
Mình khuyến nghị dùng khi:
Bạn train model lớn (từ vài tỷ parameter trở lên) nhưng GPU có VRAM hạn chế. Fine-tuning LLM trên GPU consumer là trường hợp phổ biến nhất.
Cần batch size lớn để ổn định training, nhưng VRAM không đủ. Thường gặp khi train với sequence length dài hoặc ảnh độ phân giải cao.
Muốn thử nghiệm với batch size khác nhau mà không cần đầu tư hardware mới. Gradient Accumulation cho phép linh hoạt thay đổi effective batch size chỉ qua code.
Cách Cấu Hình Trong PyTorch
Trong PyTorch, bạn kiểm soát thủ công qua optimizer.zero_grad():
Thay vì zero_grad mỗi bước, bạn chỉ gọi nó mỗi accumulation_steps bước. Ở các bước giữa, gradient tự động cộng dồn.
Trong Hugging Face Transformers, đơn giản hơn nhiều: chỉ cần set gradient_accumulation_steps=8 trong TrainingArguments. Framework tự xử lý mọi thứ, bao gồm chia loss cho accumulation steps.
Gradient Accumulation vs Mixed Precision Training
Hai kỹ thuật này thường đi đôi với nhau. Mixed Precision Training giảm VRAM bằng cách dùng dtype thấp hơn (FP16/BF16), còn Gradient Accumulation giảm VRAM bằng cách chia nhỏ batch.
Kết hợp cả hai, bạn có thể train model rất lớn trên GPU khiêm tốn. Ví dụ: train Llama 7B trên GPU 24GB VRAM với batch size 4, accumulation steps 16, mixed precision BF16. Đây là setup phổ biến trong cộng đồng open-source AI.
Lưu Ý Thực Tế
Khi dùng Gradient Accumulation cùng với Gradient Clipping, cần clip gradient sau khi đã tích lũy đủ, không phải mỗi sub-batch. Điều này đảm bảo clip hoạt động trên gradient tổng hợp đúng cách.
Nếu dùng learning rate scheduler, scheduler nên update sau mỗi optimizer step (sau mỗi lần tích lũy hoàn tất), không phải sau mỗi sub-batch.
Cuối cùng, luôn verify effective batch size bằng cách log ra. Sai một chữ số trong accumulation_steps có thể khiến model học sai hoàn toàn.
Kết Luận
Gradient Accumulation là kỹ thuật cơ bản nhưng cực kỳ hữu ích cho ai làm việc với deep learning, đặc biệt khi tài nguyên GPU hạn chế. Hiểu và áp dụng đúng, bạn có thể train model lớn hơn mà không cần tốn tiền nâng cấp hardware.
Trong bối cảnh AI bùng nổ như hiện nay, tối ưu tài nguyên chính là конкурент tranh. Gradient Accumulation là một trong những công cụ đơn giản nhất để bạn làm điều đó.
