Data Parallelism Là Gì?
Data Parallelism (song song dữ liệu) là kỹ thuật huấn luyện AI khi bạn chia nhỏ tập dữ liệu thành nhiều phần, gửi từng phần cho một GPU riêng biệt cùng xử lý, rồi gộp kết quả lại. Nghĩa là thay vì một GPU phải ăn hết toàn bộ dữ liệu, bạn dùng nhiều GPU cùng lúc, mỗi cái xử lý một mảng.
Khác với Tensor Parallelism chia mô hình thành các mảnh, Data Parallelism giữ nguyên mô hình trên mỗi GPU nhưng chia dữ liệu ra. Mỗi GPU có một bản sao đầy đủ của model, nhưng chỉ huấn luyện trên tập dữ liệu nhỏ hơn.
Data Parallelism Hoạt Động Như Thế Nào?
Quá trình này diễn ra theo 4 bước khá đơn giản:
- Chia dữ liệu: Tập dữ liệu huấn luyện được chia thành các mini-batch nhỏ, mỗi GPU nhận một batch riêng.
- Tính toán gradient: Mỗi GPU tính gradient (đạo hàm) trên batch của mình một cách độc lập.
- Đồng bộ gradient: Các GPU trao đổi gradient với nhau thông qua thao tác All-Reduce để tính giá trị trung bình.
- Cập nhật trọng số: Tất cả GPU dùng gradient trung bình để cập nhật trọng số, đảm bảo mọi bản sao đều giống nhau.
Vòng lặp này lặp đi lặp lại cho đến khi mô hình hội tụ. Điểm mấu chốt là bước đồng bộ gradient — nếu không có bước này, các GPU sẽ học theo những hướng khác nhau và mô hình sẽ bị lỗi.
Vì Sao Data Parallelism Quan Trọng?
Khi bạn huấn luyện một model lớn như GPT hay Llama, một GPU đơn lẻ có thể mất hàng tháng, thậm chí hàng năm. Data Parallelism giúp rút ngắn thời gian này xuống còn vài tuần hoặc vài ngày.
Ví dụ thực tế: nếu bạn có 8 GPU A100, mỗi GPU xử lý một phần dữ liệu, tốc độ huấn luyện có thể tăng gần 8 lần (không hoàn hảo 8x vì có overhead giao tiếp giữa GPU). Đó là lý do mọi lab AI lớn đều đầu tư hàng nghìn GPU.
Không có Data Parallelism, những model ngôn ngữ lớn mà mình dùng hàng ngày như ChatGPT hay Claude sẽ không thể tồn tại. Huấn luyện trên một GPU sẽ mất hàng chục năm.
Data Parallelism Khác Gì Với Pipeline Parallelism?
Nhiều người hay nhầm hai khái niệm này. Pipeline Parallelism chia mô hình theo chiều dọc — GPU thứ nhất xử lý lớp 1-10, GPU thứ hai xử lý lớp 11-20, v.v. Dữ liệu chảy qua các GPU như trên băng chuyền.
Trong khi đó, Data Parallelism chia theo chiều ngang — mỗi GPU có toàn bộ mô hình nhưng xử lý dữ liệu khác nhau. Cách này đơn giản hơn để triển khai, nhưng gặp hạn chế khi mô hình quá lớn so với bộ nhớ GPU.
Thực tế, các hệ thống lớn thường kết hợp cả hai, gọi là 3D Parallelism — Data Parallelism + Pipeline Parallelism + Tensor Parallelism cùng lúc.
Ưu Điểm Của Data Parallelism
Dễ triển khai: Đây là hình thức song song đơn giản nhất. Framework như PyTorch DDP (DistributedDataParallel) hỗ trợ sẵn, chỉ cần vài dòng code cấu hình.
Tăng tốc rõ ràng: Với N GPU, tốc độ huấn luyện tăng gần tuyến tính (khoảng 0.8-0.9x N). Không hoàn hảo nhưng rất đáng giá.
Không cần sửa kiến trúc mô hình: Bạn không cần thay đổi cách mô hình hoạt động, chỉ cần chia dữ liệu. Điều này khác biệt so với Tensor Parallelism cần sửa code khá nhiều.
Nhược Điểm Cần Biết
Bộ nhớ GPU bị lãng phí: Mỗi GPU lưu một bản sao đầy đủ của mô hình, optimizer state, và gradient. Nếu mô hình nặng 70 tỷ tham số, mỗi GPU cần khoảng 140GB RAM chỉ để chứa bản sao.
Overhead giao tiếp: Bước All-Reduce bắt buộc các GPU phải chờ nhau. Khi số GPU tăng lên hàng nghìn, thời gian giao tiếp có thể chiếm 20-30% tổng thời gian huấn luyện.
Batch size giới hạn: Tổng batch size = batch size mỗi GPU x số GPU. Khi tăng quá lớn, chất lượng mô hình có thể giảm do gradient trở nên “trung bình” quá.
ZeRO — Phiên Bản Cải Tiến Của Data Parallelism
Để giải quyết vấn đề lãng phí bộ nhớ, Microsoft phát triển ZeRO (Zero Redundancy Optimizer). Thay vì mỗi GPU lưu bản sao đầy đủ, ZeRO chia các trạng thái optimizer, gradient, và tham số ra cho các GPU khác nhau.
ZeRO có 3 cấp độ:
- ZeRO-1: Chia optimizer state — tiết kiệm bộ nhớ 4x.
- ZeRO-2: Chia thêm gradient — tiết kiệm bộ nhớ 8x.
- ZeRO-3: Chia luôn tham số mô hình — tiết kiệm bộ nhớ N lần (N = số GPU).
Với ZeRO-3, bạn có thể huấn luyện mô hình 70 tỷ tham số trên 8 GPU A100 80GB — điều không thể với Data Parallelism truyền thống.
Khi Nào Nên Dùng Data Parallelism?
Mình khuyên dùng Data Parallelism khi:
- Mô hình vừa đủ bộ nhớ GPU (dưới 10-15 tỷ tham số với GPU 80GB).
- Bạn cần tốc độ huấn luyện nhanh hơn nhưng không muốn sửa code nhiều.
- Tập dữ liệu lớn, cần xử lý nhanh.
- Mới bắt đầu với huấn luyện phân tán.
Nếu mô hình quá lớn so với một GPU, hãy chuyển sang FSDP (Fully Sharded Data Parallel) hoặc kết hợp nhiều chiến lược song song.
Kết Luận
Data Parallelism là nền tảng của huấn luyện AI phân tán. Khái niệm đơn giản: chia dữ liệu, xử lý song song, gộp kết quả. Nhưng hiệu quả lại rất lớn — không có nó, AI hiện đại sẽ không tồn tại.
Nếu bạn đang tìm hiểu về huấn luyện mô hình, Data Parallelism là khái niệm đầu tiên cần nắm. Từ đó, bạn có thể mở rộng sang Pipeline Parallelism, Tensor Parallelism, hoặc các chiến lược lai phức tạp hơn.
