Epoch Là Gì?
Epoch trong machine learning là một lần mô hình duyệt qua toàn bộ tập dữ liệu huấn luyện. Nếu bạn có 10.000 ảnh và mô hình xem hết tất cả 10.000 ảnh đó một lần, bạn vừa hoàn thành 1 epoch.
Nó giống như một học sinh ôn tập cho kỳ thi. Đọc hết toàn bộ sách giáo khoa một lần là 1 epoch. Đọc lại từ đầu đến cuối lần nữa là epoch thứ hai. Mỗi lần lặp lại, học sinh đó “ghi nhớ” thêm và hiểu sâu hơn — mô hình AI cũng hoạt động y hệt như vậy.
Epoch Khác Gì Với Batch Size Và Iteration?
Ba khái niệm này thường bị nhầm lẫn, nhưng chúng ở ba cấp độ khác nhau:
- Epoch: Số lần mô hình duyệt hết toàn bộ dataset.
- Batch Size: Số mẫu dữ liệu xử lý cùng một lúc trong một lần forward/backward pass.
- Iteration: Số lần mô hình cập nhật trọng số trong một epoch.
Ví dụ: bạn có 10.000 mẫu, batch size = 100. Mỗi epoch sẽ có 100 iterations (10.000 / 100). Nếu train 50 epoch, tổng số lần cập nhật trọng số là 5.000.
Hiểu rõ sự khác biệt này rất quan trọng, vì nó ảnh hưởng trực tiếp đến tốc độ học và chất lượng mô hình.
Tại Sao Cần Nhiều Epoch?
Một epoch thường không đủ để mô hình học tốt. Lý do là vì Gradient Descent cập nhật trọng số từng bước nhỏ một. Một lần duyệt dataset chỉ cho phép mô hình “nhìn qua” dữ liệu, chưa đủ để tối ưu hóa.
Tương tự như việc bạn đọc một cuốn sách kỹ thuật. Lần đầu bạn nắm ý chính. Lần hai bạn hiểu chi tiết. Lần ba bạn kết nối được các chương với nhau. Mỗi epoch, mô hình điều chỉnh trọng số dựa trên Loss Function, giảm dần sai số và cải thiện độ chính xác.
Trong thực tế, các mô hình ngôn ngữ lớn như GPT được train hàng nghìn epoch trên dữ liệu preprocessing, hoặc dùng một epoch duy nhất nhưng trên dataset khổng lồ (hàng nghìn tỷ token).
Bao Nhiêu Epoch Là Đủ?
Không có con số cố định. Nó phụ thuộc vào mô hình, dữ liệu, và bài toán. Nhưng nguyên tắc chung là: đủ để mô hình học được pattern, nhưng không quá nhiều đến mức học cả “nhiễu”.
Quá ít epoch: mô hình underfitting, chưa học đủ, kết quả kém trên cả train và test set.
Quá nhiều epoch: mô hình overfitting, học thuộc lòng dữ liệu huấn luyện nhưng tổng quát kém trên dữ liệu mới.
Thông thường, người ta dùng Early Stopping để tự động dừng khi validation loss bắt đầu tăng — dấu hiệu mô hình đã bắt đầu overfit.
Cách Chọn Số Epoch Phù Hợp
Một số hướng dẫn thực tế:
- Dataset nhỏ (dưới 10.000 mẫu): 50-200 epoch là phổ biến.
- Dataset lớn (hàng triệu mẫu): 1-10 epoch đã đủ, vì mỗi epoch chứa rất nhiều lần cập nhật.
- Transfer learning: 5-20 epoch thường đủ, vì mô hình đã có sẵn kiến thức từ Pretraining.
Mẹo của mình: luôn đặt số epoch cao hơn dự kiến, kết hợp Early Stopping với patience = 5-10. Mô hình sẽ tự dừng khi cần, còn nếu dừng thủ công thì dễ cắt sớm.
Learning Rate Và Epoch Có Liên Quan Gì Không?
Có, và liên quan rất chặt chẽ. Learning Rate quyết định bước nhảy mỗi lần cập nhật, còn epoch quyết định số lần mô hình duyệt dữ liệu. Cả hai cùng xác định tổng “lượng học” của mô hình.
Nếu learning rate cao, mô hình học nhanh nhưng có thể nhảy qua điểm tối ưu. Khi đó cần ít epoch hơn nhưng rủi ro không hội tụ. Nếu learning rate thấp, mô hình học chậm, cần nhiều epoch hơn nhưng ổn định hơn.
Chiến lược phổ biến là learning rate scheduling: bắt đầu với learning rate cao để học nhanh, sau đó giảm dần ở các epoch sau để tinh chỉnh. Kỹ thuật Cosine Annealing hoặc Step Decay được dùng rộng rãi.
Theo Dõi Epoch Bằng Cách Nào?
Trong quá trình train, bạn nên theo dõi hai đường cong: training loss và validation loss qua từng epoch. Vẽ ra biểu đồ (loss curve), bạn sẽ thấy:
- Hai đường cùng giảm: mô hình đang học tốt.
- Train loss giảm nhưng val loss bắt đầu tăng: overfitting đang xảy ra, nên dừng.
- Cả hai không giảm: learning rate có thể quá thấp hoặc mô hình bị kẹt.
TensorBoard, Weights & Biases, hay MLflow đều cung cấp công cụ visualize loss curve theo epoch. Đây là công cụ không thể thiếu khi train mô hình.
Một Số Lưu Ý Thực Tế
1. Shuffle dữ liệu mỗi epoch. Nếu mô hình nhìn dữ liệu theo cùng thứ tự mỗi epoch, nó có thể học thứ tự thay vì nội dung. Shuffle giúp mô hình tổng quát hơn.
2. Epoch quá trình không tuyến tính. Giai đoạn đầu loss giảm nhanh, sau đó chậm dần. Đôi khi loss nhảy lên rồi giảm lại — điều này bình thường, đặc biệt với batch size nhỏ.
3. Số epoch thay đổi theo data augmentation. Nếu dùng Data Augmentation, mỗi epoch mô hình thấy phiên bản dữ liệu khác nhau, nên cần ít epoch hơn để tổng quát.
Kết Luận
Epoch là khái niệm cơ bản nhất trong huấn luyện mô hình machine learning. Nó đo lường số lần mô hình “đọc hết” dữ liệu, và cùng với batch size, learning rate, quyết định chất lượng mô hình cuối cùng. Hiểu epoch là hiểu vòng lặp cơ bản mà mọi mô hình AI — từ CNN phân loại ảnh đến Transformer dịch máy — đều phải trải qua.
Nếu bạn mới bắt đầu, hãy nhớ: đặt epoch cao, bật Early Stopping, và luôn vẽ loss curve. Đó là ba thói quen tốt nhất khi train bất kỳ mô hình nào.
