Khi mới bắt đầu với machine learning, nhiều người nghĩ rằng chỉ cần chọn mô hình tốt rồi cho nó học là xong. Nhưng thực tế, mỗi mô hình đều có những “núm xoay” cần tinh chỉnh mới hoạt động tốt được. Đó chính là hyperparameter — một khái niệm nghe phức tạp nhưng cực kỳ quan trọng.
Hyperparameter Là Gì?
Hyperparameter (siêu tham số) là các cấu hình do người lập trình đặt TRƯỚC khi huấn luyện mô hình, không phải thứ mô hình tự học được từ dữ liệu. Chúng kiểm soát cách mô hình học, bao gồm tốc độ học, độ phức tạp, và nhiều yếu tố khác ảnh hưởng đến kết quả cuối cùng.
Khác biệt rõ nhất: parameter là thứ mô hình tự học trong quá trình train (như weights và bias), còn hyperparameter là thứ BẠN phải đặt trước khi bấm nút train.
Hyperparameter Khác Parameter Như Thế Nào?
Đây là câu hỏi mà rất nhiều người nhầm lẫn. Mình từng cũng rối ở điểm này. Cách đơn giản nhất để phân biệt:
- Parameter: Mô hình tự học từ dữ liệu. Ví dụ — weights trong neural network, hệ số trong linear regression. Bạn không cần đặt tay.
- Hyperparameter: Bạn đặt trước khi train. Ví dụ — learning rate, số layer, batch size. Mô hình không tự biết được.
Nếu ví mô hình như một chiếc xe, thì parameter là vị trí các bánh xe tự xoay theo đường đi, còn hyperparameter là cấu hình động cơ, hệ thống phanh, và độ cứng của lò xo mà bạn đã cài trước khi xuất phát.
Các Hyperparameter Phổ Biến Nhất
Tùy loại mô hình mà hyperparameter sẽ khác. Dưới đây là những cái phổ biến nhất mà mình gặp hầu như mỗi ngày:
Learning rate: Quan trọng nhất trong deep learning. Quyết định bước nhảy khi cập nhật weights. Quá cao thì mô hình nhảy loạn, quá thấp thì học mãi không xong. Mình thường bắt đầu với 0.001 và tinh chỉnh từ đó.
Batch size: Số mẫu dữ liệu xử lý trong một lần cập nhật. Batch size nhỏ (16-32) cho kết quả tốt nhưng chậm, batch size lớn (256-512) train nhanh nhưng có thể kém chính xác.
Số epoch: Số lần lặp qua toàn bộ tập dữ liệu. Quá ít thì underfitting, quá nhiều thì overfitting. Thường kết hợp với Early Stopping để tự động dừng.
Số layer và số neuron: Kiến trúc mạng neural. Layer nhiều hơn = mô hình phức tạp hơn, nhưng cũng dễ overfit và chậm hơn.
Dropout rate: Tỷ lệ neuron bị tắt ngẫu nhiên khi train, giúp chống overfitting. Thường đặt 0.2 đến 0.5.
Regularization strength (L1/L2): Mức độ phạt weights lớn, giúp mô hình tổng quát hóa tốt hơn.
Vì Sao Hyperparameter Quan Trọng?
Cùng một mô hình, cùng một tập dữ liệu, nhưng hai bộ hyperparameter khác nhau có thể cho kết quả chênh lệch 20-30% accuracy. Mình từng thử nghiệm với bài toán phân loại ảnh: đổi learning rate từ 0.01 xuống 0.001, accuracy tăng từ 72% lên 89%. Không đùa đâu.
Hyperparameter ảnh hưởng đến ba yếu tố chính:
- Hiệu suất mô hình: Accuracy, F1 score, hay bất kỳ metric nào đều phụ thuộc vào việc tinh chỉnh đúng.
- Tốc độ huấn luyện: Batch size và learning rate phù hợp có thể rút ngắn thời gian train từ ngày xuống giờ.
- Khả năng tổng quát: Hyperparameter đúng giúp mô hình hoạt động tốt trên dữ liệu chưa thấy, không chỉ trên tập train.
Cách Tìm Hyperparameter Tốt Nhất?
Không có công thức chung cho mọi bài toán. Nhưng có vài phương pháp phổ biến mà cộng đồng ML thường dùng:
Grid Search (tìm kiếm theo lưới): Liệt kê tất cả tổ hợp hyperparameter muốn thử, train từng tổ hợp, rồi chọn cái tốt nhất. Đơn giản nhưng rất chậm nếu có nhiều tham số.
Random Search (tìm kiếm ngẫu nhiên): Thay vì thử mọi tổ hợp, chọn ngẫu nhiên N bộ hyperparameter. Nghiên cứu cho thấy Random Search thường hiệu quả hơn Grid Search với cùng số lần thử, vì nó khám phá đa dạng hơn.
Bayesian Optimization: Xây mô hình xác suất để đoán bộ hyperparameter nào sẽ tốt nhất dựa trên các lần thử trước. Thông minh hơn, nhanh hơn, nhưng phức tạp hơn. Các công cụ như Optuna hay Ray Tune triển khai phương pháp này rất tốt.
Mình khuyên bắt đầu với Random Search nếu mới làm quen. Nó đơn giản, nhanh, và thường cho kết quả khá tốt.
Ví Dụ Code Thực Tế
Đây là cách tinh chỉnh hyperparameter với Optuna — thư viện mà mình dùng nhiều nhất:
import optuna
def objective(trial):
lr = trial.suggest_float('learning_rate', 1e-5, 1e-1, log=True)
batch_size = trial.suggest_categorical('batch_size', [16, 32, 64, 128])
dropout = trial.suggest_float('dropout', 0.1, 0.5)
n_layers = trial.suggest_int('n_layers', 1, 5)
model = build_model(lr, dropout, n_layers)
accuracy = train_and_evaluate(model, batch_size)
return accuracy
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=50)
print(f'Best params: {study.best_params}')
print(f'Best accuracy: {study.best_value}')Chỉ khoảng 15 dòng code, Optuna sẽ tự động tìm bộ hyperparameter tốt nhất trong không gian tìm kiếm mà bạn định nghĩa.
Lỗi Thường Gặp Khi Tinh Chỉnh
Tune trên tập test: Đây là sai lầm nghiêm trọng nhất. Khi bạn dùng tập test để chọn hyperparameter, mô hình sẽ “overfit” trên tập test đó. Luôn tách ra tập validation riêng để tune, giữ tập test cho đánh giá cuối cùng.
Tune tất cả cùng lúc: Thay vì tune 10 hyperparameter cùng lúc (rất tốn thời gian), bắt đầu với learning rate trước, rồi đến batch size, rồi đến các tham số khác. Từng bước một hiệu quả hơn.
Copy paste config từ tutorial: Bộ hyperparameter tốt cho bài toán A chưa chắc tốt cho bài toán B. Mỗi tập dữ liệu, mỗi bài toán đều cần tinh chỉnh riêng.
Best Practices Mình Tóm Lại
Sau nhiều dự án, đây là quy trình mình theo khi tinh chỉnh hyperparameter:
- Bắt đầu với giá trị mặc định của thư viện, không tinh chỉnh gì cả, lấy baseline
- Thay đổi MỘT hyperparameter lần lượt, xem ảnh hưởng của từng cái
- Learning rate luôn là thứ đầu tiên cần tối ưu
- Dùng Random Search hoặc Bayesian Optimization cho lần tìm kiếm toàn diện
- Luôn tune trên tập validation, không bao giờ chạm vào tập test
- Ghi log mọi thử nghiệm — sau này sẽ cần nhìn lại để so sánh
Hyperparameter tuning giống như nêm lại chiếc xe vậy. Bạn không cần hiểu mọi chi tiết kỹ thuật, nhưng cần biết núm nào xoay thế nào để xe chạy ngon nhất. Quen rồi thì nó sẽ thành phản xạ, và kết quả mô hình cải thiện rõ rệt.
