Contrastive Loss là một hàm mất mát được thiết kế riêng để dạy mô hình cách phân biệt giữa hai mẫu “giống nhau” và “khác nhau”. Thay vì học nhãn phân loại cố định, mô hình học cách tạo ra khoảng cách trong không gian vector:样本 tương tự thì gần nhau, mẫu khác biệt thì xa nhau.
Đây là nền tảng của mọi hệ thống embedding hiện đại, từ tìm kiếm ngữ nghĩa đến nhận diện khuôn mặt.
Contrastive Loss Là Gì?
Contrastive Loss là hàm mất mát đo lường mức độ giống nhau giữa hai đầu vào. Nếu hai mẫu thuộc cùng một nhóm (positive pair), hàm này sẽ phạt mô hình khi đặt chúng quá xa nhau. Nếu hai mẫu thuộc nhóm khác nhau (negative pair), hàm này phạt khi chúng quá gần nhau.
Cách hoạt động rất trực quan. Với mỗi cặp mẫu, mô hình tạo ra vector embedding cho cả hai. Sau đó tính khoảng cách (thường là khoảng cách Euclidean). Contrastive Loss điều chỉnh khoảng cách này sao cho cặp tương tự thì gần, cặp khác biệt thì xa.
Contrastive Loss Hoạt Động Như Thế Nào?
Quy trình gồm 4 bước đơn giản:
Bước 1: Lấy một cặp mẫu đầu vào (anchor và mẫu so sánh).
Bước 2: Mỗi mẫu đi qua mô hình để tạo ra vector embedding.
Bước 3: Tính khoảng cách giữa hai vector.
Bước 4: Áp dụng công thức Contrastive Loss để cập nhật trọng số.
Công thức cơ bản có dạng: Loss = Y * D^2 + (1-Y) * max(margin – D, 0)^2. Trong đó Y = 1 nếu cùng nhóm, Y = 0 nếu khác nhóm. D là khoảng cách giữa hai vector. Margin là ngưỡng tối thiểu cho cặp khác biệt.
InfoNCE Loss Là Gì?
InfoNCE (Noise Contrastive Estimation) là biến thể phổ biến nhất hiện nay. Thay vì so sánh từng cặp, InfoNCE lấy một mẫu anchor, một mẫu positive, và nhiều mẫu negative. Mô hình phải phân biệt mẫu positive khỏi toàn bộ các mẫu negative.
Cách tiếp cận này hiệu quả hơn nhiều vì mô hình thấy nhiều ví dụ âm cùng lúc, học được ranh giới tinh tế hơn. CLIP, SimCLR, và hầu hết các mô hình embedding hiện đại đều dùng InfoNCE hoặc biến thể của nó.
Triplet Loss Khác Gì So Với Contrastive Loss?
Triplet Loss mở rộng ý tưởng bằng cách dùng ba mẫu thay vì hai: anchor, positive (cùng nhóm với anchor), và negative (khác nhóm). Mô hình tối ưu sao cho khoảng cách anchor-positive nhỏ hơn khoảng cách anchor-negative ít nhất một khoảng margin.
Triplet Loss thường tạo ra embedding chất lượng cao hơn vì nó tối ưu trực tiếp thứ tự ưu tiên. Tuy nhiên, việc chọn triplet hiệu quả (hard mining) phức tạp hơn nhiều so với chọn cặp đơn giản.
Ứng Dụng Của Contrastive Loss
Tìm kiếm ngữ nghĩa: Mô hình embedding học đặt câu có ý nghĩa gần nhau trong không gian vector. Khi người dùng tìm kiếm, câu truy vấn và tài liệu liên quan sẽ tự động gần nhau.
Nhận diện hình ảnh: FaceNet dùng Contrastive Loss và Triplet Loss để học đặc trưng khuôn mặt. Hai ảnh của cùng một người sẽ có vector gần giống nhau, bất kể góc chụp hay ánh sáng.
Mô hình đa phương thức: CLIP dùng Contrastive Loss để căn chỉnh hình ảnh và văn bản trong cùng không gian. Khi bạn tìm “con mèo đang ngủ”, CLIP biết ảnh nào khớp vì embedding văn bản và ảnh nằm gần nhau.
Gợi ý sản phẩm: Hệ thống đề xuất dùng contrastive learning để học sở thích người dùng. Sản phẩm tương tự sẽ có embedding gần nhau, giúp gợi ý chính xác hơn.
Contrastive Loss vs Cross-Entropy Loss
Cross-Entropy Loss phân loại mẫu vào các nhãn cố định. Nếu bạn có 1.000 lớp, mỗi mẫu chỉ thuộc 1 lớp. Contrastive Loss không cần nhãn cố định, chỉ cần biết hai mẫu có giống nhau hay không.
Điều này tạo ra sự khác biệt lớn. Cross-Entropy tốt khi bạn phân loại rõ ràng: mèo hay chó. Contrastive Loss tốt khi bạn cần đo lường mức độ giống nhau: câu nào gần nghĩa với câu nào, ảnh nào giống ảnh nào.
Trong thực tế, hai hàm mất mát này thường kết hợp. Mô hình có thể dùng Cross-Entropy cho tác vụ phân loại chính và Contrastive Loss cho tác vụ học biểu diễn.
Supervised Contrastive Loss (SupCon) Là Gì?
SupCon mở rộng Contrastive Loss truyền thống bằng cách tận dụng nhãn thật. Thay vì chỉ một positive pair, SupCon xem tất cả mẫu cùng lớp là positive. Điều này giúp mô hình học biểu diễn tốt hơn đáng kể.
Nghiên cứu của Google năm 2020 chứng minh SupCon vượt trội so với Cross-Entropy trên ImageNet, giảm lỗi phân loại đáng kể. Đây là bước tiến quan trọng trong học biểu diễn có giám sát.
Thách Thức Khi Dùng Contrastive Loss
Chọn negative samples: Nếu negative quá dễ phân biệt, mô hình không học được gì. Nếu quá khó, mô hình bị nhiễu. Cần chiến lược hard negative mining cân bằng.
Số lượng negative: Càng nhiều negative, mô hình học càng tốt. Nhưng điều này tốn bộ nhớ và tính toán. Batch size lớn thường cần thiết.
Collapse vấn đề: Nếu không cẩn thận, tất cả vector có thể bị “sập” về một điểm. Các kỹ thuật như temperature scaling và regularization giúp tránh vấn đề này.
Kết Luận
Contrastive Loss là trái tim của học biểu diễn hiện đại. Không có nó, không có embedding chất lượng, không có tìm kiếm ngữ nghĩa, không có CLIP hay các mô hình đa phương thức. Nắm vững Contrastive Loss là nền tảng để hiểu cách AI học đại diện cho dữ liệu.
