distillation

Distillation (Model Distillation) là kỹ thuật train mô hình nhỏ từ mô hình lớn, giữ lại phần lớn năng lực nhưng giảm chi phí inference. Phổ biến: distill GPT-4 ra GPT-3.5, Llama từ larger model.

2 bài viết