Tokenizer Là Gì?
Tokenizer là công cụ chia văn bản thành các đơn vị nhỏ hơn gọi là token — mỗi token có thể là một từ, một phần của từ, hoặc thậm chí một ký tự. Đây là bước đầu tiên và quan trọng nhất trước khi đưa văn bản vào mô hình AI.
Nói đơn giản hơn: máy tính không hiểu chữ “xin chào” — nó chỉ hiểu số. Tokenizer chính là người dịch chữ thành số, giúp AI có thể xử lý ngôn ngữ con người.
Mình thường ví tokenizer như một người thợ cắt bánh. Thay vì nhai nguyên cả cái bánh lớn (đoạn văn dài), thợ cắt sẽ chia thành từng miếng nhỏ vừa miệng (token). Mỗi mô hình AI có cách cắt khác nhau, tùy vào “kích thước miệng” của mình.
Tokenizer Hoạt Động Như Thế Nào?
Quá trình tokenization diễn ra theo ba bước chính:
Bước 1 — Chia văn bản: Tokenizer nhận đoạn văn bản đầu vào và chia thành các đơn vị nhỏ. Ví dụ câu “tôi yêu AI” có thể bị chia thành [“tôi”, “yêu”, “AI”] hoặc [“t”, “ôi”, “y”, “êu”, “AI”], tùy loại tokenizer.
Bước 2 — Tra cứu từ điển: Mỗi token được tra trong một bảng từ điển (vocabulary) để tìm ID số tương ứng. Token “yêu” có thể có ID là 4521, token “AI” có ID là 9382.
Bước 3 — Trả về chuỗi số: Cuối cùng, câu “tôi yêu AI” trở thành [1234, 4521, 9382] — chính là dạng số mà AI có thể xử lý.
Bạn có thể đọc thêm về Token là gì để hiểu rõ hơn về đơn vị nhỏ nhất này.
Các Loại Tokenizer Phổ Biến
Không phải tokenizer nào cũng giống nhau. Có ba loại chính được dùng trong các mô hình AI hiện nay:
1. BPE (Byte Pair Encoding)
BPE là loại phổ biến nhất, được GPT-4, Claude, và đa số mô hình ngôn ngữ lớn sử dụng. Nguyên lý rất đơn giản: bắt đầu với từng ký tự riêng lẻ, rồi ghép cặp xuất hiện thường xuyên nhất lại với nhau.
Ví dụ: nếu “th” và “an” xuất hiện rất nhiều cùng nhau, BPE sẽ ghép chúng thành một token “than” thay vì tách rời. Cứ vậy cho đến khi không thể ghép thêm.
2. WordPiece
WordPiece tương tự BPE nhưng dùng trong BERT và các mô hình họ Google. Điểm khác biệt là WordPiece chọn cặp ghép dựa trên xác suất thay vì tần suất thuần.
3. SentencePiece
SentencePiece xử lý văn bản ở cấp byte, không phụ thuộc vào ngôn ngữ cụ thể. Điều này đặc biệt hữu ích cho các ngôn ngữ không dùng dấu cách để tách từ — như tiếng Trung, tiếng Nhật, và cả tiếng Việt.
Tại Sao Tokenizer Quan Trọng Trong AI?
Nhiều người nghĩ tokenizer chỉ là bước phụ, nhưng thực tế nó ảnh hưởng trực tiếp đến ba yếu tố then chốt:
Chi phí: Mọi cuộc gọi API đều tính theo token. Nếu tokenizer chia văn bản của bạn thành nhiều token hơn, bạn trả nhiều tiền hơn. Cùng một câu tiếng Anh có thể tốn 5 token, nhưng tiếng Việt có thể tốn 15-20 token.
Chất lượng đầu ra: Tokenizer kém có thể chia sai từ, khiến AI hiểu sai ngữ cảnh. Ví dụ “đang” bị tách thành “đ” và “ang” sẽ mất nghĩa hoàn toàn.
Context window: Số token tối đa mà mô hình xử lý được là cố định. Tokenizer tốt đồng nghĩa với việc bạn nhét được nhiều nội dung hơn vào cùng một context.
Tokenizer Xử Lý Tiếng Việt Ra Sao?
Đây là vấn đề mà mình đặc biệt quan tâm vì viết blog bằng tiếng Việt. Sự thật là: tokenizer của hầu hết mô hình AI xử lý tiếng Việt khá tệ.
Nguyên nhân: đa số tokenizer được train trên dữ liệu tiếng Anh, nơi từ được tách tự nhiên bằng dấu cách. Tiếng Việt là ngôn ngữ đơn lập, từ ngữ được tạo bằng cách ghép âm tiết, và dấu câu thanh điệu khiến mọi thứ phức tạp hơn.
Kết quả là cùng một nội dung, bản tiếng Việt tốn nhiều token gấp 2-3 lần bản tiếng Anh. Điều này giải thích tại sao dùng ChatGPT API cho tiếng Việt đắt hơn nhiều so với tiếng Anh.
Đây cũng là lý do các mô hình như PhoBERT hay ViBERT ra đời — chúng dùng tokenizer được tối ưu riêng cho tiếng Việt, giúp xử lý từ ngữ chính xác và tiết kiệm hơn.
Cách Đếm Token Và Tối Ưu Chi Phí
Nếu bạn dùng API của OpenAI hay Anthropic, việc biết chính xác số token rất quan trọng để kiểm soát chi phí. Có vài cách thực tế:
Dùng tokenizer tool: OpenAI có công cụ tiktoken trên nền web, cho phép dán văn bản vào và đếm token ngay lập tức. Anthropic cũng cung cấp công cụ tương tự cho Claude.
Quy tắc ngón cái: Với tiếng Anh, 1 token xấp xỉ 4 ký tự hoặc 0.75 từ. Với tiếng Việt, con số này cao hơn — khoảng 1 token cho mỗi 2-3 ký tự.
Tối ưu prompt: Thay vì viết dài dòng, rút gọn câu lệnh, dùng tiếng Anh cho prompt kỹ thuật, và chỉ dùng tiếng Việt cho phần nội dung đầu ra. Mình đã áp dụng cách này và giảm được khoảng 40% chi phí API.
Có Nên Tự Build Tokenizer Không?
Câu ngắn: đa số trường hợp là không. Trừ khi bạn train mô hình ngôn ngữ từ đầu cho một ngôn ngữ hoặc lĩnh vực đặc thù, việc dùng tokenizer có sẵn của mô hình là đủ.
Nếu bạn làm việc với tiếng Việt chuyên sâu, có thể cân nhắc dùng SentencePiece hoặc BPE train trên corpus tiếng Việt. Nhưng đó là dự án riêng, cần dữ liệu lớn và kiến thức chuyên sâu về NLP.
Đối với developer dùng API, điều quan trọng nhất là hiểu cách tokenizer hoạt động để ước lượng chi phí và tối ưu prompt — không cần tự build.
Kết Luận
Tokenizer là cầu nối giữa ngôn ngữ con người và thế giới số của AI. Hiểu cách nó hoạt động giúp bạn dùng AI hiệu quả hơn, tối ưu chi phí API, và tránh được những sai lầm phổ biến khi làm việc với văn bản đa ngôn ngữ.
Nếu bạn đang bắt đầu học AI, mình suggest đọc thêm về Embedding và Vector Database — hai khái niệm đi liền với token trong pipeline xử lý ngôn ngữ tự nhiên.
