Mã hóa trong LLM

Định nghĩa

Phân chia văn bản thành các đơn vị nhỏ hơn (token) như từ, từ phụ hoặc ký tự, đóng vai trò là đầu vào cho các mô hình ngôn ngữ.

Mục đích

Mục đích là chuẩn hóa văn bản thành các thành phần dễ quản lý để đào tạo và suy luận trong LLM.

Tầm quan trọng

• Bước tiền xử lý cơ bản trong NLP.
• Tác động đến quy mô và hiệu quả của vốn từ vựng.
• Lựa chọn mã hóa ảnh hưởng đến độ chính xác và hiệu suất.
• Liên quan đến nhúng và đào tạo mô hình.

Quy trình triển khai

1. Xác định sơ đồ mã hóa (từ, từ phụ, ký tự).
2. Áp dụng công cụ phân tích cú pháp vào văn bản đầu vào.
3. Ánh xạ mã thông báo thành ID số.
4. Đưa mã thông báo vào mô hình để xử lý.
5. Chuyển đổi mã thông báo đầu ra trở lại dạng văn bản.

Ví dụ (Thực tế)

• Mã hóa cặp byte (BPE) được sử dụng trong các mô hình GPT.
• WordPiece được sử dụng trong BERT.
• SentencePiece được sử dụng trong NLP đa ngôn ngữ.

Tài liệu tham khảo / Đọc thêm

• Sennrich và cộng sự. “Dịch máy thần kinh của các từ hiếm với các đơn vị từ phụ.” ACL.
• Tài liệu Google SentencePiece.
• Jurafsky & Martin. Xử lý ngôn ngữ và lời nói.