Tập huấn trước

Định nghĩa

Tiền đào tạo là quá trình đào tạo ban đầu của mô hình học máy trên các tập dữ liệu mục đích chung lớn trước khi tinh chỉnh các tác vụ cụ thể.

Mục đích

Mục đích là cung cấp các mô hình có biểu diễn rộng có thể chuyển sang nhiều tác vụ, giảm dữ liệu và yêu cầu tính toán để thích ứng ở hạ lưu.

Tầm quan trọng

• Nền tảng cho chương trình LLM hiện đại và mô hình thị giác.
• Cải thiện hiệu suất trong nhiều tác vụ khác nhau.
• Tốn kém về mặt dữ liệu và tính toán.
• Cần phải quản lý dữ liệu cẩn thận để tránh sai lệch.

Quy trình triển khai

1. Thu thập các tập dữ liệu chung lớn (văn bản, hình ảnh).
2. Xác định nhiệm vụ học tập có giám sát hoặc không có giám sát.
3. Đào tạo các mô hình để tìm hiểu các tính năng chung.
4. Lưu lại các trọng số đã được đào tạo trước để sử dụng lại.
5. Tinh chỉnh trên các tập dữ liệu nhỏ hơn dành riêng cho nhiệm vụ cụ thể.

Ví dụ (Thực tế)

• BERT được đào tạo trước trên Wikipedia và BooksCorpus.
• CLIP được đào tạo trên cặp hình ảnh–văn bản.
• Các mô hình GPT được đào tạo trước trên văn bản internet quy mô lớn.

Tài liệu tham khảo / Đọc thêm

• Devlin và cộng sự. “BERT: Đào tạo trước máy biến áp hai chiều sâu.” NAACL 2019.
• Radford và cộng sự. “Mô hình ngôn ngữ là người học ít lần.” NeurIPS 2020.
• Báo cáo kỹ thuật OpenAI GPT-4.