Tinh chỉnh

Định nghĩa

Tinh chỉnh là quá trình điều chỉnh mô hình máy học được đào tạo trước cho một nhiệm vụ mới bằng cách sử dụng đào tạo bổ sung trên các tập dữ liệu nhỏ hơn, cụ thể theo từng miền.

Mục đích

Mục đích là tái sử dụng kiến ​​thức từ các mô hình lớn và cải thiện hiệu suất thực hiện các nhiệm vụ chuyên biệt với ít tài nguyên hơn.

Tầm quan trọng

• Giảm chi phí và thời gian đào tạo so với việc xây dựng mô hình từ đầu.
• Cải thiện hiệu suất thực hiện các tác vụ cụ thể theo từng lĩnh vực.
• Có nguy cơ quá khớp nếu dữ liệu đào tạo quá hẹp.
• Liên quan đến việc học chuyển giao.

Quy trình triển khai

1. Chọn một mô hình cơ sở đã được đào tạo trước.
2. Thay thế hoặc điều chỉnh các lớp cụ thể của tác vụ.
3. Đào tạo với dữ liệu được gắn nhãn từ miền mới.
4. Điều chỉnh tốc độ học tập để cân bằng giữa kiến ​​thức cũ và mới.
5. Xác thực và kiểm tra tính khái quát.

Ví dụ (Thực tế)

• BERT được tinh chỉnh để phân tích tình cảm.
• Các mô hình GPT được tinh chỉnh cho chatbot hỗ trợ khách hàng.
• Mô hình thị giác được tinh chỉnh để phân loại hình ảnh y tế.

Tài liệu tham khảo / Đọc thêm

• Howard & Ruder. “Tinh chỉnh Mô hình Ngôn ngữ Phổ quát” (ULMFiT). ACL 2018.
• Tài liệu về bộ phim Hugging Face Transformers.
• Pan & Yang. “Khảo sát về học tập chuyển tiếp.” IEEE TKDE.
• Tinh chỉnh cho các mô hình ngôn ngữ lớn là gì? – Shaip