Tinh chỉnh có giám sát (SFT)

Định nghĩa

Điều chỉnh có giám sát (SFT) là quá trình đào tạo một mô hình được đào tạo trước trên dữ liệu được gắn nhãn cho một nhiệm vụ cụ thể, điều chỉnh toàn bộ hoặc một phần các tham số của nó.

Mục đích

Mục đích là điều chỉnh các mô hình đa năng cho phù hợp với các nhiệm vụ chuyên biệt với độ chính xác được cải thiện.

Tầm quan trọng

• Kỹ thuật cốt lõi trong NLP và nhiệm vụ thị giác.
• Yêu cầu dữ liệu có nhãn chất lượng cao.
• Có nguy cơ quá khớp với các tập dữ liệu nhỏ.
• Thường là dấu hiệu báo trước của RLHF.

Quy trình triển khai

1. Chọn một mô hình được đào tạo trước.
2. Thu thập dữ liệu có nhãn cho nhiệm vụ mục tiêu.
3. Đào tạo mô hình bằng phương pháp học có giám sát.
4. Xác thực trên một tập kiểm tra đã lưu trữ.
5. Triển khai và giám sát hiệu suất.

Ví dụ (Thực tế)

• GPT được tinh chỉnh dựa trên các cuộc trò chuyện về dịch vụ khách hàng.
• BERT được tinh chỉnh để nhận dạng thực thể được đặt tên.
• Máy biến áp thị giác được tinh chỉnh dựa trên phân loại hình ảnh y tế.

Tài liệu tham khảo / Đọc thêm

• Devlin và cộng sự. “BERT: Đào tạo trước máy biến áp hai chiều sâu.” NAACL 2019.
• Tài liệu về bộ phim Hugging Face Transformers.
• Stanford CS224N: NLP với Học sâu.
• SFT là gì? Tại sao nó lại quan trọng?