Học tăng cường từ phản hồi của con người (RLHF)

Định nghĩa

Học Tăng cường từ Phản hồi của Con người (RLHF) là một phương pháp giúp các mô hình AI phù hợp với các giá trị của con người bằng cách kết hợp các đánh giá của con người vào quá trình đào tạo. Phương pháp này thường được sử dụng để tinh chỉnh các mô hình ngôn ngữ lớn.

Mục đích

Mục đích là làm cho đầu ra AI an toàn hơn, hữu ích hơn và phù hợp với sở thích của con người. RLHF cải thiện các hệ thống hội thoại bằng cách giảm thiểu các phản hồi có hại, thiên vị hoặc không liên quan.

Tầm quan trọng

• Cung cấp sự giám sát của con người trong quá trình đào tạo AI.
• Cải thiện độ tin cậy của hệ thống AI.
• Tốn nhiều công sức do nhu cầu chú thích của con người.
• Liên quan đến mô hình hóa sở thích và nghiên cứu liên kết.

Quy trình triển khai

1. Thu thập phản hồi của con người bằng cách so sánh kết quả đầu ra của mô hình.
2. Đào tạo mô hình khen thưởng theo sở thích của con người.
3. Sử dụng phương pháp học tăng cường để tinh chỉnh mô hình cơ sở.
4. Đánh giá hiệu suất so với mục tiêu liên kết.
5. Lặp lại với phản hồi bổ sung.

Ví dụ (Thực tế)

• OpenAI ChatGPT: được tinh chỉnh với RLHF để có phản hồi an toàn hơn.
• AI theo Hiến pháp của Anthropic: được hướng dẫn bởi các nguyên tắc thay vì phản hồi trực tiếp.
• InstructGPT: mô hình OpenAI ban đầu thể hiện RLHF.

Tài liệu tham khảo / Đọc thêm

• Christiano và cộng sự. “Học tăng cường sâu từ sở thích của con người.” NeurIPS 2017.
• Bài báo hướng dẫn OpenAI GPT.
• Khung quản lý rủi ro AI của NIST.
• Học tăng cường với phản hồi của con người (RLHF) là gì?