Dữ liệu RLHF và phản hồi từ các chuyên gia trong lĩnh vực.

Học tăng cường từ phản hồi của con người là gì?

Học tăng cường từ phản hồi của con người (RLHF) là một phương pháp huấn luyện giúp điều chỉnh mô hình ngôn ngữ sao cho phù hợp với sở thích của con người. Thay vì chỉ học từ văn bản ví dụ, mô hình học từ việc con người so sánh kết quả đầu ra của nó: con người xếp hạng hoặc lựa chọn giữa các phản hồi ứng cử viên, một mô hình phần thưởng được huấn luyện để dự đoán những sở thích đó, và sau đó mô hình ngôn ngữ được tối ưu hóa để tạo ra các phản hồi mà mô hình phần thưởng đánh giá cao.

Chất lượng của kết quả phụ thuộc gần như hoàn toàn vào chất lượng dữ liệu về sở thích của con người. Shaip cung cấp dữ liệu đó: xếp hạng sở thích, so sánh từng cặp, phản hồi đã được sửa chữa và lý do bằng văn bản, được tạo ra bởi các chuyên gia trong lĩnh vực và người bản ngữ, được cung cấp theo định dạng được sử dụng bởi PPO, DPO và các phương pháp căn chỉnh liên quan.