- Thu thập dữ liệu: Quá trình đào tạo của tôi bắt đầu với nhiều loại văn bản trên internet. Tuy nhiên, tôi cần lưu ý rằng mặc dù tôi được đào tạo trên một tập dữ liệu rộng, nhưng tôi không biết chi tiết cụ thể về tài liệu nào là một phần của tập huấn luyện đó hoặc có quyền truy cập vào bất kỳ tài liệu hoặc nguồn cụ thể nào.
- Đào tạo ban đầu (Đào tạo trước): Đây là nơi tôi đã học cách dự đoán từ tiếp theo trong một câu. Tôi đã không bắt đầu biết tiếng Anh hay bất kỳ ngôn ngữ nào khác. Thay vào đó, bằng cách dự đoán từ tiếp theo trong hàng triệu câu, tôi dần dần học được ngữ pháp, sự thật về thế giới và một số khả năng suy luận. Tuy nhiên, điều này cũng có nghĩa là tôi có thể đã học được từ thông tin sai lệch hoặc không chính xác do dữ liệu không được lọc kỹ lưỡng.
- Tinh chỉnh: Sau khóa đào tạo ban đầu, những người sáng tạo của tôi tại OpenAI đã cung cấp thêm hướng dẫn với bộ dữ liệu cụ thể hơn, được tạo ra với sự trợ giúp của người đánh giá. Những người đánh giá này tuân theo các hướng dẫn để xem xét và xếp hạng các kết quả đầu ra có thể có của mô hình đối với một loạt các đầu vào ví dụ. Quá trình tinh chỉnh là một kiểu đối thoại giữa người mẫu và người đánh giá giúp tôi phù hợp hơn với các giá trị của con người.
- Học liên tục: Mặc dù tôi không học hỏi từ các tương tác riêng lẻ vì lý do quyền riêng tư, nhưng OpenAI liên tục làm việc với một nhóm người đánh giá để cung cấp phản hồi và thực hiện các cải tiến lặp đi lặp lại dựa trên các mẫu và thông tin chi tiết rộng hơn.
- Ví dụ trước khi đào tạo: Giả sử chúng ta có câu, "Con mèo ngồi trên __". Trong giai đoạn đào tạo trước, người mẫu như tôi sẽ học cách dự đoán từ tiếp theo trong câu, đó có thể là “thảm” “mái nhà” hoặc “cây”. Điều này được học bằng cách xử lý hàng tỷ câu từ văn bản internet đa dạng, gián tiếp liên quan đến sự tương tác của con người khi con người tạo ra nội dung gốc.
- Tinh chỉnh Ví dụ: Sau giai đoạn tiền đào tạo, mô hình bước vào giai đoạn tinh chỉnh. Đây là cách nó có thể hoạt động:
Người đánh giá con người được giao nhiệm vụ xem xét các đầu ra mô hình có thể có cho đầu vào như “Dịch văn bản tiếng Anh sau sang tiếng Pháp: 'Xin chào, bạn khỏe không?'”. Mô hình có thể tạo ra một số phản hồi như “Bonjour, comment ça va?” hoặc "Chào, bình luận vas-tu?" vân vân.
Người đánh giá đánh giá những câu trả lời này dựa trên các yếu tố như độ chính xác, trôi chảy và phù hợp. Những xếp hạng này giúp mô hình khái quát hóa và đáp ứng các đầu vào tương tự trong tương lai.
Hãy nhớ rằng, các ví dụ được cung cấp ở đây được đơn giản hóa để minh họa quy trình. Việc đào tạo thực tế liên quan đến các thuật toán phức tạp và lượng dữ liệu khổng lồ.
- Dữ liệu đa dạng: Đó không chỉ là về khối lượng dữ liệu mà còn là sự đa dạng. Dữ liệu cần phải đa dạng để bao quát nhiều chủ đề, phong cách và giọng điệu có trong ngôn ngữ loài người.
- Chất lượng dữ liệu: Chất lượng của dữ liệu được sử dụng để đào tạo cũng có thể ảnh hưởng đến hiệu quả học tập của mô hình. Dữ liệu chất lượng tốt hơn có khả năng làm giảm khối lượng cần thiết để đào tạo hiệu quả.
- Kiến trúc mô hình: Kiến trúc của mô hình (như số lớp hoặc tham số trong mạng thần kinh) cũng có thể ảnh hưởng đến lượng dữ liệu cần thiết. Các mô hình lớn hơn, như GPT-3 hoặc GPT-4, thường yêu cầu nhiều dữ liệu hơn các mô hình nhỏ hơn.
- Mục tiêu đào tạo: Loại nhiệm vụ mà mô hình dự định thực hiện có thể ảnh hưởng đến lượng dữ liệu cần thiết. Một mô hình được thiết kế cho một nhiệm vụ cụ thể có thể yêu cầu ít dữ liệu hơn nếu được nhắm mục tiêu tốt, trong khi một mô hình có mục đích chung như GPT-3 hoặc GPT-4, được thiết kế để xử lý nhiều nhiệm vụ, sẽ yêu cầu nhiều dữ liệu hơn để hiểu rõ hơn.
Ví dụ, trong trường hợp của GPT-3, mô hình này có 175 tỷ tham số và được đào tạo trên hàng trăm gigabyte văn bản. Nhưng những con số này không nắm bắt đầy đủ sự phức tạp của quá trình. Các chi tiết cụ thể của quy trình đào tạo, bao gồm lượng dữ liệu chính xác được sử dụng, là các chi tiết độc quyền do OpenAI và các tổ chức tương tự nắm giữ.
- Khởi đầu nhỏ: Đặc biệt đối với các vấn đề đơn giản hoặc nguyên mẫu mô hình ban đầu, một bộ dữ liệu nhỏ hơn có thể là đủ. Ví dụ: nếu bạn đang xây dựng bộ phân loại hình ảnh cơ bản, bạn có thể bắt đầu với vài trăm hoặc hàng nghìn hình ảnh cho mỗi danh mục.
- Xem xét sự phức tạp: Các vấn đề phức tạp hơn thường yêu cầu nhiều dữ liệu hơn. Nếu bạn đang phát triển một mô hình học sâu hoặc làm việc với một vấn đề phức tạp như xử lý ngôn ngữ tự nhiên, bạn có thể cần hàng triệu điểm dữ liệu.
- Chất lượng hơn số lượng: Dữ liệu chất lượng, có liên quan thường có thể có lợi hơn so với một lượng lớn dữ liệu kém chất lượng. Đảm bảo dữ liệu của bạn được làm sạch, chú thích đúng cách và đại diện cho vấn đề mà bạn đang cố gắng giải quyết là rất quan trọng.
- Cân bằng các lớp học của bạn: Đối với các nhiệm vụ học tập có giám sát, hãy đảm bảo có sự cân bằng tốt giữa các ví dụ cho mỗi lớp. Một tập dữ liệu không cân bằng có thể dẫn đến một mô hình hoạt động kém trên các lớp không được đại diện.
- Sử dụng Bộ kiểm tra và xác thực: Một phần tập dữ liệu của bạn nên được dành riêng để xác thực (điều chỉnh các tham số mô hình) và thử nghiệm (đánh giá hiệu suất mô hình). Các phần chia phổ biến có thể là 70% dữ liệu để đào tạo, 15% để xác thực và 15% để kiểm tra, mặc dù các tỷ lệ này có thể khác nhau.
- Thử nghiệm và Lặp lại: Bắt đầu với một lượng dữ liệu ban đầu, đào tạo mô hình của bạn, đánh giá hiệu suất của nó và lặp lại thêm nhiều dữ liệu hơn, điều chỉnh mô hình của bạn hoặc cải thiện chất lượng dữ liệu của bạn dựa trên kết quả.
Hãy nhớ rằng, nhiều dữ liệu hơn thường cải thiện hiệu suất của các mô hình máy học, nhưng chỉ ở một mức độ nào đó. Sau một thời điểm nhất định, việc thu thập thêm dữ liệu có thể tốn nhiều thời gian và chi phí hơn so với giá trị của nó và sẽ có lợi hơn nếu tập trung vào việc cải thiện chất lượng dữ liệu hoặc tinh chỉnh kiến trúc mô hình của bạn.
- Tập huấn trước: Trong giai đoạn này, mô hình tiếp xúc với một lượng lớn dữ liệu văn bản trên internet. Dữ liệu này không được chú thích rõ ràng, nhưng mô hình được đào tạo để dự đoán từ tiếp theo trong câu. Điều này mang lại cho người mẫu hiểu biết chung về ngữ pháp, sự thật về thế giới và một số khả năng suy luận.
- Tinh chỉnh: Sau khi đào tạo trước, mô hình được tinh chỉnh thêm trên tập dữ liệu hẹp hơn được tạo với sự trợ giúp của người đánh giá. Những người đánh giá này tuân theo các hướng dẫn từ OpenAI để xem xét và xếp hạng các đầu ra mô hình có thể có cho một loạt đầu vào. Theo nghĩa này, quy trình tinh chỉnh có thể được coi là một dạng chú thích, trong đó người đánh giá hướng dẫn phản hồi của mô hình, giúp mô hình phù hợp hơn với các giá trị của con người và đảm bảo rằng mô hình tránh được nội dung không phù hợp hoặc không an toàn.
Vì vậy, mặc dù tập dữ liệu ban đầu được sử dụng để đào tạo trước không được chú thích theo nghĩa truyền thống, nhưng quy trình tinh chỉnh bao gồm một dạng chú thích, trong đó người đánh giá hướng dẫn hành vi của mô hình bằng cách xếp hạng các kết quả đầu ra khác nhau.
Tính đúng đắn: Người đánh giá đánh giá xem đầu ra của mô hình có thực sự chính xác hay không.
Ví dụ:
Sự phù hợp: Đầu ra của mô hình được đánh giá về mức độ phù hợp của nó so với đầu vào đã cho.
Ví dụ:
An toàn: Đầu ra được xem xét để đảm bảo chúng không bao gồm các hướng dẫn có hại hoặc ngôn ngữ xúc phạm.
Ví dụ:
Tính đầy đủ: Điều này đánh giá xem phản hồi của mô hình có trả lời đầy đủ truy vấn của người dùng hay không.
Ví dụ:
Lưu loát: Người đánh giá kiểm tra xem đầu ra của mô hình có trôi chảy và mạch lạc về mặt ngôn ngữ hay không.
Ví dụ:
Các danh mục này chỉ là ví dụ. Quá trình tinh chỉnh thực tế bao gồm một hệ thống đánh giá phức tạp hơn và phản hồi liên tục giữa những người đánh giá và nhóm phát triển AI. Mục tiêu của những chú thích này là làm cho các phản hồi của mô hình trở nên hữu ích, an toàn và phù hợp hơn với các giá trị của con người.
OpenAI, tổ chức đứng sau ChatGPT, không tiết lộ công khai số lượng người đánh giá chính xác tham gia vào quá trình tinh chỉnh. Tuy nhiên, với quy mô và độ phức tạp của việc đào tạo một mô hình ngôn ngữ lớn như vậy, có thể nói rằng quá trình này có thể liên quan đến một nhóm đánh giá đáng kể.
Những người đánh giá con người này tuân theo các hướng dẫn do OpenAI cung cấp để xem xét và xếp hạng các đầu ra mô hình khả thi. Đó là một quá trình lặp đi lặp lại liên tục trong đó phản hồi của người đánh giá được sử dụng để cải thiện và tinh chỉnh mô hình theo thời gian. OpenAI duy trì một vòng phản hồi mạnh mẽ với những người đánh giá, bao gồm các cuộc họp hàng tuần để giải quyết các câu hỏi và cung cấp thông tin làm rõ.
- Độ phức tạp của nhiệm vụ: Các tác vụ đơn giản như gắn nhãn hình ảnh hoặc phân loại văn bản sẽ mất ít thời gian hơn cho mỗi tệp PDF, cho phép một trình chú thích duy nhất xử lý nhiều tệp hơn. Mặt khác, các tác vụ phức tạp như trích xuất thực thể chi tiết hoặc phân tích ngữ nghĩa sẽ cần nhiều thời gian hơn cho mỗi tài liệu và do đó cần nhiều người chú thích hơn cho cùng một tập PDF.
- Độ dài và độ phức tạp của các tệp PDF: Một tệp PDF dài hơn hoặc phức tạp hơn sẽ mất nhiều thời gian hơn để chú thích so với một tệp PDF ngắn hơn hoặc đơn giản hơn.
- Yêu cầu chất lượng: Nếu yêu cầu độ chính xác cao, có thể cần phải có nhiều trình chú thích cho mỗi tệp PDF để xác minh chéo các chú thích.
- Hạn chế thời gian: Nếu các chú thích cần được hoàn thành nhanh chóng, thì sẽ cần nhiều người chú thích hơn.
Ví dụ giả định, giả sử một người chú thích có thể chú thích 5 tệp PDF mỗi ngày cho một tác vụ cụ thể và làm việc 5 ngày một tuần. Trong trường hợp này, để chú thích 10,000 tệp PDF, một người chú thích sẽ cần 2000 ngày hoặc khoảng 8 năm.
Tuy nhiên, nếu bạn có một nhóm gồm 20 người chú thích, họ có thể hoàn thành nhiệm vụ trong khoảng 5 tháng (giả sử 20 ngày làm việc mỗi tháng). Với 100 người chú thích, nhiệm vụ tương tự có thể được hoàn thành trong khoảng một tháng.
Hãy nhớ rằng, những con số này hoàn toàn mang tính minh họa và tốc độ chú thích thực tế sẽ phụ thuộc vào các yếu tố được đề cập ở trên. Ngoài ra, việc đào tạo đúng người chú thích và kiểm soát chất lượng nhất quán là rất quan trọng cho sự thành công của bất kỳ dự án chú thích quy mô lớn nào.
