Thu thập dữ liệu văn bản

Định nghĩa

Thu thập dữ liệu văn bản là quá trình thu thập ngôn ngữ viết từ các nguồn như sách, trang web hoặc nhật ký trò chuyện để sử dụng trong đào tạo AI.

Mục đích

Mục đích là tạo ra các tập đoàn để phát triển NLP và LLM.

Tầm quan trọng

• Cung cấp nguyên liệu thô cho các mô hình ngôn ngữ.
• Nêu ra các vấn đề về bản quyền và cấp phép.
• Sự đa dạng của dữ liệu ảnh hưởng đến tính công bằng và độ chính xác.
• Phải lọc nội dung có hại hoặc không liên quan.

Quy trình triển khai

1. Xác định nguồn văn bản (web, tài liệu, bản ghi chép).
2. Thu thập hoặc trích xuất văn bản khi được phép.
3. Làm sạch và chuẩn hóa nội dung.
4. Lưu trữ siêu dữ liệu để có thể truy xuất nguồn gốc.
5. Sử dụng trong quá trình đào tạo trước hoặc tinh chỉnh.

Ví dụ (Thực tế)

• Thu thập thông tin phổ biến: kho dữ liệu web lớn.
• Wikipedia dumps: tập dữ liệu văn bản có cấu trúc.
• BooksCorpus: được sử dụng để đào tạo BERT.

Tài liệu tham khảo / Đọc thêm

• Quỹ Common Crawl.
• Jurafsky & Martin. Xử lý ngôn ngữ và lời nói.
• ISO/IEC TR 20547-5: Kiến trúc tham chiếu dữ liệu lớn.
• Thu thập dữ liệu văn bản theo trường hợp cụ thể