Định nghĩa
Thu thập dữ liệu AI là quá trình thu thập dữ liệu thô—văn bản, âm thanh, hình ảnh, video hoặc bản ghi có cấu trúc—được sử dụng để đào tạo, xác thực và kiểm tra các mô hình học máy. Quá trình này đảm bảo rằng các mô hình có các ví dụ đại diện cho vấn đề thực tế.
Mục đích
Mục đích là xây dựng các tập dữ liệu cho phép thuật toán học các mẫu một cách hiệu quả. Việc thu thập dữ liệu đáng tin cậy giúp giảm độ lệch và cải thiện độ chính xác của mô hình trên các môi trường và quần thể khác nhau.
Tầm quan trọng
- Chất lượng dữ liệu thu thập được ảnh hưởng trực tiếp đến kết quả của mô hình.
- Việc thu thập kém có thể dẫn đến các mô hình bị sai lệch hoặc không sử dụng được.
- Các nguồn đa dạng giúp cải thiện khả năng khái quát hóa và giảm sự bất công.
- Phải tuân thủ các tiêu chuẩn đạo đức và pháp lý (ví dụ: GDPR, HIPAA).
Quy trình triển khai
- Xác định loại dữ liệu cần thiết dựa trên mục tiêu của dự án.
- Xác định các nguồn (cảm biến, API, khảo sát, bản ghi, v.v.).
- Thu thập dữ liệu với sự đồng ý và bảo vệ quyền riêng tư phù hợp.
- Lưu trữ dữ liệu bằng siêu dữ liệu để theo dõi và hiểu bối cảnh.
- Chuẩn bị dữ liệu để chú thích, làm sạch hoặc đào tạo sau này.
Ví dụ (Thực tế)
- ImageNet: bộ dữ liệu hình ảnh quy mô lớn dành cho nghiên cứu thị giác máy tính.
- Google Street View: dữ liệu được thu thập cho bản đồ và AI trực quan.
- Mozilla Common Voice: bộ dữ liệu mở về các bản ghi âm giọng nói cho ASR.
Tài liệu tham khảo / Đọc thêm
- Bảng dữ liệu cho Bộ dữ liệu — Gebru et al., ACM FAccT.
- Chuẩn bị dữ liệu cho hệ thống AI — NIST.
- ISO/IEC TR 20547-5: Kiến trúc tham chiếu dữ liệu lớn — ISO.
