Bộ dữ liệu có sẵn

Định nghĩa

Bộ dữ liệu có sẵn là bộ dữ liệu được thu thập trước và có sẵn công khai hoặc thương mại, có thể được sử dụng trực tiếp để đào tạo hoặc đánh giá các mô hình AI.

Mục đích

Mục đích là đẩy nhanh quá trình nghiên cứu và phát triển bằng cách cung cấp dữ liệu có sẵn mà không tốn kém chi phí thu thập.

Tầm quan trọng

• Tiết kiệm thời gian và tài nguyên cho nhóm AI.
• Cho phép tái tạo và đánh giá chuẩn.
• Có thể thiếu tính cụ thể cho một số nhiệm vụ nhất định.
• Cần kiểm tra sự thiên vị và hạn chế cấp phép.

Quy trình triển khai

1. Xác định tập dữ liệu có liên quan đến nhiệm vụ AI.
2. Xem lại các hạn chế về cấp phép và sử dụng.
3. Tải xuống hoặc mua bộ dữ liệu.
4. Xử lý trước khi cần thiết để đảm bảo khả năng tương thích.
5. Đào tạo hoặc đánh giá các mô hình bằng cách sử dụng tập dữ liệu.

Ví dụ (Thực tế)

• MNIST: tập dữ liệu chữ số viết tay dùng để đánh giá chuẩn.
• ImageNet: tập dữ liệu quy mô lớn dành cho thị giác máy tính.
• Common Crawl: bộ dữ liệu văn bản web mở cho NLP.

Tài liệu tham khảo / Đọc thêm

• Dự án ImageNet.
• Quỹ Common Crawl.
• Kho dữ liệu Kaggle.
• Thị trường dữ liệu AI để đào tạo mô hình ML