Dữ liệu đào tạo về AI

Định nghĩa

Dữ liệu đào tạo AI là tập dữ liệu được gắn nhãn, dùng để dạy các mô hình học máy cách nhận dạng các mẫu hình và đưa ra dự đoán. Nó đại diện cho "sự thật cơ bản" mà các mô hình dựa vào đó để điều chỉnh các tham số nội bộ của chúng.

Mục đích

Mục đích là cung cấp các ví dụ hướng dẫn thuật toán tìm hiểu các mối quan hệ thống kê. Nó cho phép các mô hình khái quát hóa từ các ví dụ sang dữ liệu chưa biết.

Tầm quan trọng

• Chất lượng dữ liệu đào tạo ảnh hưởng trực tiếp đến độ chính xác của mô hình.
• Dữ liệu thiên vị hoặc mất cân bằng sẽ tạo ra các mô hình không công bằng hoặc không đáng tin cậy.
• Các tập dữ liệu đủ lớn sẽ cải thiện khả năng khái quát hóa.
• Việc rò rỉ dữ liệu đào tạo vào các tập kiểm tra sẽ làm ảnh hưởng đến việc đánh giá.

Quy trình triển khai

1. Xác định nhiệm vụ dự đoán và yêu cầu của tập dữ liệu.
2. Thu thập dữ liệu thô có liên quan.
3. Gắn nhãn hoặc chú thích dữ liệu với đầu ra chính xác.
4. Chia thành tập huấn luyện, tập xác thực và tập kiểm tra.
5. Huấn luyện mô hình để điều chỉnh trọng số dựa trên dữ liệu huấn luyện.

Ví dụ (Thực tế)

• Bộ dữ liệu COCO: hình ảnh có chú thích để phát hiện và phân đoạn.
• Common Crawl: bộ dữ liệu văn bản web quy mô lớn để đào tạo trước LLM.
• LibriSpeech: tập dữ liệu giọng nói dùng để đào tạo ASR.

Tài liệu tham khảo / Đọc thêm

• Dữ liệu đào tạo cho máy học — IBM Research.
• ISO/IEC 23053: Khung cho hệ thống AI sử dụng ML — ISO.
• Khung quản lý rủi ro AI của NIST — NIST.
• Dữ liệu đào tạo trong học máy là gì – Shaip