Sự tinh tế của dữ liệu đào tạo AI và tại sao họ sẽ thực hiện hoặc phá vỡ dự án của bạn

Tất cả chúng ta đều hiểu rằng hiệu suất của mô-đun trí tuệ nhân tạo (AI) phụ thuộc hoàn toàn vào chất lượng của bộ dữ liệu được cung cấp trong giai đoạn đào tạo. Tuy nhiên, chúng thường được thảo luận ở mức độ hời hợt. Hầu hết các tài nguyên trực tuyến đều nêu rõ lý do tại sao thu thập dữ liệu chất lượng lại cần thiết cho các giai đoạn dữ liệu đào tạo AI của bạn, nhưng có một lỗ hổng về kiến ​​thức phân biệt chất lượng với dữ liệu không đủ.

Khi bạn nghiên cứu sâu hơn về các tập dữ liệu, bạn sẽ nhận thấy rất nhiều điều phức tạp và tinh vi thường bị bỏ qua. Chúng tôi đã quyết định làm sáng tỏ những chủ đề ít được nói này. Sau khi đọc bài viết này, bạn sẽ có một ý tưởng rõ ràng về một số sai lầm bạn đang mắc phải trong quá trình thu thập dữ liệu và một số cách bạn có thể tối ưu hóa chất lượng dữ liệu đào tạo AI của mình.

Băt đâu nao.

Giải phẫu của một dự án AI

Đối với những người mới bắt đầu, một dự án AI hoặc một ML (máy học) là rất có hệ thống. Nó là tuyến tính và có một quy trình làm việc chắc chắn.

Để cung cấp cho bạn một ví dụ, đây là cách nó trông theo nghĩa chung:

• Bằng chứng của khái niệm
• Xác nhận mô hình và cho điểm mô hình
• Phát triển thuật toán
• Chuẩn bị dữ liệu đào tạo AI
• Triển khai mô hình
• Đào tạo thuật toán
• Tối ưu hóa sau triển khai

Thống kê cho thấy gần 78% tất cả các dự án AI đã bị đình trệ tại thời điểm này hay thời điểm khác trước khi chuyển sang giai đoạn triển khai. Trong khi một bên có những sơ hở lớn, sai sót logic, hoặc các vấn đề quản lý dự án, thì cũng có những sai sót nhỏ và sai lầm gây ra sự cố lớn trong các dự án. Trong bài đăng này, chúng ta sẽ khám phá một số điểm tinh tế phổ biến nhất.

Xu hướng dữ liệu

Sự thiên vị dữ liệu là sự đưa vào một cách tự nguyện hoặc không tự nguyện của các yếu tố hoặc các yếu tố làm sai lệch kết quả một cách bất lợi đối với hoặc chống lại các kết quả cụ thể. Thật không may, sự thiên vị là một mối quan tâm đáng lo ngại trong không gian đào tạo AI.

Nếu điều này cảm thấy phức tạp, hãy hiểu rằng các hệ thống AI không có tâm trí của riêng chúng. Vì vậy, những khái niệm trừu tượng như đạo đức, luân lý, v.v. không tồn tại. Chúng chỉ thông minh hoặc chức năng như các khái niệm logic, toán học và thống kê được sử dụng trong thiết kế của chúng. Vì vậy, khi con người phát triển ba điều này, rõ ràng sẽ có một số thành kiến ​​và chủ nghĩa thiên vị được gắn vào.

Bias là một khái niệm không liên quan trực tiếp với AI mà với mọi thứ khác xung quanh nó. Có nghĩa là nó bắt nguồn nhiều hơn từ sự can thiệp của con người và có thể được đưa vào bất kỳ thời điểm nào. Đó có thể là khi một vấn đề đang được giải quyết cho các giải pháp có thể xảy ra, khi thu thập dữ liệu xảy ra hoặc khi dữ liệu được chuẩn bị và đưa vào mô-đun AI.

Chúng ta có thể loại bỏ hoàn toàn sự thiên vị không?

Loại bỏ sự thiên vị rất phức tạp. Sở thích cá nhân không hoàn toàn là màu đen và trắng. Nó phát triển mạnh trên vùng màu xám, và đó là lý do tại sao nó cũng mang tính chủ quan. Với sự thiên vị, thật khó để chỉ ra sự công bằng tổng thể dưới bất kỳ hình thức nào. Bên cạnh đó, sự thiên vị cũng khó phát hiện hoặc xác định, chính xác khi tâm trí vô tình nghiêng về những niềm tin, khuôn mẫu hoặc thực hành cụ thể.

Đó là lý do tại sao các chuyên gia AI chuẩn bị các mô-đun của họ xem xét các thành kiến ​​tiềm ẩn và loại bỏ chúng thông qua các điều kiện và bối cảnh. Nếu được thực hiện đúng, việc sai lệch kết quả có thể được giữ ở mức tối thiểu.