Robot hình người đang dần chuyển từ các bản demo trong phòng thí nghiệm sang các nhà kho, nhà bếp và nhà máy thực tế — nhưng hầu hết các nhóm đều nhận ra rằng phần khó không nằm ở mô hình. Mà chính là dữ liệu đằng sau nó. Các mô hình cơ bản có thể nhận dạng một chiếc cốc; việc triển khai một robot hình người có thể nhặt một chiếc cốc, đưa cho người già và thích ứng khi người đó với tay theo cách khác nhau lại là một vấn đề hoàn toàn khác. Dữ liệu huấn luyện robot hình người là yếu tố quyết định giữa một bản demo hoàn hảo và một hệ thống có thể hoạt động tốt trong thế giới thực.
Hướng dẫn này sẽ trình bày chi tiết những gì các nhóm phát triển trí tuệ nhân tạo hình người cần chuẩn bị về các loại dữ liệu, độ sâu chú thích, phạm vi bảo mật và kiểm soát chất lượng trước khi đưa mô hình vào sản xuất.
Các nội dung chính
- Việc triển khai người máy hình người đòi hỏi dữ liệu đa phương thức phù hợp với hành động, chứ không chỉ là hình ảnh được gắn nhãn.
- Các mô hình cơ bản vẫn cần được thử nghiệm thực tế để xử lý sự biến đổi vật lý.
- Các tác vụ đòi hỏi thao tác bằng cả hai tay và có nhiều tiếp xúc trực tiếp, cần ghi chú chính xác về quỹ đạo và lực tác động.
- Việc đảm bảo tính đầy đủ của các kịch bản an toàn hiện là một tiêu chí quan trọng để triển khai sản phẩm trong toàn ngành.
- Việc xem xét có sự tham gia của con người và sự thống nhất giữa những người chú thích vẫn là những biện pháp kiểm soát chất lượng thiết yếu.
- Các định dạng đầu ra tương thích với VLA giúp giảm thiểu sự cản trở giữa các hoạt động dữ liệu và quy trình đào tạo.
Dữ liệu huấn luyện robot hình người trông như thế nào?
Dữ liệu huấn luyện robot hình người là dữ liệu đa phương thức, được đồng bộ hóa theo thời gian, ghi lại cả những gì robot cảm nhận và những gì con người (hoặc robot) thực hiện để phản hồi. Một tập dữ liệu hữu ích kết hợp video RGB và độ sâu được đồng bộ hóa, âm thanh, dữ liệu đo từ cảm biến quán tính (IMU) và lực, trạng thái khớp và hướng dẫn bằng ngôn ngữ, cùng với các quỹ đạo hành động được gắn nhãn.
Quỹ đạo hành động: Một chuỗi các tư thế của đầu cuối bộ phận thực hiện nhiệm vụ, góc khớp hoặc lệnh vận động được đánh dấu thời gian, mô tả cách thức thực hiện một công việc.
Sự hợp tác Open X-Embodiment đã thống nhất dữ liệu trên 22 hình dạng robot và hơn 500 nhiệm vụ (DeepMind/Stanford và cộng sự, 2024), minh họa quy mô mà các mô hình nền tảng hình người hiện đại mong đợi ở giai đoạn tiền huấn luyện. Nhưng chỉ quy mô tiền huấn luyện thôi thì chưa đủ để triển khai. Các nhóm vẫn cần dữ liệu cụ thể cho từng nhiệm vụ được thu thập trong môi trường mà robot của họ thực sự sẽ hoạt động.
Tại sao các nhóm phát triển robot hình người lại gặp phải rào cản về dữ liệu trước khi triển khai?
Các nhóm phát triển robot hình người gặp phải rào cản dữ liệu vì các cặp hình ảnh-văn bản quy mô web không chứa thông tin về quỹ đạo hành động, lực tiếp xúc hoặc ý định của con người. Một mô hình có thể mô tả hoàn hảo một kệ hàng lộn xộn nhưng vẫn không thể nắm bắt được nội dung từ đó. Khoảng cách giữa việc hiểu một khung cảnh và hành động trong đó được lấp đầy bằng các minh họa có cấu trúc, dữ liệu đo từ xa và phạm vi bao phủ các trường hợp ngoại lệ mà không có bộ dữ liệu công khai nào cung cấp.
Hãy tưởng tượng một công ty khởi nghiệp về robot hình người cỡ trung bình, có bản demo gắp và đặt hàng hoạt động trơn tru trong một studio được kiểm soát. Khi cùng một robot đó đi vào một nhà kho thực tế với sàn nhà phản chiếu, vật cản một phần và bao bì không quen thuộc, tỷ lệ thành công giảm mạnh — không phải vì mô hình sai, mà vì không ai huấn luyện nó trong những điều kiện đó. Thu hẹp khoảng cách đó là vấn đề về dữ liệu, chứ không phải vấn đề về mô hình.
Những kiểu dữ liệu nào quan trọng nhất đối với thao tác bằng hai tay?
Thao tác bằng hai tay đòi hỏi dữ liệu ghi lại sự phối hợp giữa hai tay, động lực tiếp xúc và hành vi phục hồi — chứ không chỉ là vị trí cuối cùng.
Thao tác bằng hai tay: Một lớp kỹ năng robot sử dụng cả hai cánh tay và bàn tay cùng lúc để xử lý các vật thể mà các phương pháp sử dụng một cánh tay không thể thực hiện một cách đáng tin cậy.
Các điều khoản không thể thương lượng bao gồm:
- Các màn trình diễn do con người hoặc điều khiển từ xa thực hiện, với cả hai tay được theo dõi ở tốc độ khung hình cao.
- Đo lực và cảm biến xúc giác đồng bộ trên các đầu kẹp và điểm tiếp xúc.
- Các chú thích trạng thái đối tượng đánh dấu vị trí, hướng và biến dạng trên mỗi khung hình.
- Các trình tự khắc phục sự cố cho thấy con người làm gì khi một vật thể bị trượt hoặc dịch chuyển.
- Sự kết hợp giữa hướng dẫn và hành động, liên kết các mục tiêu bằng ngôn ngữ tự nhiên với chuyển động được thực hiện.
Quy trình AI vật lý của Shaip nắm bắt lớp này thông qua việc thu thập dữ liệu tại studio trên toàn cầu và thu thập dữ liệu thực địa tại các nhà bếp, nhà kho, nhà máy và nhà ở, với độ sâu chú thích được tinh chỉnh cho phù hợp. VLA (thị giác-ngôn ngữ-hành động) đào tạo mô hình. Xem Giải pháp Trí tuệ Nhân tạo Vật lý của Shaip cho toàn bộ quy trình.
Bạn nên cấu trúc dữ liệu minh họa của con người như thế nào để phục vụ việc đào tạo VLA?
Dữ liệu minh họa của con người nên được cấu trúc thành các tập riêng biệt, được gắn nhãn bằng ngôn ngữ — mỗi tập chứa các quan sát, hướng dẫn, quỹ đạo hành động được sắp xếp phù hợp và nhãn thành công hoặc thất bại.
Một nỗ lực quy mô lớn gần đây đã chuyển đổi các video tự quay từ góc nhìn cá nhân, không có cấu trúc, thành dữ liệu huấn luyện định dạng VLA gồm 1 triệu tập trên 26 triệu khung hình (Wu et al., arXiv, 2025), khẳng định rằng dữ liệu minh họa hữu ích nhất khi được phân đoạn, tách bạch và phù hợp với ngôn ngữ. Video rời rạc, không được phân đoạn đơn thuần không đủ để huấn luyện một chính sách có thể triển khai.
Các ví dụ minh họa hữu ích bao gồm: Hướng dẫn nhiệm vụ rõ ràng, quan sát theo từng khung hình, nhãn hành động ở mỗi bước, dấu thời gian và chỉ số đánh giá. (Shaip's) chú thích dữ liệu Các quy trình làm việc cung cấp chính xác cấu trúc này, bao gồm siêu dữ liệu nguồn gốc để xem xét pháp lý trong doanh nghiệp.
Các tình huống an toàn ảnh hưởng đến quy trình xử lý dữ liệu như thế nào?
Các kịch bản an toàn làm thay đổi quy trình xử lý dữ liệu bằng cách buộc các nhóm phải lập kế hoạch bao quát các sự kiện hiếm gặp trước khi bắt đầu thu thập dữ liệu, chứ không phải sau đó. Các trường hợp ngoại lệ — vật cản, ánh sáng yếu, sự tiếp cận bất ngờ của con người, vật rơi — là những tình huống mà rủi ro triển khai tập trung cao nhất.
Trường hợp ngoại lệ: Một điều kiện vận hành hiếm gặp nhưng hoàn toàn có thể xảy ra, là nguyên nhân chính gây ra các sự cố trong thực tế và tai nạn an toàn.
Các quy trình mạnh mẽ được tích hợp sẵn:
- Danh sách kịch bản được lập trình sẵn gắn liền với các cấp độ rủi ro triển khai.
- Các bộ kiểm thử hồi quy giúp phát hiện sự thay đổi hiệu năng.
- Ngưỡng thống nhất giữa các người chú thích đối với nhãn rủi ro cao
- Tiêu chuẩn đánh giá mức độ sẵn sàng phát hành đối với các sự kiện hiếm gặp
Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ Khung quản lý rủi ro AI Cung cấp một tài liệu tham khảo trung lập hữu ích để tổ chức đánh giá rủi ro theo cấp độ, đặc biệt là đối với các nhóm hoạt động trong môi trường được quản lý chặt chẽ.
Chất lượng dữ liệu của người máy hình người nên được đo lường như thế nào?
| lớp | Những gì nó bao gồm | Kiểm soát chất lượng được khuyến nghị |
|---|---|---|
| Bộ sưu tập | Môi trường, cảm biến, sự đồng thuận | Nhật ký hiệu chuẩn · sự đồng ý của người tham gia · dấu vết nguồn gốc |
| Chú thích | Quỹ đạo, đối tượng, hướng dẫn | Đánh giá theo cấp bậc · Thỏa thuận giữa các người chú thích (IAA) · Hiệu chuẩn bộ dữ liệu chuẩn |
| THẨM ĐỊNH | Các trường hợp ngoại lệ, an toàn, hồi quy | Các kịch bản rủi ro theo cấp độ · Tiêu chuẩn đánh giá mức độ sẵn sàng phát hành |
| Giao hàng tận nơi | Định dạng, lược đồ, đánh giá | Các lược đồ phù hợp với VLA · các tập đánh giá · nhật ký kiểm toán |
Quy trình kiểm định chất lượng nhiều cấp của Shaip — bao gồm xác thực lần đầu, hiệu chuẩn bộ dữ liệu chuẩn và xem xét bản phát hành cuối cùng — được xây dựng dựa trên phạm vi bao phủ nhiều lớp như vậy, với Đánh giá HITL Hoàn thiện vòng lặp giữa đầu ra của mô hình và dữ liệu huấn luyện lại.
Kết luận: Từ bản demo đến triển khai là một vấn đề về dữ liệu.
Dữ liệu huấn luyện robot hình người không phải là một quy trình duy nhất; nó là một chuỗi các quyết định về phương thức, độ sâu chú thích, phạm vi an toàn và kiểm soát chất lượng. Các nhóm làm đúng điều này sẽ chuyển từ các bản demo ấn tượng sang các hệ thống thực sự được triển khai. Các nhóm không làm đúng sẽ phải huấn luyện lại trong nhiều năm.
Khoảng cách lớn nhất giữa dữ liệu thử nghiệm robot hình người và dữ liệu triển khai thực tế là gì?
Khoảng trống lớn nhất nằm ở việc bao quát sự biến đổi trong thế giới thực. Dữ liệu demo thường đến từ các studio sạch sẽ, được kiểm soát chặt chẽ với các diễn viên hợp tác. Dữ liệu triển khai phải bao gồm sự nhiễu loạn, sự thay đổi ánh sáng, hành vi bất ngờ của con người, nhiễu cảm biến và các sự kiện hiếm gặp. Nếu thiếu sự bao quát đó, các mô hình sẽ vượt qua các tiêu chuẩn nội bộ nhưng lại thất bại trong thực tế.
Một nhóm người máy thường cần bao nhiêu cuộc trình diễn của con người?
Một nhóm người máy hình người thường cần từ vài trăm đến vài triệu lượt trình diễn, tùy thuộc vào độ phức tạp của nhiệm vụ, yêu cầu về sự khéo léo và hình dạng vật lý. Quá trình huấn luyện theo kiểu cơ bản đòi hỏi hàng triệu lượt tập; việc tinh chỉnh có mục tiêu cho một nhiệm vụ cụ thể có thể dựa trên vài nghìn lượt trình diễn chất lượng cao kết hợp với hướng dẫn ngôn ngữ chi tiết và khả năng xử lý các trường hợp ngoại lệ.
Độ chính xác chú thích nào được coi là chấp nhận được đối với dữ liệu huấn luyện hình người?
Độ chính xác chấp nhận được phụ thuộc vào từng lớp. Nhãn phát hiện đối tượng thường đạt độ đồng thuận giữa các người chú thích trên 95%, trong khi nhãn hành động và quỹ đạo yêu cầu dung sai chặt chẽ hơn về điểm tiếp xúc và thời điểm nắm bắt. Hầu hết các nhóm sản xuất đều đặt ngưỡng chấp nhận cho mỗi lớp và sử dụng hiệu chuẩn tập dữ liệu chuẩn cộng với đánh giá đồng thuận để duy trì tính nhất quán giữa các người chú thích.
Dữ liệu tổng hợp có thể thay thế các cuộc trình diễn người máy hình người thực tế hay không?
Dữ liệu tổng hợp không thể thay thế hoàn toàn các minh họa thực tế, nhưng nó có thể khuếch đại chúng. Mô phỏng rất tốt để mở rộng quy mô các sự kiện hiếm gặp và ngẫu nhiên hóa các cảnh. Dữ liệu thực tế vẫn là nền tảng cho việc chuyển giao từ mô phỏng sang thực tế, đặc biệt là đối với động lực tiếp xúc và tương tác người-robot. Hầu hết các quy trình sản xuất đều kết hợp cả hai, với các bài kiểm tra chuẩn được ghép nối để theo dõi sự khác biệt.
Các phương thức cảm biến nào quan trọng nhất đối với các mô hình nền tảng hình người?
Các phương thức cảm biến quan trọng nhất bao gồm camera RGB đồng bộ, cảm biến độ sâu, IMU, theo dõi tay và mắt, và các phép đo lực hoặc mô-men xoắn. Âm thanh bổ sung ngữ cảnh cho các nhiệm vụ tuân theo hướng dẫn. Chi tiết quan trọng là đồng bộ hóa thời gian trên tất cả các kênh với siêu dữ liệu hiệu chuẩn, vì các luồng không đồng bộ sẽ phá vỡ sự đồng bộ mô hình ở các khâu tiếp theo.
Các nhóm nên đánh giá đối tác dữ liệu hình người như thế nào?
Việc đánh giá một đối tác cung cấp dữ liệu hình người cần dựa trên bốn khía cạnh: phạm vi thu thập dữ liệu, độ sâu chú thích, cơ sở hạ tầng chất lượng và khả năng tuân thủ quy định. Hãy tìm kiếm các nhà cung cấp có khả năng thu thập dữ liệu đa phương thức đã được chứng minh trên nhiều môi trường khác nhau, quy trình kiểm soát chất lượng có cấu trúc, chứng nhận ISO 27001 và SOC 2, cũng như các khung pháp lý về sự đồng ý và nguồn gốc dữ liệu rõ ràng. Các nhà cung cấp coi dữ liệu như lao động cộng đồng hiếm khi đáp ứng được các yêu cầu ở cấp độ triển khai thực tế.
