Hầu hết các nhóm phát triển AI vật lý đều biết họ cần dữ liệu. Nhưng ít ai biết họ cần cả một kho dữ liệu khổng lồ. Các khả năng mà một robot hình người, xe tự lái hoặc robot kho cần có khi được triển khai — nhận thức, hành động, tuân theo chỉ dẫn, thực thi quy trình làm việc nhiều bước — mỗi khả năng đều tương ứng với một lớp dữ liệu huấn luyện khác nhau, với các phương pháp thu thập, độ sâu chú thích và kiểm soát chất lượng khác nhau. Kho dữ liệu AI vật lý là một cách để xem xét các lớp dữ liệu đó như một hệ thống tích hợp duy nhất, thay vì bốn quyết định thu thập riêng lẻ không liên kết.
Các nội dung chính
- Bộ dữ liệu AI vật lý có bốn lớp, liên kết với bốn khả năng thực tế.
- Lớp 1 bao gồm dữ liệu về hoạt động và minh họa của con người phục vụ cho việc nhận thức và hiểu biết.
- Lớp 2 thu thập dữ liệu thao tác của robot để thực hiện nhiệm vụ một cách lặp đi lặp lại.
- Lớp 3 giúp đồng bộ hóa tầm nhìn, ngôn ngữ và hành động để hướng dẫn việc thực hiện trên quy mô lớn.
- Lớp 4 hỗ trợ hoàn thành tác vụ nhiều bước, tầm nhìn dài hạn trong môi trường thực tế.
- Mỗi lớp đều ảnh hưởng đến lớp tiếp theo; những điểm yếu ở lớp dưới sẽ lan truyền lên trên.
Tại sao lại nên xem dữ liệu AI vật lý như một chồng dữ liệu?
Dữ liệu AI vật lý hoạt động như một chồng dữ liệu vì mỗi lớp khả năng phụ thuộc vào các lớp bên dưới nó. Dữ liệu nhận thức mà không có dữ liệu hành động sẽ tạo ra một mô hình có thể nhìn thấy nhưng không thể di chuyển. Dữ liệu hành động mà không có sự khớp ngôn ngữ sẽ tạo ra một mô hình có thể di chuyển nhưng không thể làm theo hướng dẫn. Dữ liệu quy trình công việc dài hạn mà không có khả năng làm theo hướng dẫn mạnh mẽ sẽ sụp đổ ngay ở nhiệm vụ nhiều bước đầu tiên.
Bộ dữ liệu AI vật lý mở của NVIDIA, được phát hành cho cộng đồng nhà phát triển, bao gồm hàng ngàn giờ video đa camera với độ đa dạng chưa từng có (NVIDIA, 2025), và ngay cả ở quy mô đó, các nhóm tiếp theo vẫn cần các lớp chuyên biệt cho từng nhiệm vụ phía trên nó. Dữ liệu huấn luyện trước là cần thiết, nhưng chưa đủ.
Lớp 1: Sự hiểu biết của con người về dữ liệu bao gồm những gì?
Dữ liệu về sự hiểu biết của con người là dữ liệu về hoạt động và minh họa của con người — các đoạn phim quay từ góc nhìn thứ nhất và thứ ba về con người thực hiện các nhiệm vụ trong môi trường thực tế. Nó giúp mô hình hiểu thế giới trông như thế nào và cách con người di chuyển trong đó.
Dữ liệu minh họa từ con người: Video và bản ghi cảm biến ghi lại quá trình con người thực hiện các nhiệm vụ, kèm theo chú thích giúp liên kết các quan sát với hành động, ý định hoặc kết quả.
Lớp này cung cấp thông tin cho nhận thức, hiểu bối cảnh và suy luận ý định. Những câu hỏi chất lượng cần đặt ra:
- Dữ liệu đó có bao gồm môi trường mà robot của bạn sẽ hoạt động không?
- Các bản trình diễn được chú thích ở cấp độ hành động nguyên tử hay chỉ ở từng đoạn video riêng lẻ?
- Sự đồng ý của người tham gia đã được ghi lại và có thể truy vết chưa?
L1 của Shaip thu thập dữ liệu Lớp này ghi lại các hoạt động thực tế trong nhà bếp, nhà máy, nhà kho, cơ sở chăm sóc sức khỏe và đường phố — những môi trường phù hợp với bối cảnh triển khai thực tế hơn là điều kiện phòng thí nghiệm.
Lớp 2: Dữ liệu thực thi tác vụ bao gồm những gì?
Dữ liệu thực thi nhiệm vụ là dữ liệu thao tác của robot — quỹ đạo, trạng thái khớp, tương tác đối tượng và động lực tiếp xúc cho các nhiệm vụ vật lý lặp đi lặp lại. Nó dạy mô hình cách hành động, chứ không chỉ là những gì cần nhận biết.
Dữ liệu thao tác robot: Chuỗi hình ảnh có dấu thời gian về trạng thái của robot, tư thế của đầu cuối robot và tương tác với vật thể, được ghi lại trong quá trình điều khiển từ xa, thực thi theo kịch bản hoặc phát lại bản trình diễn.
Đây là nơi mà cấu trúc đặc thù của từng loại robot thể hiện rõ. Cấu hình khớp, hình dạng kẹp và không gian hành động khác nhau giữa các robot, do đó dữ liệu thao tác hiếm khi có thể chuyển đổi giữa các loại robot khác nhau mà không cần điều chỉnh lại. Những nỗ lực kết nối giữa các loại robot — chẳng hạn như các tập dữ liệu thống nhất 22 loại robot khác nhau dưới một lược đồ hành động duy nhất (DeepMind/Stanford et al., 2024) — đã giúp việc này dễ dàng hơn một chút, nhưng dữ liệu thao tác cụ thể cho từng nhiệm vụ vẫn là một chương trình thu thập thủ công.
Lớp 3: Dữ liệu VLA bổ sung thêm điều gì?
Dữ liệu VLA bổ sung sự đồng bộ ngôn ngữ với hình ảnh và hành động — mỗi tập phim đều chứa một hướng dẫn bằng ngôn ngữ tự nhiên gắn liền với lộ trình thực hiện nó.
Dữ liệu Thị giác-Ngôn ngữ-Hành động (VLA): Dữ liệu huấn luyện cấp độ từng tập bao gồm các quan sát trực quan được đồng bộ hóa, hướng dẫn bằng ngôn ngữ tự nhiên và quỹ đạo hành động với nhãn thành công.
Lớp này là yếu tố cho phép thực hiện việc tuân theo hướng dẫn. Nếu không có nó, một mô hình thao tác chỉ có thể thực hiện một nhiệm vụ đã được huấn luyện; với nó, cùng một cấu trúc xương sống có thể khái quát hóa trên hàng trăm hướng dẫn. Vấn đề nằm ở chỗ: các mô tả ngôn ngữ cần phải mang tính nguyên tử, cụ thể và phù hợp với ranh giới hành động thực tế — chứ không phải là những tóm tắt mơ hồ. Độ chính xác của chú thích ở lớp này quyết định liệu một VLA được tinh chỉnh có thể khái quát hóa cho các lời nhắc mới hay chỉ ghi nhớ tập dữ liệu huấn luyện.
Lớp 4: Dữ liệu nhiệm vụ dài hạn bao gồm những gì?
Dữ liệu nhiệm vụ dài hạn bao gồm các quy trình công việc nhiều bước — các chuỗi mà robot phải hoàn thành một nhiệm vụ phụ để bắt đầu nhiệm vụ tiếp theo. Nấu ăn, phân loại pallet trong kho và lắp ráp một bộ dụng cụ là những nhiệm vụ dài hạn. Mỗi nhiệm vụ đều yêu cầu mô hình theo dõi trạng thái, phục hồi sau lỗi của nhiệm vụ phụ và kết hợp các kỹ năng.
Bộ dữ liệu nghiên cứu tập trung vào thao tác trên bàn trong thời gian dài bao gồm 200 tập phim trải dài trên 20 nhiệm vụ nhiều bước với bối cảnh lộn xộn (các tác giả LHManip, arXiv, 2024) — quy mô nhỏ nhưng cấu trúc chặt chẽ. Các nhóm sản xuất thường xây dựng các bộ dữ liệu đánh giá với hàng trăm đến hàng nghìn tập phim trong thời gian dài, cộng thêm các dấu vết xử lý ngoại lệ để phục hồi khi xảy ra lỗi.
Cách bốn lớp hỗ trợ triển khai
| lớp | Khả năng đã được mở khóa | Những điều mà các đội thường bỏ sót |
|---|---|---|
| L1 — Sự hiểu biết của con người | Nhận thức, ý định, bối cảnh | Phù hợp môi trường với địa điểm triển khai |
| L2 — Thực thi tác vụ | Thao tác lặp lại | Động lực tiếp xúc, phục hồi sau sự cố |
| L3 — Hướng dẫn theo dõi | Khái quát hóa giữa các nhiệm vụ | Nhãn ngôn ngữ nguyên tử, hướng hành động |
| L4 — Hoàn thành quy trình làm việc | Nhiệm vụ thực tế nhiều bước | Xử lý ngoại lệ, theo dõi trạng thái |
Hãy hình dung một nhóm tự động hóa công nghiệp làm tốt L1 và L2 — nhận thức chính xác, thao tác mượt mà trong các bài kiểm tra — nhưng lại bỏ qua L3. Robot của họ có thể nhặt bất kỳ vật thể nào bạn chỉ vào nhưng không thể làm theo hướng dẫn bằng giọng nói nếu không thay đổi mã. Việc bỏ qua L4 cũng có đặc điểm tương tự: hệ thống xử lý các tác vụ đơn lẻ, sau đó gặp lỗi ở bước thứ hai. Mỗi lớp bị thiếu đều giới hạn khả năng triển khai.
Chứng nhận & Tuân thủ cho Dữ liệu AI Vật lý
Các chương trình dữ liệu AI vật lý hoạt động trong một môi trường pháp lý và mua sắm ngày càng khắt khe, đặc biệt là đối với các trường hợp sử dụng trong chăm sóc sức khỏe, di chuyển tự động và an toàn lao động. Các nhà mua hàng doanh nghiệp ngày càng yêu cầu các biện pháp kiểm soát có cấu trúc trước khi ký kết hợp đồng thu thập hoặc chú thích dữ liệu.
- Tiêu chuẩn ISO 27001 về quản lý an ninh thông tin.
- Chứng nhận SOC 2 Loại II dành cho các tổ chức cung cấp dịch vụ.
- Các biện pháp kiểm soát tuân thủ HIPAA đối với dữ liệu chuyển động lâm sàng hoặc phục hồi chức năng.
- Khung pháp lý GDPR và CCPA về sự đồng ý của người tham gia và quyền dữ liệu.
Shaip hoạt động theo từng khuôn khổ này trong các chương trình thu gom toàn cầu. Người mua có thể xem chi tiết cụ thể trên trang web. trang bảo mật và tuân thủ trước khi lập kế hoạch cho việc ứng dụng AI thực tế.
Kết luận: Ngăn xếp là chiến lược.
Bộ dữ liệu AI vật lý không phải là danh sách kiểm tra mua sắm; nó là kiến trúc của một hệ thống có thể triển khai. Các nhóm coi nó như một thể thống nhất – sự hiểu biết của con người cung cấp dữ liệu thao tác, thao tác cung cấp dữ liệu hướng dẫn, tất cả đều hỗ trợ quá trình thực thi dài hạn – sẽ tạo ra những robot hoạt động trong thế giới thực. Shaip hoạt động như đối tác cơ sở hạ tầng dữ liệu trên cả bốn lớp, bao gồm: AI đa phương thức Các quy trình làm việc kết nối nhận thức, ngôn ngữ và hành động trong cùng một sự tương tác.
Tập dữ liệu AI vật lý bao gồm những gì?
Bộ dữ liệu AI vật lý là một khung bốn lớp, ánh xạ các loại dữ liệu huấn luyện đến khả năng của robot. Lớp 1 bao gồm hoạt động của con người để nhận thức, Lớp 2 bao gồm thao tác của robot, Lớp 3 bao gồm dữ liệu thị giác-ngôn ngữ-hành động để thực hiện theo hướng dẫn, và Lớp 4 bao gồm các nhiệm vụ đa bước dài hạn. Mỗi lớp cho phép một khả năng triển khai riêng biệt.
Liệu cả bốn lớp có nhất thiết phải được xây dựng nội bộ không?
Không nhất thiết phải xây dựng cả bốn lớp trong nội bộ công ty. Các tập dữ liệu huấn luyện trước công khai đã bao phủ phần lớn Lớp 1, và dữ liệu tinh chỉnh chọn lọc ở các Lớp 2 đến 4 là nơi các chương trình nội bộ hoặc đối tác tập trung. Câu hỏi quyết định là liệu dữ liệu có phù hợp với môi trường triển khai hay không, chứ không phải liệu dữ liệu đó có được tự thu thập hay không.
Lớp nào bị các nhóm AI vật lý đánh giá thấp nhất?
Lớp 4 — dữ liệu tác vụ dài hạn — là lớp bị đánh giá thấp nhất. Các nhóm thường xây dựng các quy trình nhận thức và thao tác mạnh mẽ, sau đó cho rằng việc sắp xếp trình tự diễn ra một cách tự nhiên. Trên thực tế, các tác vụ nhiều bước cần có các minh họa rõ ràng, dấu vết xử lý ngoại lệ và các bộ đánh giá để phát hiện các chế độ lỗi của tác vụ con. Nếu không có điều đó, quá trình triển khai sẽ bị đình trệ ở các bản demo tác vụ đơn lẻ.
Bộ dữ liệu AI vật lý có liên quan như thế nào đến các mô hình VLA?
Tập dữ liệu AI vật lý liên quan đến các mô hình VLA ở Lớp 3. Dữ liệu huấn luyện VLA nằm ở lớp tuân theo hướng dẫn, dựa trên dữ liệu nhận thức của Lớp 1 và dữ liệu thao tác của Lớp 2 làm nền tảng. Một VLA được xây dựng tốt cần cả ba lớp thấp hơn để hoạt động; Lớp 4 sau đó mở rộng nó thành các quy trình làm việc thực tế nhiều bước.
Dữ liệu tổng hợp có phải là một phần của tập dữ liệu không?
Dữ liệu tổng hợp là một phần của mọi lớp trong cấu trúc tập dữ liệu nhưng hiếm khi thay thế hoàn toàn dữ liệu thực. Việc tạo dữ liệu tổng hợp giúp mở rộng quy mô các sự kiện hiếm gặp, các trường hợp ngoại lệ và các biến thể hiện thân. Dữ liệu thực là nền tảng cho động lực tiếp xúc, chuyển đổi từ mô phỏng sang thực tế và tương tác người-robot. Các chương trình hoàn thiện sử dụng cả hai, với các bài kiểm tra hiệu năng được ghép nối để theo dõi khoảng cách hiệu năng giữa mô phỏng và thực tế.
Mất bao lâu để xây dựng toàn bộ bộ dữ liệu AI vật lý?
Việc xây dựng một bộ dữ liệu AI vật lý hoàn chỉnh thường mất từ vài tháng đến vài năm, tùy thuộc vào phạm vi và hình thức triển khai. Các chương trình thu thập dữ liệu trên nhiều môi trường khác nhau là giai đoạn tốn nhiều thời gian nhất. Các nhóm thường đẩy nhanh tiến độ bằng cách bắt đầu với việc tinh chỉnh dữ liệu ở Lớp 3 tập trung cho một nhiệm vụ cụ thể, sau đó mở rộng ra các quy trình làm việc ở Lớp 4 và phạm vi bao phủ rộng hơn ở Lớp 1 khi trường hợp sử dụng triển khai ổn định.
