Tập dữ liệu lấy người làm trung tâm là một bộ sưu tập có cấu trúc gồm các bản ghi video và cảm biến từ góc nhìn người thứ nhất — được thu thập từ camera gắn trên đầu, ngực hoặc cổ tay — được sử dụng để huấn luyện robot và hệ thống trí tuệ nhân tạo thể hiện cách con người nhìn, di chuyển và hành động. Nó phù hợp nhất với những gì camera tích hợp trên robot sẽ nhìn thấy trong quá trình hoạt động, đó là lý do tại sao nó trở thành nền tảng cho việc huấn luyện mô hình thị giác-ngôn ngữ-hành động (VLA).
Robot chỉ được huấn luyện bằng video trong phòng thí nghiệm thường bị lỗi ngay ngày đầu tiên rời khỏi phòng thí nghiệm. Nguyên nhân hiếm khi nằm ở mô hình. Mà là ở dữ liệu.
Hầu hết các video huấn luyện đều được quay từ giá ba chân hoặc camera gắn trên trần nhà. Loại cảnh quay đó chỉ cho thấy căn phòng, chứ không phải công việc đang thực hiện. Không thấy được bàn tay. Không thấy được vật thể. Không thấy được góc quay chính xác mà camera tích hợp trên robot sẽ nhìn thấy khi nó thực sự nhặt một chiếc cốc hoặc mở ngăn kéo. Khoảng trống đó chính là điều mà bộ dữ liệu lấy người dùng làm trung tâm được xây dựng để lấp đầy.
Hướng dẫn này sẽ giải thích bộ dữ liệu lấy người làm trung tâm là gì, tại sao dữ liệu góc nhìn thứ nhất lại trở thành nền tảng của robot hiện đại và trí tuệ nhân tạo thể hiện, dữ liệu tốt thực sự trông như thế nào và các nhóm nên tìm kiếm điều gì trước khi cấp phép hoặc đặt hàng sử dụng một bộ dữ liệu như vậy.
Tập dữ liệu vị kỷ là gì?
Bộ dữ liệu lấy người làm trung tâm là một tập hợp dữ liệu video và cảm biến được cấu trúc, thu thập từ góc nhìn người thứ nhất. Camera được đặt trên đầu, ngực hoặc cổ tay của người thực hiện nhiệm vụ — đôi khi là trên chính robot — do đó, bản ghi hiển thị thế giới chính xác như người thực hiện nhìn thấy.
“Góc nhìn vị kỷ” đơn giản có nghĩa là từ góc nhìn của bản thân . Máy quay góc nhìn thứ ba cho thấy những gì đang xảy ra trong phòng. Máy quay góc nhìn vị kỷ cho thấy những gì tay, mắt và dụng cụ của người điều khiển đang làm trong khi sự việc diễn ra. Sự khác biệt đó nghe có vẻ nhỏ. Nhưng đối với các đội chế tạo robot, nó lại vô cùng quan trọng.
Hầu hết các bộ dữ liệu lấy người dùng làm trung tâm hiện đại đều kết hợp video với các tín hiệu bổ sung — độ sâu, chuyển động, âm thanh, và đôi khi là theo dõi mắt hoặc tay — để có thể nghiên cứu một khoảnh khắc duy nhất từ nhiều góc độ cùng một lúc.
Vì sao dữ liệu vị kỷ lại quan trọng đối với robot và trí tuệ nhân tạo thể hiện
Robot thất bại trong thế giới thực vì một vài lý do. Quan điểm sai lầm là một trong những lý do hàng đầu.
Việc huấn luyện trên dữ liệu góc nhìn thứ nhất loại bỏ bước chuyển đổi đó. Mô hình học từ cùng một góc nhìn mà nó sẽ sử dụng sau này. Nghiên cứu về học máy gần đây đã chỉ ra rằng các thuật toán được huấn luyện trên dữ liệu góc nhìn thứ nhất có thể hoạt động tốt hơn các thuật toán được huấn luyện trên dữ liệu góc nhìn thứ ba từ 15–30% trong các nhiệm vụ thao tác, tùy thuộc vào loại nhiệm vụ. Lợi ích thể hiện rõ trong chính công việc: thao tác cầm nắm chính xác hơn, phối hợp tay mắt tốt hơn, phản ứng thông minh hơn với sự lộn xộn và góc nhìn không đầy đủ.
Đây cũng là lý do tại sao dữ liệu góc nhìn thứ nhất nằm ở trung tâm của các hệ thống Trí tuệ Nhân tạo Vật lý và làn sóng mới của các mô hình thị giác-ngôn ngữ-hành động — các hệ thống nhận đầu vào hình ảnh và hướng dẫn bằng lời nói hoặc văn bản, sau đó đưa ra hành động thực tế trong thế giới vật lý.
Bên trong một tập dữ liệu vị kỷ chất lượng cao
Chỉ riêng video thô thôi là chưa đủ. Việc thu thập dữ liệu góc nhìn người thứ nhất chất lượng cao cần kết hợp video góc nhìn người thứ nhất với một số tín hiệu khác:
- Video đồng bộ Với độ phân giải tốt, thường được chụp từ nhiều góc độ khác nhau (đầu, ngực hoặc cổ tay).
- Dữ liệu độ sâu Điều đó giúp mô hình hiểu được khoảng cách của một vật thể, chứ không chỉ vị trí của nó trong khung hình.
- Dữ liệu cảm biến chuyển động (IMU) theo dõi chuyển động đầu và thân từng khung hình một.
- Bài nghe — điều này mang một lượng ngữ cảnh đáng ngạc nhiên, giống như một con dao trên thớt hoặc một người đang nói chuyện gần đó.
- Theo dõi tay hoặc mắt thích hợp cho các nhiệm vụ đòi hỏi sự tập trung và khả năng cầm nắm tốt.
Điểm mấu chốt là tất cả những điều này phải khớp chính xác đến từng mili giây. Nếu luồng dữ liệu chiều sâu lệch một phần tư giây so với video, mô hình sẽ học được mối quan hệ nhân quả sai. Việc chú thích dữ liệu theo góc nhìn người dùng một cách chính xác , kết hợp với quá trình thu thập dữ liệu được hiệu chỉnh tốt, là điều biến các bản ghi thô thành dữ liệu sẵn sàng cho việc huấn luyện.
So sánh hình ảnh trong phòng thí nghiệm với hình ảnh thực tế.
Việc hình dung ra một dạng vấn đề đào tạo khác sẽ hữu ích.
Hãy tưởng tượng bạn dạy ai đó đi xe đạp chỉ bằng cách cho họ xem những thước phim quay từ trên cao bằng máy bay không người lái. Họ sẽ thấy chiếc xe, con đường và lối đi. Họ sẽ không thấy được sự chao đảo của tay lái, cách mắt quan sát phía trước khi vào cua, hay cách cơ thể chuyển động trước khi rẽ. Về mặt kỹ thuật, họ sẽ biết việc đi xe đạp trông như thế nào . Nhưng họ sẽ không biết cách làm điều đó.
Dữ liệu thí nghiệm cũng gặp vấn đề tương tự ở quy mô lớn. Ánh sáng sạch, một vật thể trên một chiếc bàn sạch, một nhiệm vụ cho mỗi đoạn video – trông gọn gàng, nhưng đó không phải là thế giới mà một robot sẽ được đưa vào sử dụng. Các mô hình được huấn luyện bằng video thí nghiệm thường hoạt động tốt vào ngày đầu tiên và gặp trục trặc vào ngày thứ ba mươi, khi ánh sáng nhấp nháy, hai người đi ngang qua nhau hoặc ba sản phẩm cùng nằm trên một kệ.
Việc thu thập dữ liệu từ góc nhìn cá nhân trong thế giới thực giúp đưa nhiễu trở lại. Chính nhiễu đó là thứ giúp các mô hình hoạt động ổn định sau khi triển khai.
Bốn lớp của một chồng dữ liệu vị kỷ
Các vấn đề khác nhau cần các lớp dữ liệu khác nhau. Một tập dữ liệu được xây dựng cho một nhiệm vụ hiếm khi đáp ứng tốt cho nhiệm vụ khác. Dưới đây là một cách đơn giản để hình dung về các lớp mà hầu hết các nhóm AI vật lý xếp chồng lên nhau để xây dựng một tập dữ liệu AI thể hiện hoàn chỉnh:
| lớp | Những gì nó ghi lại | Nó huấn luyện điều gì? |
|---|---|---|
| Sự hiểu biết của con người | Hoạt động thực tế của con người trong môi trường hàng ngày. | Nhận thức cơ bản — cách con người di chuyển, cầm nắm đồ vật, chuyển đổi công việc |
| Thực thi nhiệm vụ | Dữ liệu thao tác: quỹ đạo, cách cầm nắm, trạng thái khớp | Điều khiển chuyển động robot và lặp lại kỹ năng |
| Hướng dẫn sau đây | Tầm nhìn + hướng dẫn bằng lời nói hoặc văn bản + hành động | Các mô hình thị giác-ngôn ngữ-hành động biến một chỉ dẫn thành một hành động thực tế. |
| Hoàn thành quy trình | Dữ liệu tác vụ dài, nhiều bước với khả năng xử lý ngoại lệ | Khả năng suy luận dài hạn và phục hồi khi xảy ra sự cố. |
Hầu hết các nhóm sản xuất đều sử dụng nhiều nguồn thông tin khác nhau. Ví dụ, một người máy cần xếp bát đĩa vào máy rửa bát sẽ cần ít nhất ba nguồn thông tin: sự hướng dẫn của con người, khả năng thao tác tinh tế và cấu trúc công việc từng bước.
Nơi dữ liệu vị kỷ thúc đẩy nhu cầu thực sự
Khoảng cách đó đang xuất hiện ở nhiều ngành công nghiệp, và đó là lý do tại sao nhu cầu về dữ liệu đào tạo góc nhìn người thứ nhất đang tăng lên ở một số lĩnh vực cụ thể:
- Robot hình người và robot gia đình. Nấu ăn, dọn dẹp, cất đồ tạp hóa. Những công việc tưởng chừng dễ dàng cho đến khi bạn thấy một con robot thực hiện chúng.
- Di chuyển tự động. Lái xe, hành vi trong cabin, giao hàng chặng cuối. Công nghệ ghi hình góc nhìn thứ nhất thu hẹp khoảng cách giữa mô phỏng và đường phố thực tế.
- Các bộ dữ liệu lấy người dùng làm trung tâm trong ngành công nghiệp. Sàn nhà máy, dây chuyền lắp ráp, các khu vực khai thác dầu khí — được sử dụng để huấn luyện về phát hiện an toàn, theo dõi công thái học và robot hỗ trợ người lao động.
- Dữ liệu video quay từ góc nhìn người thứ nhất trong quá trình phẫu thuật. Ghi lại quy trình phẫu thuật từ camera gắn trên đầu của các bác sĩ phẫu thuật, được sử dụng để huấn luyện các mô hình hỗ trợ và hệ thống thực tế ảo tăng cường (AR) y tế.
- Dữ liệu lấy người tiêu dùng làm trung tâm về hành vi mua sắm bán lẻ. Dữ liệu ghi lại hình ảnh người mua sắm trong các cửa hàng thực tế được gắn trên người, nhằm nghiên cứu sự chú ý, khả năng định hướng và quá trình ra quyết định của họ khi mua sắm trên kệ hàng.
Các ngành công nghiệp khác nhau, nhưng nhu cầu cơ bản giống nhau: dữ liệu phản ánh công việc thực tế, chứ không phải kết quả thí nghiệm.
Điều gì làm cho một tập dữ liệu lấy vị kỷ làm trung tâm trở nên sẵn sàng để xây dựng mô hình?
Cho dù bạn đang tự xây dựng hệ thống hay đánh giá các nhà cung cấp dữ liệu theo kiểu "tự thân vận động", năm yếu tố sau đây sẽ phân biệt dữ liệu đạt tiêu chuẩn nghiên cứu với dữ liệu có thể sử dụng trong môi trường sản xuất:
- Độ sâu chú thích dữ liệu theo góc nhìn cá nhân. Không chỉ là các khung bao quanh. Tư thế tay, trạng thái đối tượng, các bước hành động và ý định — tất cả đều được căn chỉnh vào đúng khung hình.
- Hiệu chuẩn cảm biến. Đồng bộ hóa thời gian giữa video, độ sâu, âm thanh và chuyển động để mô hình nhận thấy một khoảnh khắc liền mạch, chứ không phải năm luồng dữ liệu rời rạc.
- Bao quát các trường hợp ngoại lệ. Ánh sáng yếu, vật cản, cảnh đông đúc, sự kiện hiếm gặp. Những trường hợp mà dữ liệu phòng thí nghiệm thường bỏ sót những lỗ hổng. Các cuộc khảo sát người mua trong ngành luôn xếp chất lượng chú thích và độ bao phủ các trường hợp ngoại lệ là hai tiêu chí hàng đầu khi đánh giá các đối tác dữ liệu.
- Sự đồng thuận và tuân thủ. Video góc nhìn thứ nhất vốn dĩ đã nhạy cảm. Các bộ dữ liệu cần có sự đồng ý bằng văn bản của người tham gia, ẩn danh khuôn mặt khi cần thiết và tuân thủ các khuôn khổ như GDPR và HIPAA. Các biện pháp kiểm soát của nhà cung cấp như ISO 27001 và SOC 2 Loại II bổ sung thêm lớp thủ tục mà các nhóm pháp lý doanh nghiệp mong đợi.
- Sự sẵn sàng từ mô phỏng sang thực tế. Dữ liệu thực tế được kết hợp hoàn hảo với dữ liệu tổng hợp, cho phép các nhóm mở rộng quy mô huấn luyện mà không làm mất đi nền tảng giúp mô hình trở nên đáng tin cậy.
Việc thu thập dữ liệu chất lượng là phần khó sửa chữa nhất về sau. Hãy làm đúng ngay từ đầu, và phần còn lại của quy trình sẽ đơn giản hơn.
Những điểm chính
- Tập dữ liệu lấy người làm trung tâm là dữ liệu video và cảm biến từ góc nhìn người thứ nhất. — được ghi lại từ góc nhìn của chính diễn viên — được sử dụng để huấn luyện robot và các mô hình trí tuệ nhân tạo có hình thể theo cách chúng sẽ thực sự nhìn thấy thế giới trong quá trình triển khai.
- Dữ liệu từ góc nhìn người thứ nhất giúp thu hẹp khoảng cách giữa nhận thức và hành động. Điều đó khiến các robot được huấn luyện trong phòng thí nghiệm gặp sự cố trong các ca làm việc thực tế.
- Dữ liệu vị kỷ chất lượng cao là dữ liệu đa phương thức. — Video, độ sâu, âm thanh, chuyển động và theo dõi — được đồng bộ hóa đến từng mili giây.
- "Sẵn sàng cho sản xuất" không chỉ đơn thuần là chú thích. — Điều đó có nghĩa là bao quát các trường hợp ngoại lệ, môi trường thực tế, khả năng chuyển đổi từ mô phỏng sang thực tế và hồ sơ tuân thủ được ghi chép đầy đủ.
Shaip có thể giúp gì
Nếu nhóm của bạn đã vượt qua giai đoạn "chúng ta có cần dữ liệu vị kỷ hay không" và đang ở giai đoạn "làm thế nào để thực sự thu thập được dữ liệu đó", thì Shaip chính là người phù hợp.
Chúng tôi vận hành toàn bộ quy trình dữ liệu đằng sau các chương trình AI vật lý — thu thập dữ liệu góc nhìn thứ nhất trong môi trường thực, chú thích dữ liệu cấp độ VLA, dữ liệu tổng hợp, RLHF và các tiêu chuẩn đánh giá trong cùng một dự án. Một vài chi tiết cụ thể:
- Hình ảnh thu được trong điều kiện thực tế, không phải hình ảnh trong phòng thí nghiệm. Camera gắn trên đầu, kính thông minh và các thiết bị đeo được ứng dụng rộng rãi trong nhà bếp, nhà kho, nhà máy, cơ sở chăm sóc sức khỏe và cửa hàng.
- Đồng bộ hóa đa cảm biến. Video, IMU, LiDAR, âm thanh và độ sâu — được hiệu chỉnh và đồng bộ hóa đến từng mili giây.
- Hệ thống chú thích được xây dựng cho mục đích đào tạo VLA. Các đối tượng, hành động, tương tác giữa tay và đối tượng, ý định và bối cảnh không gian.
- Hỗ trợ chuyển đổi từ tài khoản ảo sang tài khoản thật. Công nghệ tạo dữ liệu tổng hợp và quy trình Real2Sim mở rộng phạm vi phủ sóng mà không làm mất đi tính thực tế.
- Tuân thủ ngay từ ngày đầu tiên. Đạt chứng nhận ISO 27001, SOC 2 Loại II, tuân thủ HIPAA và GDPR — với phương thức thu thập dữ liệu dựa trên sự đồng ý của người dùng và nguồn gốc dữ liệu sẵn sàng cho kiểm toán.
Nếu điều đó phù hợp với hướng đi của chương trình AI vật lý của bạn, chúng tôi rất sẵn lòng thảo luận và triển khai thử nghiệm.
Kết luận
Bộ dữ liệu lấy người dùng làm trung tâm không chỉ đơn thuần là video quay từ góc nhìn người thứ nhất. Đó là một phương pháp có cấu trúc để dạy máy móc nhìn nhận và hành động theo cách con người làm. Đối với các nhóm nghiên cứu robot và trí tuệ nhân tạo thể hiện qua hình thể, đó là sự khác biệt giữa một mô hình trình diễn tốt và một mô hình được đưa vào sử dụng. Cho dù mục tiêu là người máy hình người, khả năng tự hành hay nhà máy thông minh, dữ liệu lấy người dùng làm trung tâm cho việc phát triển robot và trí tuệ nhân tạo đang trở thành một lớp cốt lõi trong mọi chiến lược bộ dữ liệu trí tuệ nhân tạo thể hiện qua hình thể nghiêm túc — chứ không phải là một tùy chọn. Các nhóm làm đúng là những nhóm coi dữ liệu — thu thập, chú thích, xác thực và tuân thủ — là một phần cốt lõi của hệ thống, chứ không phải là một bước trước đó.
Nói một cách đơn giản, tập dữ liệu vị kỷ là gì?
Đó là một tập hợp có cấu trúc các bản ghi video và cảm biến được thu thập từ góc nhìn người thứ nhất — thường là từ một camera đeo trên đầu, ngực hoặc cổ tay — được sử dụng để huấn luyện các hệ thống AI về cách con người nhìn nhận và thực hiện các nhiệm vụ.
Tại sao các đội chế tạo robot cần dữ liệu góc nhìn thứ nhất thay vì video góc nhìn thứ ba thông thường?
Video góc nhìn thứ ba cho thấy hiện trường từ quan sát của người ngoài cuộc. Robot hoạt động từ góc nhìn của chính chúng. Việc huấn luyện trên dữ liệu góc nhìn thứ nhất thu hẹp khoảng cách giữa những gì mô hình học được và những gì robot thực sự nhìn thấy trong quá trình làm việc, với những cải thiện về độ chính xác được ghi nhận từ 15–30% trong các nhiệm vụ thao tác.
Những loại cảm biến nào thường được sử dụng để thu thập dữ liệu từ góc nhìn người dùng?
Camera RGB, cảm biến độ sâu, cảm biến chuyển động (IMU) và âm thanh. Nhiều hệ thống cũng bổ sung thêm tính năng theo dõi tay hoặc mắt. Đối với robot tự hành, LiDAR đôi khi được tích hợp thêm để lập bản đồ không gian.
Dữ liệu vị kỷ đóng vai trò như thế nào trong quá trình huấn luyện thị giác-ngôn ngữ-hành động (VLA)?
Các mô hình VLA nhận đầu vào hình ảnh và hướng dẫn ngôn ngữ, sau đó xuất ra một hành động. Dữ liệu vị kỷ cung cấp cho chúng bộ ba hình ảnh, hướng dẫn và kết quả phù hợp mà chúng cần để học cách ánh xạ đó một cách đáng tin cậy.
Điều gì phân biệt một tập dữ liệu vị kỷ cấp độ nghiên cứu với một tập dữ liệu cấp độ triển khai?
Ba điều cần thiết: chất lượng chú thích chặt chẽ hơn, phạm vi bao phủ môi trường rộng hơn trong các thiết lập thực tế thay vì phòng thí nghiệm, và một hồ sơ tuân thủ được ghi chép đầy đủ về sự đồng ý, quyền riêng tư và nguồn gốc dữ liệu sẵn sàng cho kiểm toán.
