Robot có thể nhìn thấy. Các bộ dữ liệu hình ảnh quy mô internet và một thập kỷ tinh chỉnh các mô hình đã làm cho điều đó trở nên khả thi. Nhưng nếu yêu cầu một robot thực sự nhặt một thùng carton bị bẹp một nửa, luồn dây cáp, hoặc đưa dụng cụ cho bác sĩ phẫu thuật, thì mọi chuyện sẽ trở nên rắc rối. Không phải vì camera bị hỏng. Mà bởi vì không có gì trong quá trình huấn luyện của robot dạy nó cảm giác tiếp xúc là như thế nào. Xúc giác là giác quan mà Trí tuệ Nhân tạo Vật lý đã quên mất, và lý do đơn giản hơn hầu hết các nhóm nghiên cứu mong đợi: tín hiệu huấn luyện vẫn chưa tồn tại. Bài viết này nói về chính tín hiệu đó — dữ liệu cảm biến xúc giácNó thực sự chứa gì, được sản xuất như thế nào, và cần được dán nhãn gì trước khi trở nên hữu ích. Bỏ qua bất kỳ câu hỏi nào trong ba câu hỏi đó, các mô hình sẽ vẫn mù mịt ở khía cạnh quan trọng nhất đối với việc thao túng.
Bốn loại tín hiệu bên trong dữ liệu cảm biến xúc giác
Điều sai lầm đầu tiên là "cảm giác xúc giác" được coi như một khái niệm duy nhất. Trên thực tế, một mô hình học cách thao tác cần bốn loại tín hiệu riêng biệt, mỗi loại được thu nhận bởi phần cứng khác nhau và mỗi loại dạy cho mô hình một điều khác nhau. Phân bố áp lực cung cấp thông tin cho robot. Ở đâu và thật khó Sự tiếp xúc diễn ra trên toàn bộ vùng tiếp xúc — đủ để ước tính chất lượng kẹp và vị trí của vật thể bên trong bộ kẹp. Rung động thu nhận các xung động tần số cao: các sự kiện nhỏ báo hiệu sự trượt, va chạm hoặc tiếng cọ xát của một bề mặt có kết cấu trượt trên một bề mặt khác. Lực và mô-men xoắn mô tả sự trao đổi cơ học ròng tại cổ tay hoặc khớp — sự khác biệt giữa việc nhấn một nút và uốn cong nó. Cảm thụ bản thể là cảm nhận của robot về chính cơ thể của nó: vị trí các ngón tay, độ mở của bộ kẹp, trạng thái khớp tại thời điểm chính xác xảy ra tiếp xúc. Một mô hình được huấn luyện trên bất kỳ một trong những yếu tố này một cách riêng lẻ sẽ chỉ hoạt động như một robot một tay.
| Lớp tín hiệu | Những gì nó đo lường | Tỷ lệ bắt giữ điển hình | Điều nó dạy cho mô hình là gì? |
|---|---|---|---|
| Sức ép | Vị trí tiếp xúc, hình dạng, cường độ | 100 góc500 Hz | Chất lượng kẹp, tư thế vật thể trong bộ kẹp |
| Rung | Hiện tượng quá độ tiếp xúc tần số cao | 1–5 kHz | Sự khởi đầu của hiện tượng trượt, va chạm, kết cấu bề mặt |
| Lực / Mô-men xoắn | Tải trọng cơ học tổng tại khớp | 500 góc1,500 Hz | Lực chèn, độ đàn hồi, giới hạn tiếp xúc an toàn |
| Sự lừa gạt | Bộ kẹp và trạng thái khớp | 100 góc1,000 Hz | Nhận thức về cơ thể, suy luận về sự biến dạng |
Dữ liệu cảm biến xúc giác được thu thập như thế nào?
Không giống như dữ liệu thị giác, không thể thu thập dữ liệu này một cách tự động. Mỗi mẫu dữ liệu phải được tạo ra bởi một cảm biến thực sự tiếp xúc với một vật thể thực. Có ba chế độ thu thập dữ liệu thực tế, và các chương trình chuyên nghiệp thường chạy cả ba chế độ song song.
Trình diễn của con người được điều khiển từ xa
Một người vận hành lành nghề điều khiển robot thực hiện một nhiệm vụ — nhặt, chèn, chuyển giao — trong khi toàn bộ hệ thống cảm biến ghi lại. Vì có sự tham gia của con người, nên các quỹ đạo chuyển động được xác định là thành công và đa dạng, đồng thời ghi lại các chiến lược ngầm mà con người sử dụng để khắc phục những sai sót nhỏ. Đây chính là xương sống của các quy trình học tập dựa trên bắt chước và thị giác-ngôn ngữ-hành động.
Các công cụ tương tác theo kịch bản
Robot thực hiện các chuyển động được lập trình trên một tập hợp các vật thể được lựa chọn kỹ lưỡng, thường ở các tốc độ, góc độ và áp lực khác nhau. Chế độ này là vô song để bao phủ các chế độ tiếp xúc cụ thể — ví dụ: "năm mươi lần cắm đầu nối này ở mười góc độ cắm khác nhau và ba điều kiện ma sát khác nhau." Đó là cách bạn xây dựng các tập dữ liệu để cô lập một biến số duy nhất.
Chụp ảnh trong quá trình triển khai
Khi robot hoạt động trong môi trường thực tế, mỗi ca làm việc sẽ tạo ra dữ liệu mới — bao gồm cả những sự kiện hiếm gặp mà bạn chưa từng nghĩ đến việc lập trình. Việc khép kín vòng lặp giữa triển khai và huấn luyện lại chính là nguồn gốc của những cải tiến năng lực lâu dài.
Hãy hình dung một nhà sản xuất thiết bị gia dụng đang triển khai một hệ thống cần cẩu hai tay để định tuyến dây dẫn cho máy rửa chén. Mô phỏng đã giúp nhóm tạo ra một nguyên mẫu hoạt động. Sáu tuần trình diễn điều khiển từ xa — một kỹ thuật viên giàu kinh nghiệm hướng dẫn các cần cẩu đi qua hàng trăm bó dây dẫn thực tế với khả năng ghi lại toàn bộ quá trình thao tác — là điều đã giúp hệ thống vượt qua được khâu sản xuất hàng loạt. Các nhóm thực hiện các chương trình ở quy mô này thường dựa vào một chuyên gia. Đối tác thu thập dữ liệu AI vật lý Để bố trí nhân sự vận hành, điều phối các giàn khoan và quản lý sự đồng bộ đa phương thức nhằm giúp dữ liệu thu được thực sự có thể dùng để huấn luyện.
Một lưu ý về mô phỏng: nó rất có giá trị, nhưng bản thân nó không thể truyền tải cảm giác xúc giác. Vật lý tiếp xúc được mô phỏng vẫn khác biệt đáng kể so với ma sát, biến dạng và trượt trong thế giới thực — đặc biệt là đối với các vật liệu mềm dẻo hoặc dễ uốn. Dữ liệu xúc giác tổng hợp bổ sung cho tập dữ liệu thực tế, chứ không thay thế hoàn toàn tập dữ liệu thực tế.
Dữ liệu xúc giác cần được dán nhãn bằng loại nhãn nào?
Luồng dữ liệu cảm biến thô không phải là dữ liệu huấn luyện. Chúng chỉ trở thành dữ liệu huấn luyện khi người chú thích đã đánh dấu những gì thực sự đã xảy ra, khi nào nó xảy ra và mức độ thành công ra sao. Năm nhóm nhãn quan trọng nhất.
Nhãn kết quả nắm bắt: Thành công, trượt chân, nắm lại, thất bại — áp dụng cho mọi thao tác. Đây là tín hiệu giám sát cho mọi thứ diễn ra sau đó.
Ranh giới vùng tiếp xúc và mốc thời gian bắt đầu trượt: Khoảnh khắc kẹp chạm vào vật thể. Khoảnh khắc vật thể bắt đầu di chuyển trong kẹp. Khoảnh khắc nhả ra. Độ chính xác ở đây được đo bằng hàng chục mili giây, bởi vì đó là nơi mà mô hình có thể học được tồn tại.
Giá trị độ lớn lực trong ngoặc: Các khoảng lực rời rạc được phân chia ở mỗi giai đoạn tương tác — tiếp cận, tiếp xúc, đặt vào vị trí, giữ, thả ra. Điều này cho phép mô hình học được hình dạng của một lực chèn "bình thường", và do đó nhận ra khi nào có điều gì đó bất thường.
Nhãn ghép nối thị giác-xúc giác: Mỗi sự kiện xúc giác đều được căn chỉnh phù hợp với khung hình thị giác đi kèm và trạng thái cảm thụ bản thể tại thời điểm đó. Sự không đồng bộ giữa các phương thức cảm nhận sẽ khiến mô hình tự tin tạo ra các mối tương quan sai lệch, điều này còn tệ hơn cả việc không có dữ liệu.
Ước tính độ biến dạng và độ đàn hồi: Đối với các vật thể dễ biến dạng, mềm hoặc dễ vỡ, người ghi chú sẽ ghi lại sự thay đổi của vật thể khi được cầm nắm, và độ đàn hồi mà lực tiếp xúc tạo ra.
Việc gắn nhãn như thế này gần giống với việc dạy ai đó chơi nhạc cụ bằng tai hơn là gắn thẻ ảnh. Người chú thích không vẽ một khung xung quanh người đi bộ; họ đang xác định chính xác thời điểm một mẫu thay đổi trong tín hiệu 1,500 Hz và đặt tên cho sự thay đổi đó. Các chương trình sản xuất dựa trên các phần mềm được thiết kế chuyên dụng. Quy trình chú thích xúc giác và đa phương thức Với quy trình kiểm soát chất lượng theo từng giai đoạn, bởi vì chỉ một người ghi chú cẩu thả cũng có thể âm thầm làm hỏng toàn bộ quá trình huấn luyện.
Kết luận — Từ “Không cảm nhận được” đến “Biết cảm nhận điều gì”
Bước nhảy vọt từ robot có khả năng nhìn sang robot có khả năng cảm nhận không phải là bước nhảy vọt về phần cứng. Đó là bước nhảy vọt về dữ liệu giúp các mô hình hiểu được ý nghĩa thực sự của xúc giác. Áp lực, độ rung, lực, cảm giác về vị trí cơ thể — được thu thập đồng bộ, thông qua tương tác thực tế và được chú thích với độ chính xác mà vật lý yêu cầu. Các nhóm đang xây dựng Hệ thống AI vật lý Những người làm việc trong mọi ca, không chỉ trong các buổi trình diễn, là những người coi dữ liệu cảm biến xúc giác như tín hiệu huấn luyện: hẹp, đắt đỏ, không thể thay thế và là lớp duy nhất biến một robot từ thứ chỉ quan sát thế giới thành thứ có thể hành động đáng tin cậy trong đó.
Dữ liệu cảm nhận xúc giác bao gồm những gì?
Bất kỳ tín hiệu cảm biến nào được thu thập tại hoặc gần điểm tiếp xúc — bản đồ áp suất, dấu vết rung động, các chỉ số lực-mô-men xoắn và trạng thái cảm thụ bản thể của chính robot trong quá trình tiếp xúc. Định nghĩa hữu ích này bao gồm cả bốn loại vì chúng hầu như luôn cần thiết cùng nhau.
Dữ liệu xúc giác được thu thập trên thực tế như thế nào?
Có ba phương thức thực tiễn: trình diễn từ xa do con người điều khiển, hệ thống tương tác được lập trình sẵn nhằm cô lập các điều kiện cụ thể, và ghi hình trong quá trình vận hành từ robot. Các chương trình sản xuất sử dụng cả ba phương thức này.
Dữ liệu xúc giác có thể được tạo ra trong mô phỏng không?
Một phần nào đó. Mô phỏng rất tốt cho các tình huống phức tạp và hiếm gặp, nhưng vật lý tiếp xúc được mô phỏng vẫn khác xa so với thực tế — đặc biệt là đối với ma sát, trượt và vật liệu biến dạng. Dữ liệu xúc giác tổng hợp bổ sung cho dữ liệu thực tế; chứ không thay thế hoàn toàn dữ liệu thực tế.
Dữ liệu xúc giác cần những chú thích nào?
Nắm bắt kết quả, ranh giới chế độ tiếp xúc và dấu thời gian trượt, phạm vi cường độ lực ở mỗi giai đoạn, sự kết hợp giữa thị giác và xúc giác, và ước tính biến dạng hoặc độ đàn hồi. Mỗi nhóm nhãn dạy cho mô hình một khía cạnh khác nhau của thao tác.
Tại sao lại không có bộ dữ liệu xúc giác công khai nào ở quy mô như ImageNet?
Vì dữ liệu xúc giác chỉ có thể được tạo ra thông qua tiếp xúc vật lý — từng cảm biến một, từng vật thể một, từng sự kiện một. Không có phương pháp thu thập dữ liệu tương đương, đó chính là lý do tại sao các chương trình thu thập và chú thích dữ liệu chuyên dụng lại là yếu tố then chốt trong Trí tuệ Nhân tạo Vật lý.
