Sự chuyển đổi từ chatbot sang robot tuân theo các lệnh bằng ngôn ngữ tự nhiên xoay quanh một lớp mô hình duy nhất. Mô hình VLA — mô hình thị giác-ngôn ngữ-hành động — kết hợp khả năng nhận thức hình ảnh, hiểu ngôn ngữ và tạo hành động trong một mạng nơ-ron duy nhất. Sức mạnh của chúng là có thật, nhưng nó phụ thuộc gần như hoàn toàn vào dữ liệu huấn luyện mà chúng tiếp nhận. Hướng dẫn này giải thích dữ liệu huấn luyện VLA thực sự chứa những gì, những gì các nhóm thường đánh giá thấp và cách lập kế hoạch tập dữ liệu tạo ra một mô hình đáng để triển khai.
Các nội dung chính
- Các mô hình VLA ánh xạ trực tiếp đầu vào thị giác và ngôn ngữ thành các hành động của robot trong một mạng lưới duy nhất.
- Dữ liệu huấn luyện phải bao gồm các quan sát trực quan đồng bộ, hướng dẫn bằng ngôn ngữ và hành động.
- Các token hành động riêng lẻ cần dữ liệu minh họa quy mô lớn để học hỏi hiệu quả.
- Video ghi lại hành vi cá nhân của con người ngày càng được khai thác như một nguồn tài liệu đào tạo trước VLA chi phí thấp.
- Các đợt đánh giá mạnh mẽ cũng quan trọng như dữ liệu huấn luyện để triển khai đáng tin cậy.
- Việc tinh chỉnh VLA thành công hay thất bại phụ thuộc vào độ chính xác của chú thích, chứ không chỉ dựa vào khối lượng dữ liệu thô.
Mô hình VLA là gì?
Mô hình VLA là một mô hình nền tảng robot nhận hình ảnh và hướng dẫn bằng ngôn ngữ tự nhiên làm đầu vào và xuất ra các hành động của robot. Không giống như các quy trình truyền thống tách biệt nhận thức, lập kế hoạch và điều khiển thành các mô-đun khác nhau, các mô hình thị giác-ngôn ngữ-hành động học được một ánh xạ đầu cuối trong một mạng duy nhất.
Mô hình VLA: Một mạng nơ-ron nhận các quan sát hình ảnh được đồng bộ hóa và các chỉ dẫn bằng ngôn ngữ tự nhiên để tạo ra các chuỗi hành động của robot hoặc các mã hành động.
Thiết kế thống nhất này cho phép các mô hình VLA kế thừa khả năng suy luận từ quá trình huấn luyện ngôn ngữ-hình ảnh quy mô lớn và mở rộng chúng bằng khả năng điều khiển vận động. Về mặt triển khai, điều đó có nghĩa là về nguyên tắc, một mô hình có thể thực hiện nhiều nhiệm vụ — nhưng chỉ khi dữ liệu huấn luyện của nó bao gồm các nhiệm vụ đó với cấu trúc phù hợp.
Dữ liệu đào tạo của VLA thực chất chứa những gì?
Dữ liệu huấn luyện VLA bao gồm bốn thành phần cốt lõi cho mỗi tập: quan sát trực quan, hướng dẫn bằng ngôn ngữ tự nhiên, quỹ đạo hành động và nhãn thành công hoặc thất bại. Xung quanh đó, các nhóm bổ sung thêm dấu thời gian, trạng thái cảm thụ bản thể và các chỉ số đánh giá.
Bốn lớp bắt buộc:
- Quan sát trực quan — Khung hình RGB, thường được kết hợp với hình ảnh chiều sâu hoặc hình ảnh từ camera đeo trên cổ tay.
- Hướng dẫn ngôn ngữ — Các lệnh ngắn gọn bằng ngôn ngữ tự nhiên như "rót nước vào cốc".
- Quỹ đạo hành động — Các chuỗi hành động rời rạc hoặc liên tục được ánh xạ tới các bậc tự do của robot.
- Nhãn kết quả — Các mốc đánh dấu rõ ràng về sự thành công, thất bại hoặc hoàn thành một phần cho mỗi tập.
Một mô hình VLA mở với 7 tỷ tham số đã được huấn luyện trên hơn một triệu tập dữ liệu từ 22 hình dạng robot khác nhau (Stanford et al., 2024), minh họa sự đa dạng cần thiết cho khả năng khái quát hóa giữa các nhiệm vụ. Nếu không có sự đa dạng này, các mô hình VLA có xu hướng ghi nhớ các đối tượng cụ thể hơn là khái quát hóa.
Tại sao việc chú thích hành động lại khó hơn việc chú thích hình ảnh?
Việc chú thích hành động khó hơn vì các hành động tồn tại trong không gian đa chiều liên tục và phụ thuộc vào hình dạng cụ thể của robot, chứ không chỉ nội dung khung hình. Việc gắn nhãn cho một khung bao quanh chiếc cốc thì đơn giản; nhưng việc gắn nhãn cho một quỹ đạo mà robot nắm bắt thành công chiếc cốc đó bằng một bộ kẹp cụ thể tại một điểm tiếp xúc cụ thể thì không hề đơn giản.
Mã hành động: Một dạng biểu diễn rời rạc của chuyển động robot hoặc độ dịch chuyển của đầu cuối mà mô hình VLA có thể dự đoán, giống như một mã ngôn ngữ.
Các nhóm chú thích cần phải căn chỉnh từng mã hành động với quan sát được đồng bộ hóa, đánh dấu thời điểm tiếp xúc, ghi lại quá trình phục hồi lỗi và gắn thẻ các ranh giới nguyên tử của hướng dẫn ngôn ngữ. (Shaip's) chú thích dữ liệu Các quy trình làm việc xử lý vấn đề này ở quy mô lớn, với các hệ thống phân loại có cấu trúc được điều chỉnh phù hợp với không gian hành động của robot và ngưỡng chấp nhận cho từng nhiệm vụ.
Video mang tính vị kỷ của con người phù hợp như thế nào với chương trình đào tạo VLA?
Video do con người quay từ góc nhìn cá nhân đóng vai trò là nguồn dữ liệu huấn luyện sơ bộ có thể mở rộng, lấp đầy những khoảng trống mà dữ liệu robot thực tế không thể đáp ứng. Cảnh quay người thật nấu ăn, chọn lựa và lắp ráp ghi lại các hành vi ở quy mô mà điều khiển từ xa bằng robot sẽ không bao giờ đạt được.
Một bài báo gần đây đã chuyển đổi các video quay từ góc nhìn cá nhân không có cấu trúc thành các tập phim định dạng VLA — 1 triệu phân đoạn và 26 triệu khung hình — bằng cách coi bàn tay con người như một bộ phận thực hiện thao tác khéo léo (Wu et al., arXiv, 2025). Loại dữ liệu đa hình thái này hiện đã trở thành quy trình thường quy trong các công thức huấn luyện trước VLA.
Vấn đề nằm ở chỗ: video thô không phải là dữ liệu huấn luyện. Nó cần được phân đoạn, mô tả ngôn ngữ, điều chỉnh tư thế tay và kiểm định chất lượng trước khi được đưa vào quy trình xử lý VLA. (Shaip's) AI vật lý Các thao tác xử lý dữ liệu bao gồm thu thập dữ liệu từ góc nhìn người dùng, chuyển đổi từ dữ liệu thực sang dữ liệu mô phỏng và chú thích được căn chỉnh theo VLA trong một lần phân phối duy nhất.
Làm thế nào để xây dựng các bộ dữ liệu đánh giá nhằm phát hiện các lỗi của VLA?
Bộ dữ liệu đánh giá giúp phát hiện các lỗi của VLA khi chúng được thiết kế trước khi huấn luyện, chứ không phải sau đó. Ba cấu trúc quan trọng nhất là: các tiêu chuẩn thành công trong phạm vi phân phối, các phép kiểm tra khả năng khái quát hóa ngoài phạm vi phân phối và các kịch bản an toàn theo mức độ rủi ro.
Hãy tưởng tượng một mô hình VLA gia đình được đào tạo chuyên sâu về các công việc trong nhà bếp. Một bộ đánh giá hợp lý sẽ kiểm tra: các công việc đã biết trong nhà bếp đã biết (phân bổ nhiệm vụ), các công việc đã biết trong điều kiện ánh sáng không quen thuộc (mức độ suy giảm nhận thức nhẹ), các vật thể chưa biết với hướng dẫn đã biết (khái quát hóa khái niệm) và các sự kiện hiếm gặp như làm đổ thức ăn ngoài ý muốn (mức độ an toàn). Nếu thiếu bất kỳ yếu tố nào trong số này, rủi ro khi triển khai sẽ không được đo lường.
Một nguồn tài liệu trung lập hữu ích để tổ chức phạm vi bảo hiểm theo mức độ rủi ro là... Khung quản lý rủi ro NIST AIĐiều này giúp phân tách các cấp độ tác động theo cách phù hợp với thiết kế bộ dữ liệu đánh giá.
Dữ liệu đào tạo của VLA: cần dự trù ngân sách cho khoản nào?
| lớp | Nó bao gồm những gì | Cạm bẫy phổ biến |
|---|---|---|
| Quan sát trực quan | Camera đa góc nhìn RGB, cảm biến độ sâu, camera đeo cổ tay | Dấu thời gian bị thiếu hoặc không đồng bộ |
| Ngôn ngữ | Hướng dẫn, mô tả nguyên tử | Cách diễn đạt mơ hồ, không tương ứng với hành động thực tế. |
| Quỹ đạo hành động | Các mã thông báo riêng lẻ hoặc các điều khiển liên tục | Không có sự phù hợp với hình dạng robot |
| Đánh giá | Các tập phim, các cuộc thăm dò OOD, các cấp độ an toàn | Được thiết kế quá muộn, sau khi mô hình bị đóng băng. |
Kết luận: Mô hình VLA thành công hay thất bại phụ thuộc vào tập dữ liệu.
Khả năng tối đa của mô hình VLA được xác định bởi dữ liệu huấn luyện của nó — độ rộng, độ sâu chú thích và độ nghiêm ngặt trong đánh giá. Các nhóm lập kế hoạch cho tập dữ liệu như một sản phẩm, chứ không phải là một ý tưởng nảy sinh sau đó, sẽ triển khai thành công trước. Các nhóm chỉ thu thập dữ liệu video và hy vọng vào khả năng phát sinh thường không đạt được điều đó.
Mô hình VLA và chính sách robot khác nhau ở điểm nào?
Sự khác biệt nằm ở phạm vi. Một chính sách robot truyền thống sẽ ánh xạ các quan sát thành hành động cho một nhiệm vụ hoặc một nhóm nhiệm vụ nhỏ. Mô hình VLA là một chính sách kiểu nền tảng nhằm mục đích xử lý nhiều nhiệm vụ trên nhiều đối tượng, dựa trên các hướng dẫn bằng ngôn ngữ tự nhiên. Cả hai đều là các chính sách; mô hình VLA chỉ đơn giản là phiên bản tổng quát hơn được huấn luyện trên dữ liệu rộng hơn, phù hợp với ngôn ngữ.
Một lần tinh chỉnh thường cần bao nhiêu dữ liệu huấn luyện VLA?
Quá trình tinh chỉnh thường sử dụng từ vài nghìn đến vài trăm nghìn bản demo chất lượng cao, tùy thuộc vào độ phức tạp của nhiệm vụ và sức mạnh của mô hình cơ sở. Các kiến trúc VLA được huấn luyện trước giúp giảm đáng kể yêu cầu về khối lượng dữ liệu. Yếu tố quyết định là chất lượng chú thích và độ chính xác của hướng dẫn ngôn ngữ, chứ không chỉ đơn thuần là số lượng tập dữ liệu.
Liệu có thể huấn luyện mô hình VLA hoàn toàn dựa trên dữ liệu mô phỏng không?
Việc huấn luyện mô hình VLA hoàn toàn dựa trên dữ liệu mô phỏng là khả thi nhưng hiếm khi đủ để triển khai thực tế. Mô phỏng xử lý tốt sự đa dạng và các sự kiện hiếm gặp; việc thu thập dữ liệu thực tế tạo cơ sở cho động lực tiếp xúc và chuyển đổi từ mô phỏng sang thực tế. Hầu hết các quy trình sản xuất đều kết hợp cả hai, với các bài kiểm tra hiệu năng được ghép nối để đo lường rõ ràng khoảng cách hiệu năng giữa mô phỏng và thực tế.
Dữ liệu huấn luyện VLA yêu cầu những loại cảm biến nào?
Dữ liệu huấn luyện VLA tối thiểu yêu cầu video RGB được đồng bộ hóa và quỹ đạo chuyển động. Các hệ thống xử lý hiệu năng cao bổ sung thêm chiều sâu, góc nhìn từ camera đeo cổ tay, âm thanh, IMU và các chỉ số lực hoặc mô-men xoắn tùy thuộc vào loại nhiệm vụ. Chi tiết không thể thiếu là đồng bộ hóa thời gian giữa các phương thức – nếu không, tín hiệu ngôn ngữ và hành động sẽ bị lệch nhau trong quá trình huấn luyện.
Làm thế nào để đánh giá chất lượng của bộ dữ liệu VLA trước khi huấn luyện?
Việc đánh giá bộ dữ liệu VLA dựa trên bốn bước kiểm tra: độ chính xác của việc khớp ngôn ngữ-hành động, tính nhất quán của việc phân đoạn tập, độ rộng phạm vi bao phủ không gian hành động và khả năng thể hiện các trường hợp ngoại lệ. Việc xem xét thủ công dựa trên mẫu với hiệu chuẩn bằng bộ dữ liệu chuẩn là điểm khởi đầu đáng tin cậy nhất. Sự nhất trí giữa các người chú thích trên 95% về nhãn hành động là ngưỡng sản xuất phổ biến.
Dữ liệu huấn luyện VLA có giống với dữ liệu học tập bắt chước không?
Dữ liệu huấn luyện VLA là tập hợp con của dữ liệu học tập bắt chước. Dữ liệu học tập bắt chước tập trung vào các cặp quan sát-hành động từ các bài trình diễn. Dữ liệu VLA bổ sung thêm hướng dẫn ngôn ngữ, cấu trúc đa nhiệm và phạm vi bao phủ đa hình thái quy mô lớn để mô hình có thể khái quát hóa vượt ra ngoài các quỹ đạo đã ghi nhớ.
