Trong các cuộc thảo luận về robot, có hai loại mô hình thường bị nhầm lẫn: mô hình ngôn ngữ-hình ảnh (Visual-Language - VLM) và mô hình ngôn ngữ-hình ảnh-hành động (Visual-Language-Action - VLA). Chúng nghe có vẻ giống nhau, cả hai đều tiếp nhận hình ảnh và văn bản, và cả hai đều xuất phát từ cùng một nguồn gốc của quá trình huấn luyện đa phương thức. Nhưng đối với bất kỳ ai đang cố gắng triển khai một hệ thống AI có khả năng di chuyển — chứ không chỉ mô tả — thì sự khác biệt này là rất quan trọng. VLM so với VLA là sự khác biệt giữa một mô hình hiểu được một khung cảnh và một mô hình hoàn thiện vòng lặp với thế giới vật lý.
Các nội dung chính
- VLM (Virtual Language Learning) ánh xạ hình ảnh và văn bản thành đầu ra ngôn ngữ; VLA (Virtual Language Learning) ánh xạ chúng thành các hành động của robot.
- Các mô-đun VLM không thể trực tiếp điều khiển động cơ, kẹp hoặc bộ phận cuối của robot.
- VLA mở rộng VLM bằng các token hành động được huấn luyện trên dữ liệu trình diễn của robot.
- Hầu hết các kiến trúc VLA đều tinh chỉnh hệ thống xương sống VLM trong các đợt trình diễn.
- Robot cấp độ triển khai cần dữ liệu huấn luyện kiểu VLA, chứ không chỉ dữ liệu VLM.
- Nhầm lẫn giữa hai điều này dẫn đến việc đánh giá quá cao khả năng của mô hình nhận thức trong thực tế sản xuất.
VLM là gì?
Mô hình ngôn ngữ-hình ảnh (VLM) là một mạng nơ-ron đa phương thức nhận hình ảnh và văn bản làm đầu vào và tạo ra văn bản hoặc đầu ra có cấu trúc. VLM được huấn luyện trên các cặp hình ảnh-văn bản ở quy mô lớn và rất hiệu quả trong việc chú thích hình ảnh, trả lời câu hỏi trực quan và suy luận trực quan.
VLM: Một mô hình đa phương thức tiếp nhận đầu vào là hình ảnh và ngôn ngữ, sau đó tạo ra đầu ra là ngôn ngữ hoặc ký hiệu, chẳng hạn như chú thích, phân loại hoặc chuỗi suy luận.
Mô hình ngôn ngữ ảo (VLM) rất mạnh mẽ — nhưng không gian đầu ra của chúng mang tính biểu tượng, chứ không phải vật lý. Chúng có thể mô tả những gì đang xảy ra trong nhà bếp, nhận dạng một vật thể hoặc trả lời các câu hỏi về một khung cảnh. Chúng không thể nhặt bất cứ thứ gì lên.
VLA là gì?
Mô hình VLA (thị giác-ngôn ngữ-hành động) là một mô hình đa phương thức nhận đầu vào là thị giác và ngôn ngữ, sau đó tạo ra chuỗi hành động của robot. Không gian đầu ra bao gồm các lệnh điều khiển động cơ, tư thế của đầu cuối robot, hoặc các mã hành động được giải mã thành các tín hiệu điều khiển liên tục.
VLA: Một mô hình nền tảng robot phát ra các hành động, không phải văn bản — thường là các mã chuyển động rời rạc được ánh xạ tới các bậc tự do của robot.
Trong một trong những bài báo nền tảng thiết lập mô hình này, RT-2 đã tinh chỉnh các hệ thống ngôn ngữ-hình ảnh trên dữ liệu trình diễn của robot và xuất ra các mã hành động rời rạc (DeepMind, 2023). Sự chuyển đổi đầu ra đó — từ văn bản sang hành động — chính là toàn bộ sự khác biệt về kiến trúc.
Dữ liệu đào tạo của VLM và VLA khác nhau như thế nào?
Dữ liệu huấn luyện VLM và dữ liệu huấn luyện VLA khác nhau ở nội dung cuối mỗi ví dụ. Một ví dụ VLM ghép một hình ảnh với chú thích hoặc câu hỏi-câu trả lời. Một ví dụ VLA ghép một hình ảnh với một hướng dẫn và một quỹ đạo hành động dựa trên một hình dạng robot cụ thể.
Một phép so sánh hữu ích: VLM giống như một nhà phân tích thể thao có thể mô tả chi tiết từng pha bóng nhưng chưa bao giờ cầm bóng. VLA là người chơi. Chuyên môn của nhà phân tích là có thật và hữu ích — nhưng nó không thể thay thế cho việc thực hành cầm bóng. Dữ liệu huấn luyện VLA chính là những lần thực hành đó: các quan sát đồng bộ, hướng dẫn bằng ngôn ngữ, nhãn hành động và dấu hiệu kết quả, được lặp đi lặp lại qua hàng triệu lần.
Tại sao không thể sử dụng VLM cho robot?
Bạn không thể sử dụng VLM trực tiếp cho robot vì không gian mã thông báo đầu ra không tương ứng với các lệnh điều khiển động cơ. VLM xuất ra các từ; robot cần góc khớp, vận tốc đầu cuối hoặc trạng thái kẹp. Khoảng trống giữa "cốc ở bên trái" và "di chuyển cổ tay 4cm sang trái và đóng kẹp" là khoảng trống mà VLA lấp đầy.
Trên thực tế, nhiều nhóm tinh chỉnh VLM thành VLA bằng cách mở rộng vốn từ vựng đầu ra với các token hành động — các đơn vị chuyển động rời rạc được xử lý như từ ngữ. Điều này giúp bảo toàn khả năng suy luận của VLM đồng thời cung cấp cho nó cách thức hành động.
Mã hành động: Chuyển động của robot được rời rạc hóa và mã hóa thành một mục từ vựng mà mô hình có thể dự đoán theo cùng một cách như cách nó dự đoán một từ ngữ trong ngôn ngữ.
Hãy tưởng tượng một công ty khởi nghiệp trong lĩnh vực logistics cấp phép sử dụng một mô hình VLM chất lượng cao và cho rằng nó có thể điều khiển robot gắp và đặt hàng. Mô hình nhận diện khung cảnh một cách hoàn hảo, đưa ra kế hoạch chính xác và không tạo ra bất kỳ lệnh điều khiển động cơ nào. Nếu không được huấn luyện bằng các mã hành động, hệ thống sẽ chỉ dừng lại ở việc đưa ra kế hoạch. Việc bổ sung dữ liệu VLA (Virtual Learning Learning) chính là yếu tố mở khóa khả năng triển khai.
VLM so với VLA: So sánh song song
| kích thước | VLM | VLA |
|---|---|---|
| Đầu vào | Hình ảnh + văn bản | Hình ảnh + văn bản + (thường) trạng thái robot |
| Đầu ra | Ngôn ngữ / biểu tượng | Thẻ hành động / lệnh vận động |
| Dữ liệu đào tạo | Cặp hình ảnh-văn bản | Các tập phim với diễn biến hành động |
| Trường hợp sử dụng | Phụ đề, VQA, lý luận | Robot học, tự chủ, trí tuệ nhân tạo thể hiện |
| Phương án | Không áp dụng | Gắn liền với một robot hoặc một dòng sản phẩm cụ thể. |
| Đánh giá | Độ chính xác, BLEU, tính hữu ích | Thành công nhiệm vụ, khái quát hóa OOD, an toàn |
Khi nào nên sử dụng từng loại?
Sử dụng VLM khi nhiệm vụ kết thúc bằng mô tả, quyết định hoặc phản hồi bằng văn bản. Sử dụng VLA khi nhiệm vụ kết thúc bằng hành động vật lý.
Trong các hệ thống lai, cả hai đều có vai trò riêng. VLM xử lý việc hiểu bối cảnh cấp cao, hội thoại và suy luận. VLA xử lý việc điều khiển vòng kín. Nhiều kiến trúc sản xuất sử dụng VLM làm bộ lập kế hoạch và VLA làm bộ thực thi — đôi khi trong các thiết kế hệ thống kép, trong đó các biểu diễn tiềm ẩn được hoán đổi giữa hai thành phần. Sự khác biệt này rất quan trọng vì chúng cần dữ liệu huấn luyện, tiêu chí đánh giá và kiểm soát chất lượng khác nhau về cơ bản. (Shaip's) dịch vụ thị giác máy tính và AI vật lý Công việc vận hành dữ liệu bao gồm cả hai thái cực đó.
Kết luận
So sánh VLM và VLA không phải là một cuộc cạnh tranh; mà là sự phân công lao động. Cả hai đều thiết yếu cho trí tuệ nhân tạo thể hiện (embodied AI), và cả hai đều phụ thuộc vào dữ liệu huấn luyện phù hợp với nhiệm vụ của chúng. Việc chọn đúng mô hình có nghĩa là phải chọn đúng không gian đầu ra — và đúng bộ dữ liệu để hỗ trợ nó.
Trong lĩnh vực robot học, VLA là viết tắt của từ gì?
VLA là viết tắt của vision-language-action (thị giác-ngôn ngữ-hành động), một loại mô hình nhận đầu vào là thị giác và ngôn ngữ, sau đó xuất ra các hành động của robot. Thành phần hành động là đặc điểm nổi bật – đó là điều phân biệt VLA với các mô hình thị giác-ngôn ngữ trước đây chỉ tạo ra đầu ra là văn bản hoặc ký hiệu.
Liệu VLM có thể chuyển đổi thành VLA được không?
Một VLM có thể được chuyển đổi thành VLA thông qua việc tinh chỉnh trên dữ liệu trình diễn của robot với vốn từ vựng hành động mở rộng. Hầu hết các VLA hiện đại được xây dựng theo cách này, bảo toàn khả năng suy luận của VLM trong khi dạy nó phát ra các lệnh vận động. Bước tinh chỉnh này đòi hỏi các tập dữ liệu chất lượng cao, phù hợp với hành động, chứ không chỉ là thêm văn bản.
Liệu VLA chỉ là VLM với phần đầu khác đi?
VLA không chỉ đơn thuần là VLM với phần đầu khác. Mặc dù nhiều kiến trúc chia sẻ xương sống của VLM, VLA bổ sung thêm bộ giải mã hành động, mã hóa nhận biết hình thể và các hàm mất mát gắn liền với điều khiển vật lý. Một số thiết kế tách rời việc lập kế hoạch và thực thi thành các mô-đun VLM và VLA riêng biệt, trao đổi các biểu diễn tiềm ẩn.
Bài kiểm tra đơn giản nhất giữa VLM và VLA là gì?
Cách đơn giản nhất để phân biệt VLM và VLA là hỏi xem mô hình đưa ra kết quả gì. Nếu kết quả là một câu, chú thích, phân loại hoặc chuỗi suy luận, thì mô hình đó là VLM. Nếu kết quả là một lệnh điều khiển động cơ, góc khớp hoặc mã hành động điều khiển robot, thì mô hình đó là VLA. Không gian đầu ra, chứ không phải phương thức đầu vào, quyết định loại mô hình.
Liệu các hệ thống VLA có cần nhiều dữ liệu hơn các hệ thống VLM không?
Các hệ thống học ngôn ngữ dựa trên văn bản (VLA) thường cần nhiều dữ liệu được chọn lọc và cấu trúc hơn so với các hệ thống học ngôn ngữ dựa trên văn bản (VLM), ngay cả khi tổng số lượng token ít hơn. Việc huấn luyện VLM tận dụng các cặp hình ảnh-văn bản quy mô web có nhiều nhiễu. Việc huấn luyện VLA yêu cầu quỹ đạo hành động, sự phù hợp ngôn ngữ ở mức độ chi tiết từng tập và các nhãn thành công rõ ràng — tất cả đều đòi hỏi các quy trình thu thập và chú thích có cấu trúc.
Các tiêu chuẩn VLM có hữu ích cho việc đánh giá VLA không?
Các tiêu chuẩn VLM có ứng dụng hạn chế trong việc đánh giá VLA. Độ chính xác của phụ đề và khả năng trả lời câu hỏi trực quan đo lường khả năng nhận thức và suy luận, chứ không phải khả năng điều khiển. Việc đánh giá VLA phụ thuộc vào tỷ lệ thành công của nhiệm vụ, khả năng khái quát hóa đối với các đối tượng và môi trường chưa từng thấy, và hiệu suất trong các kịch bản phân cấp an toàn — những chỉ số mà hiện tại không có tiêu chuẩn VLM nào nắm bắt được.
