Chú thích đối tượng trong không gian trong nhà cho robot dịch vụ và trí tuệ nhân tạo thể hiện — Nghiên cứu trường hợp
Cách Shaip cung cấp chú thích toàn diện về khung cảnh trong nhà cho một công ty đổi mới robot hàng đầu — phát hiện và gắn nhãn mọi vật thể trong môi trường phòng với việc gắn thẻ mối quan hệ không gian — được xây dựng thành bộ dữ liệu cấp độ sản xuất cho trí tuệ nhân tạo nhận thức và điều hướng robot trong nhà ở, văn phòng, nhà kho và cơ sở chăm sóc sức khỏe.
Tổng Quan Dự Án
Khi robot được ứng dụng rộng rãi trong đời sống thực tế tại nhà ở, văn phòng, nhà kho và bệnh viện, khách hàng cần một hệ thống chú thích toàn diện có khả năng gắn nhãn cho mọi vật thể hiển thị trong các không gian trong nhà chật hẹp — với độ phong phú thuộc tính đủ để thực hiện các nhiệm vụ tương tác với robot.
Shaip đã xây dựng quy trình chú thích hoàn chỉnh bao gồm phân đoạn hộp giới hạn và đa giác, bao gồm các đối tượng dày đặc, gắn thẻ mối quan hệ không gian và xử lý bề mặt phản chiếu — tạo ra các bộ dữ liệu sẵn sàng cho mô hình nhận thức, điều hướng và tương tác giữa con người và môi trường của robot.
Số liệu thống kê chính
Đối tượng / Hình ảnh
100s
Danh Mục
Ngu si
Phương pháp
Hình hộp + Đa giác
Lớp thuộc tính
4
Những thách thức
- Chú thích mọi vật thể có thể nhìn thấy trong hình ảnh căn phòng chật chội, lộn xộn — hàng trăm hình ảnh mỗi khung hình
- Lựa chọn phương pháp phù hợp — phân đoạn hộp giới hạn so với phân đoạn đa giác — dựa trên độ phức tạp của đối tượng
- Dịch vụ SAP bao gồm đồ vật nhỏ như công tắc, phích cắm và các vật dụng trang trí rất quan trọng cho sự tương tác của robot.
- Xử lý bề mặt phản chiếu (gương, bàn kính) không có chú thích mờ
- Gắn thẻ các mối quan hệ không gian và trạng thái đối tượng cho trí tuệ nhân tạo robot nhận biết ngữ cảnh
Dung dịch
Bao gồm đối tượng toàn diện
Mọi vật thể có thể nhìn thấy trong mỗi hình ảnh căn phòng đều được chú thích riêng lẻ theo nhiều danh mục khác nhau — đồ nội thất (ghế, bàn, ghế sofa, giường, kệ), thiết bị gia dụng (tivi, tủ lạnh, lò vi sóng, đèn), đồ dùng cá nhân (túi xách, sách, chai lọ, quần áo), các yếu tố cấu trúc (cửa ra vào, cửa sổ, tường, sàn nhà) và các vật nhỏ (điều khiển từ xa, cốc, đĩa, bàn phím, công tắc, phích cắm).
Phương thức lựa chọn cho mỗi đối tượng
Các đối tượng được dán nhãn chính xác bằng cách sử dụng hộp giới hạn hoặc phân đoạn đa giác tùy thuộc vào hình dạng và độ phức tạp của đối tượng. Hộp giới hạn được sử dụng cho các đối tượng hình chữ nhật đều đặn; đa giác được sử dụng để xác định các hình dạng hữu cơ và các vật thể được sắp xếp chặt chẽ, nơi mà các hộp giới hạn sẽ chồng chéo quá mức. Việc lựa chọn phương pháp cho từng đối tượng này đảm bảo các ranh giới rõ ràng ngay cả trong các cảnh lộn xộn.
Gắn thẻ mối quan hệ không gian
Mỗi đối tượng được chú thích đều được bổ sung các thuộc tính bao gồm trạng thái đối tượng (mở hoặc đóng đối với cửa và ngăn kéo), các thẻ quan hệ không gian cho biết khoảng cách và vị trí tương đối so với các đối tượng khác, trạng thái che khuất và điều kiện của đối tượng. Lớp thông tin không gian này cho phép các hệ thống AI robot hiểu ngữ cảnh, chứ không chỉ đơn thuần là phát hiện đối tượng.
Vật thể nhỏ và tương tác - Phạm vi bao phủ quan trọng
Người chú thích tuân thủ nghiêm ngặt các quy tắc bao gồm để gắn nhãn cho mọi vật thể có thể nhìn thấy bất kể kích thước — bao gồm cả những vật nhỏ như công tắc, phích cắm và các vật trang trí rất quan trọng đối với các nhiệm vụ tương tác của robot. Những vật phẩm này thường quyết định liệu robot có thể hoàn thành nhiệm vụ của mình hay không, vì vậy chúng không thể bị giảm ưu tiên.
Xử lý bề mặt phản chiếu
Các bề mặt phản chiếu như gương và mặt bàn kính cần được xử lý đặc biệt để tránh các chú thích trùng lặp hoặc chú thích ảo. Các hướng dẫn cụ thể quy định liệu các đối tượng phản chiếu có được gắn nhãn riêng biệt, bỏ qua hay đánh dấu — đảm bảo các mô hình tiếp theo không học hỏi từ các nhãn chứa lỗi.
Phạm vi dự án
| Loại tập dữ liệu | Toàn Diện | Phương pháp | Danh Mục | Thuộc tính | Xử lý đặc biệt |
|---|---|---|---|---|---|
| Chú thích đối tượng trong cảnh trong nhà | Mọi vật thể có thể nhìn thấy | Hình hộp + đa giác | Đồ đạc, thiết bị gia dụng, đồ dùng cá nhân, kết cấu, đồ nhỏ | 4 lớp (trạng thái, không gian, che khuất, điều kiện) | Quy tắc bề mặt phản chiếu |
Kết quả
- Đã thành lập một quy trình chú thích dày đặc đối tượng để nhận thức robot trong nhà
- Tiêu chuẩn hóa lựa chọn phương pháp cho từng đối tượng giữa hộp giới hạn và phân đoạn đa giác
- Giao gắn thẻ mối quan hệ không gian cho phép trí tuệ nhân tạo robot nhận biết ngữ cảnh
- Thực hiện xử lý bề mặt phản chiếu để ngăn chặn các chú thích ảo
- Đã kích hoạt cho khách hàng nhà ở, nhà kho, cửa hàng bán lẻ và cơ sở chăm sóc sức khỏe triển khai AI robot
Nhìn chung, Shaip đã giúp chuyển đổi yêu cầu chú thích dữ liệu trong nhà với mật độ đối tượng cao thành một quy trình có cấu trúc, sẵn sàng cho sản xuất — một quy trình có khả năng hỗ trợ điều hướng robot, tự động hóa gắp và đặt, giám sát môi trường thông minh và tương tác người-robot trong nhiều môi trường triển khai trong nhà khác nhau.
Shaip đã ghi chú các căn phòng theo cách mà robot của chúng ta nhìn thấy — mọi vật thể, mọi mối quan hệ, mọi chi tiết nhỏ đều quan trọng. Sự chú ý của chúng đến các công tắc, ổ cắm và bề mặt phản chiếu có nghĩa là mô hình nhận thức của chúng ta không gặp trục trặc với những thứ mà hầu hết các bộ dữ liệu khác bỏ qua.
