Chú thích hộp giới hạn LiDAR 3D cho lái xe tự hành
Cách Shaip cung cấp chú thích hộp giới hạn hình lập phương 3D chính xác cho 14 lớp đối tượng với khoảng 53 hộp mỗi khung hình trên dữ liệu đám mây điểm đơn khung hình — được hiệu chỉnh dựa trên hình ảnh 2D để phục vụ nhận thức của xe tự hành ở quy mô sản xuất.
Tổng Quan Dự Án
Khi công nghệ nhận thức lái xe tự động tiến gần đến giai đoạn triển khai thực tế, khách hàng cần một hệ thống chú thích LiDAR 3D chuyên dụng cao, có khả năng đặt các hộp giới hạn hình lập phương chính xác với mật độ cần thiết cho dữ liệu huấn luyện xe tự lái thực tế — với khả năng gắn nhãn đa thuộc tính và hiệu chuẩn hình ảnh 2D.
Shaip đã xây dựng quy trình chú thích hoàn chỉnh bao gồm việc đặt vị trí hình hộp 3D, thực thi kích thước mặc định, gắn nhãn đa thuộc tính, xử lý các trường hợp ngoại lệ môi trường và xác thực hình ảnh tham chiếu — cung cấp bộ dữ liệu nhận thức AV sẵn sàng cho mô hình trên 14 lớp đối tượng.
Trạng thái chính
Lớp đối tượng
14
Số ô trên mỗi khung
~ 53
Lớp thuộc tính
5
Mức độ tắc nghẽn
4
Những thách thức
- Đặt ~53 hộp hình lập phương 3D mỗi khung hình với độ khít chính xác tuyệt đối với các cạnh của đám mây điểm
- Xử lý 14 lớp đối tượng trên các phương tiện giao thông, người đi bộ, động vật và vật thể di động.
- Đang làm việc đồng thời với ảnh hiệu chuẩn 2D và đám mây điểm 3D dữ liệu
- Quản lý Mây điểm mờ, phản chiếu mặt đất, sương mù, hơi nước và những giọt nước bắn tung tóe.
- Thi hành kích thước mặc định cho mỗi lớp để đảm bảo tính nhất quán giữa các khung hình
Dung dịch
Quy trình đặt khối lập phương 3D
Người chú thích đã đặt các hộp giới hạn hình lập phương 3D chính xác lên dữ liệu đám mây điểm trên một khung hình duy nhất đồng thời với hình ảnh tham chiếu hiệu chuẩn 2D. Mỗi lớp đối tượng đều có kích thước hộp giới hạn mặc định được xác định trước để đảm bảo tính nhất quán về kích thước giữa các khung hình — ô tô 3.4–5.1m, xe tải 3.4–14m, người đi bộ rộng 0.4–1.2m.
Ghi nhãn đa thuộc tính
Ngoài việc xác định vị trí khung giới hạn, mỗi đối tượng được chú thích đều nhận được các nhãn thuộc tính bao gồm trạng thái phương tiện (đang lái/đang đỗ), trạng thái xe hai bánh (có/không có người lái), trạng thái người đi bộ (đứng/ngồi/nằm), trạng thái che khuất (4 cấp độ: không, một phần, hầu hết, hoàn toàn) và trạng thái các bộ phận ngoại vi (vật thể nhô ra, cửa mở, thiết bị gắn kèm).
Xử lý trường hợp ngoại lệ về môi trường
Các quy tắc nghiêm ngặt chi phối việc chú thích các vật thể bị che khuất nhiều hoặc ở xa, các đám mây điểm ảo do hiệu chuẩn sai LiDAR kép, phản xạ mặt đất và nhiễu môi trường từ nước bắn, sương mù và hơi nước. Gương chiếu hậu, cửa mở, cần cẩu, giá nóc và hành lý của người đi bộ đều bị loại trừ rõ ràng; còi báo động khẩn cấp và thùng xe tải thì được bao gồm.
Kiểm tra độ vừa khít của hộp
Các khung hình phải khớp chặt với các cạnh của đám mây điểm với khoảng trống nhìn thấy được tối thiểu. Hướng được xác minh thông qua dữ liệu hiệu chuẩn và ngữ cảnh làn đường khi đám mây điểm không rõ ràng. Các cảnh đêm và trời mưa được xử lý tương đương với điều kiện ban ngày để đảm bảo tính nhất quán trong chú thích.
Đảm bảo chất lượng đa phương thức
Tất cả các chú thích đều được xác thực dựa trên hình ảnh 2D tham chiếu để kiểm tra kích thước và hướng chính xác. Lớp kiểm tra chất lượng đa phương thức này đã phát hiện ra những sai lệch mà chỉ dựa trên dữ liệu đám mây điểm không thể nhìn thấy, đảm bảo độ chính xác ở mức sản xuất cho việc huấn luyện mô hình nhận thức AV ở giai đoạn sau.
Phạm vi dự án
| Loại tập dữ liệu | Các lớp học | Hộp/Khung | Thuộc tính | Mức độ tắc nghẽn | THẨM ĐỊNH |
|---|---|---|---|---|---|
| Nhận thức AV bằng LiDAR 3D | 14 | Trung bình ~53 | 5 lớp thuộc tính | 4 (0–100%) | Kiểm tra chéo hình ảnh 2D |
Kết quả
- Đã thành lập một quy trình chú thích LiDAR 3D dày đặc với khoảng 53 ô mỗi khung hình ở độ chính xác sản xuất
- Tiêu chuẩn hóa bản thể luận đối tượng 14 lớp với việc thực thi kích thước mặc định cho mỗi lớp
- Giao 5 lớp thuộc tính bao gồm phân loại tắc nghẽn 4 cấp độ
- Thực hiện Hỏi đáp đa phương thức Xác thực các hộp 3D so với hình ảnh hiệu chuẩn 2D
- Đã kích hoạt cho khách hàng nhận thức xe tự hành, ADAS và lái xe tự động đào tạo người mẫu
Nhìn chung, Shaip đã giúp chuyển đổi yêu cầu nhận diện LiDAR 3D phức tạp thành một quy trình chú thích có cấu trúc, sẵn sàng cho sản xuất — một quy trình có khả năng hỗ trợ phát triển xe tự lái, ADAS, robotaxi và xe tải tự lái với độ chính xác cấp độ hiệu chuẩn trong các điều kiện thực tế đầy thách thức.
Shaip đã xử lý các trường hợp ngoại lệ AV gây lỗi cho hầu hết các quy trình chú thích — sương mù, đám mây điểm ảo, che khuất dày đặc và khoảng 53 hộp mỗi khung hình. Phương pháp kiểm chứng chéo 2D-3D của họ đã cung cấp cho chúng tôi dữ liệu huấn luyện nhận thức đáng tin cậy.
