Hệ thống LiDAR đa phương thức và chú thích 2D cho đường sắt
Cách Shaip thực hiện một trong những dự án đa dạng nhất về loại chú thích trong lĩnh vực trí tuệ nhân tạo đường sắt — kết hợp hình ảnh camera 2D và đám mây điểm LiDAR 3D trên hơn 39 lớp đối tượng và 8 loại nhãn khác nhau để hỗ trợ nhận thức tự động của tàu hỏa và hệ thống an toàn đường sắt.
Tổng Quan Dự Án
Khi công nghệ nhận thức tàu tự hành tiến gần đến giai đoạn triển khai sản xuất, khách hàng cần một hệ thống chú thích đa phương thức quy mô lớn, có khả năng gắn nhãn toàn bộ môi trường đường sắt trên cả hình ảnh camera 2D và dữ liệu đám mây điểm LiDAR 3D với độ chính xác không gian nhất quán.
Shaip đã xây dựng quy trình chú thích đa phương thức từ đầu đến cuối, bao gồm 8 loại nhãn khác nhau, hơn 39 lớp đối tượng và hơn 25 phân loại trạng thái tín hiệu trên các hệ thống tín hiệu H/V và Ks — cung cấp các bộ dữ liệu được kiểm chứng chéo, sẵn sàng cho mô hình, phục vụ cho trí tuệ nhân tạo về tự động hóa và an toàn đường sắt.
Trạng thái chính
Lớp đối tượng
39 +
Các loại chú thích
8
Các trạng thái tín hiệu
25 +
Phương thức
2 ngày + 3 ngày
Những thách thức
- Xử lý Chú thích đa phương thức 2D + 3D với tính nhất quán không gian được kiểm chứng chéo
- Chú thích Hơn 39 lớp đối tượng Bao gồm con người, phương tiện, cơ sở hạ tầng, động vật và các vật dụng an toàn.
- Hoạt động trên khắp 8 loại chú thích — Hình hộp giới hạn 2D/3D, hình lập phương, đường gấp khúc, đa giác
- Phân loại Hơn 25 trạng thái tín hiệu khác nhau trên khắp các hệ thống tín hiệu H/V và Ks của Đức.
- Nộp đơn logic ngưỡng đám đông và chú thích theo dõi liên tục bên dưới các đối tượng toa xe
Dung dịch
Quy trình chú thích đa phương thức
Shaip đã thiết lập một quy trình chú thích song song sử dụng camera 2D và LiDAR 3D với phương pháp kiểm chứng chéo giữa các phương thức. Người chú thích làm việc đồng thời với cả hai nguồn dữ liệu để đảm bảo tính nhất quán về không gian, với trạng thái che khuất được đánh giá hoàn toàn dựa trên dữ liệu đám mây điểm chứ không phải hình ảnh 2D.
39+ Hệ thống phân loại
Hệ thống chú thích bao gồm con người (với nhóm tuổi, thiết bị hỗ trợ di chuyển, vai trò chức năng, tư thế cơ thể, vật dụng mang theo và các thuộc tính gây xao nhãng), phương tiện giao thông (xe đạp, xe máy, xe đường bộ theo tiểu loại), 18 loài động vật và cơ sở hạ tầng đường sắt bao gồm đường ray, ghi chuyển mạch, cột điện trên cao, tín hiệu, điểm dừng đệm, cầu tín hiệu, tấm chắn kéo và vật thể thử nghiệm phản quang.
Phân loại trạng thái tín hiệu
Các tín hiệu được chú thích với phân loại khía cạnh chi tiết trên các hệ thống tín hiệu H/V và Ks, bao gồm hơn 25 trạng thái tín hiệu khác nhau. Người chú thích đã xác định chính xác khía cạnh tín hiệu từ cả góc nhìn phía trước và phía sau, phân biệt giữa tín hiệu ánh sáng và tín hiệu hình dạng trên nhiều hệ thống tín hiệu đường sắt của Đức.
Ngưỡng đám đông & Logic nhóm
Việc chú thích đám đông yêu cầu ngưỡng tối thiểu là 6 người chồng chéo nhau trước khi chuyển từ chú thích cá nhân sang chú thích nhóm. Nhóm xe đạp và nhóm động vật tuân theo cùng một logic ngưỡng với các quy tắc về tư thế và loài nhất quán trong nhóm. Điều này đảm bảo các cảnh có mật độ cao được gắn nhãn một cách hiệu quả mà không làm mất đi chi tiết.
Chú thích theo dõi liên tục
Các tuyến đường ray được ghi chú liên tục ngay cả bên dưới các đối tượng tàu hỏa hoặc toa xe, với các khu vực chuyển hướng và điểm dừng đệm được lập bản đồ chính xác. Lớp dữ liệu liên tục này rất cần thiết cho các mô hình lập kế hoạch đường ray và phát hiện chướng ngại vật ở giai đoạn sau.
Phạm vi dự án
| Loại tập dữ liệu | Phương thức | Các lớp học | Loại nhãn | Các trạng thái tín hiệu | Hệ thống |
|---|---|---|---|---|---|
| nhận thức về môi trường đường sắt | LiDAR 2D + 3D | 39 + | 8 (hình hộp, hình lập phương, đường gấp khúc, đa giác) | 25 + | H/V, Ks |
Kết quả
- Đã thành lập một quy trình chú thích LiDAR đa phương thức 2D + 3D để nhận thức tàu tự hành
- Tiêu chuẩn hóa 39+ hệ thống phân loại đối tượng bao gồm con người, phương tiện giao thông, động vật và cơ sở hạ tầng đường sắt.
- Giao Hơn 25 phân loại trạng thái tín hiệu trên các hệ thống tín hiệu H/V và K của Đức
- Thực hiện logic ngưỡng đám đông và chú thích theo dõi liên tục bên dưới toa xe
- Đã kích hoạt cho khách hàng Trí tuệ nhân tạo (AI) điều khiển tàu tự hành, an toàn và phát hiện chướng ngại vật lộ trình
Nhìn chung, Shaip đã giúp chuyển đổi yêu cầu nhận thức đường sắt đa phương thức thành một quy trình chú thích có cấu trúc, sẵn sàng cho sản xuất — một quy trình có khả năng hỗ trợ vận hành tàu tự hành, trí tuệ nhân tạo về an toàn đường sắt và hệ thống nhận dạng tín hiệu với tính nhất quán không gian 2D-3D được kiểm chứng chéo ở quy mô lớn.
Shaip đã xử lý độ phức tạp của việc chú thích dữ liệu mà hầu hết các nhà cung cấp khác không muốn động đến. Hơn 39 lớp, 8 loại nhãn, hơn 25 trạng thái tín hiệu, kiểm định chéo 2D + 3D — và họ đã cung cấp tất cả dưới dạng một quy trình phối hợp duy nhất. Kết quả là, các mô hình nhận thức đường sắt của chúng tôi được huấn luyện nhanh hơn.
