Nâng cao khả năng hiểu biết về cảnh quan đường sắt bằng LiDAR và chú thích 2D
Khám phá cách các dịch vụ LiDAR, camera và chú thích dữ liệu 2D của Shaip giúp các mô hình AI phát hiện vật thể, hiểu môi trường đường sắt và cải thiện khả năng nhận thức về di chuyển tự động.
Tổng Quan Dự Án
Các hệ thống nhận thức đường sắt hiện đại đòi hỏi nhiều hơn là chỉ dán nhãn đối tượng chung chung. Chúng cần ngữ cảnh cụ thể của đường ray, hình học chính xác và tính nhất quán đáng tin cậy giữa các cảm biến trên đám mây điểm LiDAR và các khung hình camera được đồng bộ hóa.
Để đáp ứng nhu cầu này, Shaip đã được mời tham gia dự án chú thích dữ liệu đường sắt LiDAR bao gồm các cảnh quan cơ sở hạ tầng đường sắt. Phạm vi công việc bao gồm chú thích các đám mây điểm LiDAR được hỗ trợ bởi năm hình ảnh tham chiếu 2D được đồng bộ hóa cho mỗi cảnh, sử dụng hệ thống phân loại 29 lớp với các lớp bắt buộc và tùy chọn.
thuộc tính cho mỗi lớp.
Mục tiêu là tạo ra một bộ dữ liệu có cấu trúc, được kiểm soát chất lượng, có khả năng huấn luyện và xác thực các mô hình nhận thức đường sắt cho việc phát hiện đối tượng, hiểu cảnh quan, nhận biết đường ray và diễn giải cơ sở hạ tầng.
Số liệu thống kê chính
Thiết lập cảm biến
đám mây điểm LiDAR
Phân loại
29 Lớp học chuyên biệt về đường sắt
Mục tiêu chất lượng
Độ chính xác chú thích tổng thể ≥99%
Tính nhất quán giữa các cảm biến
≥99% LiDAR – Căn chỉnh 2D
Những thách thức
- Đảm bảo tính nhất quán trong việc chú thích các cảnh đường sắt đa phương thức trên ảnh LiDAR và ảnh 2D.
- Quản lý hệ thống phân loại chuyên biệt cho ngành đường sắt gồm 29 lớp với các thuộc tính chi tiết và mối quan hệ giữa các đối tượng.
- Đảm bảo tính nhất quán giữa các cảm biến trong chú thích 3D và 2D.
- Bảo toàn độ chính xác hình học cho các cấu trúc tuyến tính như đường ray và cáp.
- Đáp ứng các ngưỡng độ chính xác nghiêm ngặt cho nhãn lớp, hình học và thuộc tính trong môi trường thử nghiệm.
Dung dịch
Shaip đã thiết kế một quy trình chú thích tập trung vào đường sắt, được điều chỉnh phù hợp với các yêu cầu kỹ thuật của dự án.
Chiến lược dữ liệu
Đã định nghĩa một quy trình chú thích đa phương thức bao gồm dữ liệu đám mây điểm LiDAR và năm hình ảnh tham chiếu 2D được đồng bộ hóa cho mỗi khung hình LiDAR.
Khung chú thích
Áp dụng nhiều phương pháp chú thích dựa trên loại đối tượng và cấu trúc cảnh:
- Chú thích hình hộp chữ nhật 3D cho các đối tượng thể tích rời rạc
- Chú thích đường đa giác 3D cho các cấu trúc tuyến tính liên quan đến đường ray.
- Khung giới hạn 2D để định vị đối tượng trong ảnh.
- Đa giác 2D dùng cho ranh giới đối tượng không đều.
- Đường gấp khúc 2D dùng cho đường ray, cáp và vạch kẻ đường.
- Hình hộp chữ nhật 3D trong không gian 2D, trong đó cần có thông tin về hướng và độ sâu.
Thiết kế phân loại chuyên biệt cho ngành đường sắt
Đã chú thích 29 lớp được định nghĩa trước bao gồm người, đồ dùng cá nhân, phương tiện, tàu hỏa, toa xe, động vật, đường ray, ghi chuyển mạch, cột điện trên cao, cột tín hiệu, tín hiệu, cầu tín hiệu, điểm dừng đệm, vật thể thử nghiệm phản quang và các thực thể khác trong cảnh đường sắt.
Chú thích giàu thuộc tính
Đã thu thập cả các thuộc tính bắt buộc và tùy chọn, bao gồm:
- Mức độ tắc nghẽn
- Bang và loại
- Kết nối thông qua connectedTo
- Các dấu hiệu nhận dạng bên đường ray và đường ray
- Thứ tự và hướng của đối tượng
- Đặc tính bề mặt, khía cạnh và cấu trúc của tín hiệu
Tính toàn vẹn của danh tính và mối quan hệ
Đảm bảo mỗi chú thích đều có ID chú thích duy nhất và mỗi đối tượng đều có ID đối tượng duy nhất ở định dạng UUID, với các mối quan hệ connectedTo hai chiều theo cách thức nhận biết cảm biến.
Quy tắc chính xác & Kiểm soát chất lượng
Các quy tắc chú thích đã được triển khai bao gồm:
- Ước tính sự che khuất trong không gian 2D và 3D
- Ngưỡng gắn nhãn 2D cho các đối tượng có chiều cao hoặc chiều rộng ≥25 px
- Sai số cho phép 2D là ±3 px
- Sai số 3D lên đến 10 cm
- Căn chỉnh xoay quanh trục z để đảm bảo tính nhất quán khi hướng vật thể về phía trước.
- Hệ thống kiểm soát chất lượng 3 lớp với vòng lặp hiệu chỉnh cho các tín hiệu đầu ra dưới ngưỡng.
Phạm vi dự án
| Phần tử tập dữ liệu | Đặc điểm kỹ thuật |
|---|---|
| Phương thức chính | Dữ liệu đám mây điểm LiDAR |
| Phương thức tham chiếu | 5 hình ảnh 2D được đồng bộ hóa trên mỗi khung hình LiDAR: 3 hình ảnh hồng ngoại và 5 hình ảnh RGB. |
| Tổng số lớp | 29 lớp học chuyên biệt về đường sắt |
| Các loại chú thích 3D | Hình hộp chữ nhật 3D, Đường gấp khúc 3D |
| Các loại chú thích 2D | Hình hộp giới hạn 2D, đa giác 2D, đường gấp khúc 2D, hình hộp chữ nhật 3D trong không gian 2D. |
| Tập thử nghiệm | 2 trình tự |
| Tiêu chuẩn ID | ID chú thích dựa trên UUID và ID đối tượng |
| Mục tiêu độ chính xác | Độ nhất quán tổng thể ≥99%, độ nhất quán thuộc tính ≥99%, độ nhất quán giữa các cảm biến ≥99%. |
Ví dụ về phạm vi bao phủ của lớp
| Phân loại | Các lớp học mẫu | Loại chú thích |
|---|---|---|
| Con người và sự di chuyển | người, xe lăn, xe tay ga, xe đạp, đám đông | BB 2D / Đa giác 4 điểm / BB 3D |
| Tài sản đường sắt | tàu hỏa, đầu tàu, toa xe, đường ray, cần gạt, bánh xích | đa giác viền / đường gấp khúc / BB 3D |
| Hệ thống tín hiệu và đường dây trên cao | tín hiệu, cột tín hiệu, cầu tín hiệu, cột dây treo | BB 2D / đa giác viền / BB 3D |
| Môi trường & Khác | phương tiện giao thông, động vật, nhóm động vật, vật thể phản quang, khói, ngọn lửa | tùy theo từng lớp |
Kết quả
- Thiết lập khung chú thích đa phương thức dành riêng cho đường sắt cho dữ liệu LiDAR và hình ảnh.
- Đã định nghĩa hệ thống phân loại đường sắt 29 hạng với xử lý thuộc tính chi tiết.
- Đặt ra các tiêu chuẩn chất lượng ≥99% về độ chính xác chú thích, thuộc tính và tính nhất quán giữa các cảm biến.
- Đã tạo ra một nền tảng sẵn sàng cho thí điểm nhằm xây dựng các mô hình nhận thức đường sắt có độ tin cậy cao.
Về mặt chiến lược, dự án này giúp khách hàng trang bị cho hệ thống AI khả năng hiểu bối cảnh tốt hơn trong môi trường đường sắt, nơi hình học, tính liên tục của vật thể và bối cảnh cơ sở hạ tầng đóng vai trò rất quan trọng.
Phương pháp chú thích đa phương thức của Shaip đã giúp chúng tôi cấu trúc một tập dữ liệu đường sắt chuyên biệt cao với độ chính xác cần thiết cho việc phát triển mô hình nhận thức. Việc họ tập trung vào chiều sâu phân loại, độ chính xác hình học và tính nhất quán giữa các cảm biến đã tạo nền tảng vững chắc cho hệ thống AI đường sắt của chúng tôi.
