CARL-ODD: A Vision Benchmark Dataset of Asia for On-Road Vehicle Detection and Recognition

Abstract

Listen in: English (British) Español (España) Name: Loading voices… ▶ Listen to Abstract Pause Stop Speed: 0.75x1x 1.25x1.5x

CARL-ODD: un conjunto de datos de referencia de visión de Asia para la detección y el reconocimiento de vehículos en carretera Autores: Sarmad Shafique - National University of Modern Languages, Mirpur AJK Campus, (PK) Samia Abid - National Centre of Robotics and Automation (PK) Faisal Riaz - National Centre of Robotics and Automation; Mirpur University of Science and Technology (PK) Bilal Ahmed - National Centre of Robotics and Automation (PK) Mubeen Javaid Khan - National Centre of Robotics and Automation (PK) Usama Younis - National University of Modern Languages, Mirpur AJK Campus (PK) Ameer Hamza - National University of Modern Languages, Mirpur AJK Campus (PK) Resumen El avance de la capacidad de los vehículos autónomos para percibir su entorno depende en gran medida de la detección y el reconocimiento de objetos basados en visión por computador. Durante las últimas décadas se han propuesto numerosos conjuntos de datos de gran relevancia para la detección y el reconocimiento de objetos, entre ellos el conjunto de datos del Karlsruhe Institute of Technology and Toyota Technological (KITTI), el conjunto de datos de vehículos del Beijing Institute of Technology (BIT), entre otros. Sin embargo, estos conjuntos de datos se basan principalmente en un tráfico urbano fluido y organizado de países occidentales, dejando de lado el tráfico congestionado y desordenado característico de diversos países asiáticos, como Pakistán e India. Para superar estas limitaciones, se ha propuesto un conjunto de datos de gran escala denominado Control Automotive and Robotics Lab - Object Detection Dataset (CARL-ODD), destinado a permitir que los vehículos autónomos naveguen de forma segura y mantengan una percepción detallada de su entorno en contextos asiáticos. El conjunto de datos CARL-ODD fue recopilado en más de ochenta ciudades de Pakistán e incluye autopistas, vías rápidas y escenarios de tráfico congestionado y diverso correspondientes a zonas urbanas, rurales y montañosas. El uso combinado de vídeos de conducción basados en visión monocular y estereoscópica dentro del conjunto de datos proporciona una ventaja considerable con respecto a los conjuntos de datos más avanzados disponibles actualmente. Posteriormente, los datos recopilados fueron etiquetados y se seleccionaron 20.000 imágenes representativas para el módulo de percepción. Además, con el fin de establecer una línea de base para CARL-ODD, se compararon diversos algoritmos preentrenados de detección y reconocimiento de objetos, tanto de una sola etapa como de múltiples etapas, utilizando este conjunto de datos. Algoritmos preentrenados de detección de objetos, como YOLO y Faster R-CNN, fueron implementados para detectar y clasificar distintos tipos de vehículos presentes en carreteras de entornos asiáticos. Este enfoque permite ahorrar tiempo y recursos en comparación con el entrenamiento de un modelo desde cero. Los principales resultados del análisis mostraron que el conjunto de datos CARL-ODD ofrece un sólido rendimiento en la detección y el reconocimiento de vehículos circundantes, alcanzando una precisión media del 91 % para detectores de una sola etapa y del 93 % para detectores de objetos de múltiples etapas. Este trabajo supera a los conjuntos de datos de última generación en términos de diversidad de clases de vehículos y variedad de escenarios de tráfico.

The advancement of self-driving vehicles' ability to perceive their environment is highly dependent on computer vision-based object detection and recognition. Over the past few decades, many substantial object detection and recognition datasets have been proposed, including the Karlsruhe Institute of Technology and Toyota Technological (KITTI) dataset, the Beijing Institute of Technology (BIT) vehicle dataset, etc. However, these datasets consist of smooth and organised urban road traffic of Western nations, ignoring the congested and disordered traffic of Asian nations (i.e., Pakistan, India, etc.). To overcome the above-mentioned issues, a substantial dataset named Control Automotive and Robotics Lab- Object Detection Dataset (CARL-ODD) has been proposed for self-driving vehicles to navigate safely while having a detailed perception of their surroundings in an Asian environment. CARL-ODD dataset was collected from over eighty cities of Pakistan containing highways, motorways, and congested as well as diverse traffic scenarios of urban, rural, and hilly areas. The use of both mono and stereo-vision-based driving videos in the dataset provided a considerable advantage over the state-of-the-art datasets. The collected data were then labelled, and 20,000 representative images were selected for the perception module. Moreover, to establish a baseline for CARL-ODD, we have also compared the various pre-trained single-stage and multistage object detection and recognition algorithms with the dataset. These pre-trained object detection algorithms, such as YOLO and Faster R-CNN, have been implemented to detect and classify various on-road vehicles present in the Asian environment. This approach can save time and resources compared to training a model from scratch. The major findings as a result of the analysis showed that the CARL-ODD dataset demonstrated strong performance in detecting and recognising surrounding vehicles, while achieving 91% average precision for single-stage detectors and 93% average precision for multistage object detectors. This work outperforms the state-of-the-art datasets in terms of vehicle classes and diverse traffic scenarios.