DeepMap
< Projeler Sayfası
Proje Adı
İki Kamera ile Mesafe Haritası Çıkarımı ve Yol Engebe Tespiti
Şirket Adı
Nurol
Şirket Mentoru
Talha Kaan Topuz
Akademik Mentor
Prof. Levent Onural
Asistan
Aslı Alpman
Takım Üyeleri
Barış Aşkın,
Şafak Çallıoğlu,
Emirhan İlhan,
Fatih Berkay Sarpkaya,
Muhammed Ustaömeroğlu,
Yavuz Yarıcı
Özet
Bilgisayar görüsü ve işlemci kapasitelerindeki gelişmelerle, sürüş sistemlerinde gerçek zamanlı yöntemler daha önemli hale gelmiştir. Yoldaki nesnelerin tespiti ve yerlerinin saptanması hala açık bir problemdir. Savunma sanayiinde de, özellikle arazi araçları için, nesne tespiti ve mesafe tahmini önem arz etmektedir. Projemizin amacı, yollardaki çukur ve kasislerin tespit edilmesi ve kullanıcıya olan mesafesinin stereo görüş verisi ile tahmin edilmesidir. Bu amaçla, stereo kameradan alınan gerçek zamanlı görüntü verisi kişisel bilgisayarlarla işlenmektedir. İlk olarak derin öğrenme tabanlı nesne tespit yöntemleriyle hedef nesnelerin görüntüdeki yerleri tespit edilmektedir. Daha sonra, iki kameradan gelen görüntüler arasındaki eşitsizlik haritası çıkartılıp tespit edilen nesnelerin kameraya uzaklığı bulunmaktadır. Nesnelerin, görüntü üzerinde tespit edilen yerleri ve kameraya olan mesafeleri gerçek zamanlı görüntü kareleri üzerinde eşlenmektedir ve iki boyutlu bir haritaya yansıtılmaktadır. Harita üzerinde, tespit edilen nesneler ve araca olan uzaklık bilgileri görülmektedir. Bu projenin çıktıları, sürücülü ve sürücüsüz tekli arabalarda veya sürü sistemlerinde kullanılabilecektir.
Abstract
With the advancements in computer vision and the capability of our processors, real-time methods used in driving systems have become more important. Detecting the objects on the road and locating them is an open problem. In the defense industry, especially for land vehicles, autonomous object detection and distance estimation are crucial. The purpose of this project is to detect potholes and speed bumps on the road and estimate their relative distances to the user by utilizing stereo vision data. To this end, a stereo camera is used for real-time data acquisition, and a personal computer is used as a processing unit. The data from the stereo camera is first processed with a deep learning-based object detection method. Then, the disparity map of the two cameras is extracted and used to estimate the distance from detected objects to the camera. After obtaining outputs from the object detection and distance estimation tasks, we match them on real-time frames and project them onto a two-dimensional map. On the map, detected objects and their distances to the car are shown. The outcomes of this project can be used in a single car or swarm systems with and without a driver inside.