CarOfDuty

< Projeler Sayfası

Proje Adı
Önceden Tanımlanmış Objelerin İHA Videolarından Gerçek Zamanlı Olarak Tanınması ve Takibi

Şirket Adı
Aselsan A.Ş.

Şirket Mentoru
Dr. Mustafa Ayazoğlu

Akademik Mentor
Asst. Prof. Cem Tekin

Asistan
Dilan Öztürk

Takım Üyeleri
Kaan Akaltan, Barış Coşkun, Mustafa Erdem, Serkan İslamoğlu, Onur Karakaşlar

Özet
İnsansız hava araçlarından gelen gerçek zamanlı videolardan nesne algılama işlemi, bilinmeyen bölgelerde işlevsel olabilmek adına çok kritik bir kabiliyettir. Bunun yanı sıra, bu sistem özellikle askeri amaçlı kullanılmak üzere günden güne önem kazanmaktadır. Bu sorundan hareketle, projemizin ana fikri önceden öğretilmiş nesneleri, özellikle de arabaları, gerçek zamanlı video görüntülerinden tanıyan ve seçilen objeyi insansız hava aracı ile otomatik olarak takip eden bir sistem oluşturmak olarak belirlenmiştir. Bunun başarı ile gerçekleştirilmesi adına, Dönüşümsel Sinirsel Ağ (CNN), spesifik olarak Hızlandırılmış Bölgesel Dönüşümsel Sinirsel Ağ (Faster R-CNN) algoritması bir takip algoritması olan MOSSE ve Kalman filtresi ile birlikte kullanıldı. Bu nedenle, bu projede altı çizilmesi gereken üç ana bölüm bulunmaktadır. İlk bölüm, nesnelerin algılanması için Faster R-CNN algoritmasının kullanılmasıdır ve bu algoritmanın kullanılması dört ana adımdan oluşmaktadır. Bu adımlar şöyle sıralanabilir, ilgilenilen bölgeleri (ROIs) belirlenmiş bir veri havuzunun oluşturulması, veri havuzunun verilen parametrelere (momentum, öğrenme oranı vb.) uygun eğitilmesi, nesnelerin sınıflandırılması ve video akışındaki olasılıklarına göre nesnelerin etiketlenmesi. İkinci bölüm, MOSSE takip algoritmasının video akışında algılanan objelerin görsel olarak takibinde kullanılmasıdır. Son olarak üçüncü bölüm, Kalman filtresi kullanılarak kamera ile belirlenen objenin arasına bir engel girmesi durumunda objenin takibine devam edilmesinin sağlanmasıdır. Bu algoritmalar bir arada kullanılarak, gerçek zamanlı obje tanınmasının zorluklarıyla başa çıkılması hedeflenmiştir. Bu proje için başarı kriterlerimiz istenilen objelerin video görüntülerinden en az %80 doğruluk oranıyla bulunması ve belirlenen objenin bir insansız hava aracıyla güvenli bir mesafeden takip edilmesi olarak belirlenmiştir.


Abstract
Object detection in real time videos provided by an unmanned aerial vehicle (UAV) is a critical ability in order to be functional in unknown environments. Also, this aspect is gaining more importance most particularly for the military purposes. Motivated by this problem, the main idea of our project is to create a system that recognizes previously learned objects, especially cars, from real time video recordings and tracks any selected object autonomously with a UAV. In order to achieve that, we use Convolutional Neural Networks more specifically an algorithm called Faster Region-Based Convolutional Neural Network (Faster R-CNN) together with a tracking algorithm called Minimum Output Sum of Squared Error (MOSSE) and the Kalman filter. Hence, there are three core parts needed to be emphasized in this project. First one is the Faster R-CNN algorithm used for the detection purposes which has four main steps listed as creating an appropriate dataset with region of interests (ROIs), training the dataset via given parameters (such as momentum, learning rate etc.), object classification and annotating the objects with their probabilities in the video stream. The second one is the tracker based upon robust correlation filter called MOSSE which provides visual tracking of the detected objects in the video stream. Finally, the third one is the Kalman filter that aids to keep tracking detected objects when an obstacle gets into the frame between the camera and the object. Using these algorithms together, we are aiming to cope with real time object detection challenges. Our criteria of success in this project is defined as detection of the desired objects from the video footages with at least 80% accuracy and tracking of the desired object using a UAV with a safe distance.