ClassifEYE
< Projeler Sayfası
Proje Adı
İHA Videolarından Hareketli Hedef Tespiti ve Sınıflandırması
Şirket Adı
Havelsan A.Ş.
Şirket Mentoru
Bumin Kaan Aydın
Akademik Mentor
Assist. Prof. Cem Tekin
Asistan
Ersin Yar
Takım Üyeleri
Can Baykara, Erdem Bıyık, Gamze Gül, Deniz Onural, Ahmet Safa Öztürk, İlkay Yıldız
Özet
İnsansız Hava Aracı (İHA) teknolojileri, son yıllardaki hızlı gelişimiyle birlikte savunma sanayinde önemli bir yer almaya başlamıştır. Askeri uygulamalarda İHA’lar, operatör tarafından belirlenen rotalarda uçmakta ve yeryüzünün görüntülerini kaydetmektedir. Bu görüntüler bir insan operatör tarafından incelenmekte ve İHA’nın görev bölgesindeki hareketler ve hedefler tespit edilmektedir. İstihbarat anlamında çok önemli olan bu kullanım, insan operatör yerine İHA’nın teknik yeterliliklerinden yararlanan bir yazılım ile başarılırsa hem bu teknolojinin kullanımı kolaylaşacak hem de maliyeti azalacaktır. Ayrıca, insan faktörünün sebep olabileceği hataların önüne geçilecektir. Bu anlamda projemizde, İHA’lar tarafından çekilen yeryüzü videolarında çeşitli görüntü işleme ve bilgisayar görüşü tekniklerini kullanarak hareketli objelerin tespitini sağlamayı ve daha sonra bu objeleri makine öğrenmesi metotlarıyla sınıflandırmayı hedefledik. Projemiz İHA’nın hareketinin etkisini ortadan kaldırmak için uyguladığımız görüntü stabilizasyonu ile başlamaktadır. Ardından, hareketli objeler stabilize edilmiş videoda arka plan çıkartma metoduyla tespit edilmektedir. Sonrasında, bu objeler Kalman filtre ile takip edilmektedir. Tespit edilen objeler, Konvolüsyonel Sinir Ağları ve Destek Vektör Makineleri kullanılarak insan, insan toplulukları veya araç olarak sınıflandırılmaktadır. Son olarak, sınıflandırılan objeler GPS koordinatları ve tehdit yüzdeleri ile beraber kullanıcıya sunulmaktadır. Bu aşamalar, önce MATLAB’da sonra da gerçek zamanlı kullanım için OpenCV’de uygulanmıştır. Tespit edilen objeler, MATLAB’da AlexNet kullanılarak %75 başarı ile sınıflandırılmış olup OpenCV’de gerçek zamanlı olarak test edilen yapay sinir ağı, %75 başarıyı geçebilecek kapasitededir. Projemizin testi ve optimizasyonu için Havelsan ve Bilkent kampüslerinde, en az 25 fps ve 100 metre civarında çekilmiş videolar kullanılmıştır.
Abstract
Object classification from aerial videos is a prevalent issue for surveillance and military purposes, such as detection and tracking of specific targets. For such purposes, Unmanned Aerial Vehicle (UAV)s follow the paths indicated by operators and capture video images of the Earth. The aerial videos that are acquired in real-time are then analyzed by human operators and used to detect moving objects that are within the UAV flight zone. Utilizing a software to reinforce human operators will reduce economic expenses, time, and human errors. To this end, this project fundamentally aims to detect and classify moving objects that appear in a video recorded by a mobile UAV drone. Our solution starts with image registration, aiming to remove the effects of the motion of the UAV. Then, mobile objects are detected in the registered video by frame differencing. These objects are later tracked by a Kalman filter, which aids to the proceeding detection and classification functions. In the final phase of our solution, detected objects are labeled as human, vehicle, or groups of people using a Convolutional Neural Network and Support Vector Machines, and retrieved along with their associated threat rates and positions as GPS coordinates. These phases were initially implemented in MATLAB, and then transferred to OpenCV for real-time execution. Detected objects were classified with 75% accuracy using AlexNet with MATLAB, and the corresponding OpenCV performance is capable of exceeding this accuracy in real-time. We tested and optimized each phase using videos recorded over both Havelsan and Bilkent campuses, with a minimum of 25 fps frame rate, at an average altitude of 100m.