Land-UAV-RL

< Projeler Sayfası

Proje Adı
Pekiştirmeli Öğrenme Kullanarak Sabit Kanatlı İHA'nın İndirilmesi

Şirket Adı
Titra

Şirket Mentoru
Numan Uyar

Akademik Mentor
Asst. Prof. Muhammed Ömer Sayın

Asistan
Arda Aşçı

Takım Üyeleri
Baran Atalar, Cihan Eralp Kumbasar, Tevfik Bülent Kanmaz, Esen Ergün, Sevda Öğüt, Mehmet Ufuk Özdemir

Özet
Günümüzde insansız hava araçlarının (İHA) aktif kullanımı ve bu araçlara yönelik ihtiyacın savunma sanayisinde de artmasıyla beraber İHAların davranış kontrolü daha büyük önem kazanmıştır. Sabit kanatlı İHAların özellikle inişi sırasında klasik PID kontrolcüleri yetersiz kalmaktadır. Bu projede, Titra Teknoloji A.Ş. desteği ile pekiştirmeli öğrenme tabanlı bir akıllı kontrolcü geliştirilmiştir. Bu kontrolcü çevre koşullarını ve takip edilmesi istenen konumsal açıları göz önünde bulundurarak uçak modelinde mevcut olan PX4 PID kontrolcüsünün parametrelerini optimize etmektedir. Öğrenme sürecinde Gazebo simülasyon ortamındaki uçak modeli kullanılmış ve simülasyon ortamı ile Python tabanlı pekiştirmeli öğrenme algoritmaları MAVSDK kütüphanesi aracılığıyla bir araya getirilmiştir. Algoritmaların verilen hedef açılar ve uçağın mevcut açıları arasındaki farkları anlık olarak PID parametrelerini değiştirerek azaltması hedeflenmiştir. Bu algoritmaların iniş problemi gibi görevlerde kullanılabilmesi öngörülmektedir. Pekiştirmeli öğrenme algoritmaları anlık olarak aldıkları aksiyonların sonuçları ile öğrenme gerçekleştirebilmektedir. Bu sayede akıllı kontrolcü hangi koşullarda hangi parametrelerin daha iyi performans sergilediğini uçuş sırasında aktif olarak öğrenmektedir. Proje kapsamında CEM, DDPG ve PPO algoritmalarının performansları klasik PID kontrolcüsü ile karşılaştırılmıştır. Sonuç olarak, kullanılan algoritmaların açı takibinde PID kontrolcüsünden daha iyi performans sergilediği gözlenmiştir. Kullanılan akıllı algoritma ile yeni bir uçak modelinin parametreleri de otonom bir şekilde optimize edilebilecektir.


Abstract
Today, with the active use of unmanned aerial vehicles (UAV) and the increasing need for these vehicles in the defense industry, attitude control of UAVs has gained greater importance. Conventional PID controllers are insufficient, especially during the landing of fixed-wing UAVs. In this project, a reinforcement learning-based smart controller was developed with the help of Titra Teknoloji A.Ş. company. This controller optimizes the parameters of the PX4 PID controller which is available in the aircraft model by taking into account the environmental conditions and the desired positional angles to be followed. The airplane model of the Gazebo simulation environment was used in the learning process while the simulation environment and Python-based reinforcement learning algorithms were combined with the use of MAVSDK library. It was aimed that the algorithms would reduce the differences between the given target angles and the current angles of the aircraft by changing the PID parameters instantaneously. It is envisioned that these algorithms can be used in tasks such as the landing problem. Reinforcement learning algorithms can achieve learning with the results of the actions they take instantaneously. With this approach, the smart controller actively learns which parameters perform better under which conditions during the flight. Within the scope of the project, we compared the performances of the CEM, DDPG and PPO algorithms with the classical PID controller. As a result, it was observed that the used algorithms outperformed the PID controller in angle tracking. With the used smart algorithm, the parameters of a new aircraft model will also be optimized autonomously.