P.R.I.S.M

< Projeler Sayfası

Proje Adı
IoT Destekli, Yüz ve Duygu Tanıma Özellikli Akıllı Ayna

Şirket Adı
Arçelik A.Ş.

Şirket Mentoru
Aysun Tutak Erözen

Akademik Mentor
Prof. Dr. Yusuf Ziya İder

Asistan
Yunus Erdem Aras

Takım Üyeleri
Ahmet Oğuz Atlı, Mustafa Khaan Claasz Coockson, Seçil Eda Doğan, Ayça Takmaz, Elvan Mert Uğurlu, Ece Yılmazbilek

Özet
Nesnelerin interneti ve yapay zeka teknolojilerinin gelişmesi ve akıllı ev uygulamalarında yer edinmeye başlaması, kullanıcıları günlük hayatlarında destekleyen ürün ve sistemlerin geliştirilmesini vadetmektedir. Arçelik’in danışmanlığında geliştirilen bu projenin amacı, LCD ekran üzerine yerleştirilen yansıtıcılı bir cam aracılığıyla hem ayna hem de ekran görevi görebilecek bir sistemin oluşturulması ve akıllı bir banyo ortamındaki kablosuz sensörlerden elde edilen verilere yönelik analizlerin, kişiselleştirilmiş bir biçimde kullanıcıya sunulmasıdır. Proje bünyesinde, enerji verimliliği yüksek ve pille çalışabilen hava kalitesi ve nabız sensör modülleri tasarlanmıştır. Bu modüller ve Arçelik tarafından sağlanan akıllı tartı, BLE (Bluetooth Low Energy) bağlantı özelliği bulundurmakta ve akıllı ayna ile kablosuz bağlantı kurmaktadır. Proje aynı zamanda yüz tanıma algoritmaları ile ayna karşısındaki kullanıcıyı tanıyarak farklı kullanıcılar için kişiye özgü kayıtlar tutmayı ve böylelikle hem kişiselleştirilmiş bir deneyim sunup hem de evdeki bütün kullanıcılara aynı platformda hitap edebilmeyi amaçlar. Yüz tanımanın yanı sıra, kullanıcının yüz ifadesinde baskın olan duygu tespit edilmekte ve duygu durumuna dair istatistiksel veriler kullanıcıya sunulmaktadır. Proje kapsamında geliştirilen duygu tanıma sistemi, akıllı aynaya entegre edilmiş bir kameradan elde edilen yüz görüntüsü üzerindeki 68 anahtar noktanın tespitini temel almakta, yüz tanıma sistemi için geliştirilen metotlar ise derin öğrenme tekniklerinden yararlanmaktadır. Yüz tanımayla kimlik tespitini takiben, kullanıcıya ait veriler (duygu durumu, kilo durumu, nabız vb.), akıllı ayna üzerinde hem anlık olarak görüntülenmekte, hem de bu verilerin belli bir süre zarfında nasıl bir değişim gösterdiği grafiksel olarak kullanıcıya aktarılmaktadır. Böylece hem hava kalitesi sensöründen gelen doğal gaz kaçağı tehlikesi gibi saniyelik veriler, hem de tartı ve nabız sensöründen uzun sürede elde edilen sağlık verilerine dair analizler aynı sistem üzerinde gösterilebilmektedir.


Abstract
The emergence of Internet of Things and Artificial Intelligence technologies and their expanding applications in smart homes promise the development of the products and systems assisting the users in their daily activities. Under the supervision of Arçelik, this project aims to create a system that functions both as a mirror and a display in order to present meaningful analysis of data gathered from wireless devices and sensors within a smart bathroom environment. Energy efficient air quality sensor and pulse sensor modules were designed within the scope of this project. These modules, as well as the smart scale provided by Arçelik, feature wireless communication with the smart mirror via BLE (Bluetooth Low Energy). The project also introduces a face recognition system so that multiple residents can have a personalized experience within the same platform. The mirror also has a feature of detecting and displaying the dominant emotion of the user. The emotion recognition system is based on detecting 68 facial landmarks in a captured face image while the face recognition system uses deep learning-based feature extraction methods. After the face recognition and identification steps, user-specific data (emotion, weight, pulse etc.) is shown to the user, both as simultaneous measurements, and as graphs displaying the data gathered in the previous days. This informs the user about instantaneous data such as natural gas leakage threat measured by the air quality module, as well as information collected over a long-time period such as the analysis of health data collected by the scale and the pulse sensor.