İşaret dilinin derin öğrenme yöntemleriyle metin haline dönüştürülmesi
Yükleniyor...
Tarih
2024-02-27
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Batman Üniversitesi Lisansüstü Eğitim Enstitüsü
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
İşitme ve duyma engelli bireyler, çevreleriyle iletişim kurarken ciddi zorluklar yaşamaktadırlar. Bu tez, gerçek zamanlı işaret dili tanıma sistemi ile bu soruna çözüm getirmeyi hedeflemektedir. Çalışma kapsamında, literatürde sıkça rastlanan 17 kelimeden oluşan bir veri seti, 5 denek tarafından özel olarak hazırlanmıştır. MediaPipe kitaplığındaki insan poz tahmin sistemi kullanılarak, kelimelerin anahtar noktaları başarıyla çıkarılmıştır. Bu anahtar noktalar, derin öğrenme modellerinden LSTM mimarisi ile sınıflandırılmıştır. Çalışma kapsamında kişi bağımlı ve kişi bağımsız iki ayrı uygulama yapılarak test veri seti üzerinde sırasıyla %94,71 ve %87,65 oranında doğruluk elde edilmiştir. Bu önerilen sistemin, işitme ve konuşma engelli bireylerin günlük iletişimlerini iyileştirmek adına literatürdeki diğer çalışmalara kıyasla yeterli seviyede performansa sahip bir çözüm ortaya konulduğu değerlendirilmektedir.
Individuals with hearing and speech impairments experience serious difficulties in communicating with their surroundings. This thesis aims to address this issue with a real-time sign language recognition system. Within the scope of the study, a dataset consisting of 17 frequently encountered words in the literature was specially prepared by 5 subjects. The key points of the words were successfully extracted using the human pose estimation system in the MediaPipe library. These key points were classified using the LSTM architecture of deep learning models, and the obtained results provided 99% accuracy. This proposed system offers an effective solution to improve the daily communication of individuals with hearing and speech impairments.
Individuals with hearing and speech impairments experience serious difficulties in communicating with their surroundings. This thesis aims to address this issue with a real-time sign language recognition system. Within the scope of the study, a dataset consisting of 17 frequently encountered words in the literature was specially prepared by 5 subjects. The key points of the words were successfully extracted using the human pose estimation system in the MediaPipe library. These key points were classified using the LSTM architecture of deep learning models, and the obtained results provided 99% accuracy. This proposed system offers an effective solution to improve the daily communication of individuals with hearing and speech impairments.
Açıklama
Anahtar Kelimeler
Anahtar Nokta, Derin Öğrenme, İşaret Dili, LSTM, Deep Learning, Key Point, Sign Language
Kaynak
WoS Q Değeri
Scopus Q Değeri
Cilt
Sayı
Künye
Çiftçi, M. E. (2024). İşaret dilinin derin öğrenme yöntemleriyle metin haline dönüştürülmesi. (Yayınlanmamış Yüksek Lisans Tezi). Batman Üniversitesi Lisansüstü Eğitim Enstitüsü, Batman.
