Derin öğrenme ile anlamsal bölütleme ve piksel görüntülerinden gerçek görüntü üretimi
Yükleniyor...
Tarih
2023-07-10
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Batman Üniversitesi Lisansüstü Eğitim Enstitüsü
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
İki bölümden oluşan bu tez çalışmasının ilk bölümünde derin öğrenme metotları ile anlamsal bölütleme işlemi gerçekleştirilmiştir. Anlamsal bölütleme işlemi, bir görüntüdeki her pikselin ilgili bir etiket ile ilişkilendirme işlemidir. Anlamsal bölütleme ile görüntüdeki nesnelerin tespiti, yerinin belirlenmesi mümkün kılınmaktadır. Bilgisayar sistemleri tarafından görüntülerin daha iyi yorumlanması, anlaşılması için anlamsal bölütleme önemlidir. Son yıllarda derin öğrenme metotları ile görüntülerden nesne tespiti nesnelerin yorumlanmasında yaygın bir şekilde kullanılmaktadır. Mevcut araştırmada Resnet-18 transfer yöntemini temel alan Deeplab v3+ CNN ağı ile anlamsal bölütleme işlemi gerçekleştirilmiştir. Bunun için Camvid veri seti kullanılmıştır. 701 yüksek çözünürlüklü görüntüden oluşan veri setindeki görüntülere piksel bazlı anlamsal bölütleme manuel olarak uygulanmıştır. Öncelikli olarak bölütleme işlemi Gretag–Macbeth renk şeması esas alınarak gerçekleştirilmiştir. Ardından Deeplab v3+ gerçek görüntüler piksel görüntülerle eşleştirilerek eğitim işlemi gerçekleştirilmiştir. Modeli test etmek için farklı görüntüler kullanılmıştır. Gözlenen Jaccard, Sørensen-Dice ve BF Skoru metriklerine göre yüksek başarılar gözlenmiştir. Tezin ikinci aşamasında derin öğrenme metotları ile piksel görüntülerden sentetik görüntüler oluşturulmuştur. Bu kapsamda derin öğrenme metotlarından GAN yöntemlerinden faydalanılmıştır. GAN modeller farklı alanlarda sentetik veriler üretmek için yaygın bir şekilde tercih edilmektedir. Araştırmada gerçek görüntüler oluşturmak için Pix2PixHD GAN modeli kullanılmıştır. Pix2PixHD, yüksek çözünürlüklü görüntülerin düşük çözünürlüklü eşlemelerinden gerçekçi ve ayrıntılı görüntüler üretmek için kullanılan bir görüntü çeviri yöntemidir. Bu yöntemin temelinde, derin öğrenme ve özellikle de evrişimli sinir ağları vardır. Pix2PixHD GAN yönteminde CNN ağı olarak VGG19 transfer derin öğrenme metodu kullanılmıştır. Denemeler Camvid veri seti üzerinde gerçekleştirilmiştir. Gerçekleştirilen denemelerde başarılı yüksek çözünürlüklü görüntülerin üretildiği sonucuna varılmıştır.
In the first part of this thesis, which consists of two parts, semantic segmentation is carried out with deep learning methods. Semantic segmentation is the process of associating each pixel in an image with a corresponding label. Semantic segmentation can be used to detect and locate objects in the image. Semantic segmentation has become an important issue for better interpretation and understanding of images by computer systems. In recent years, object detection from images with deep learning methods has been widely used in the interpretation of objects. Semantic segmentation was performed with the Deeplab v3+ CNN network based on the Resnet-18 transfer method. For this, the Camvid dataset was used. Pixel-based semantic segmentation was applied manually to the images in the dataset consisting of 701 high-resolution images. Primarily, the segmentation process was performed according to the Gretag–Macbeth color scheme. Then, Deeplab v3+ real images were matched with pixel images and the training process was carried out. Different images were used to test the model. High successes were observed according to the observed Jaccard, Sørensen-Dice and BF Score metrics. In the second stage of the thesis, synthetic images were created from pixel images with deep learning methods. For this, GAN methods, one of the deep learning methods, were used. GAN models are widely preferred to generate synthetic data in different fields. In our thesis study, Px2PxHD GAN model was used to create real images. Pix2PixHD is an image translation method used to produce realistic and detailed images from low-resolution maps of high-resolution images. The basis of this method is deep learning and especially convolutional neural networks. In Pix2PixHD GAN method, VGG19 transfer deep learning method was used as CNN network. Experiments were carried out on the Camvid dataset. It has been observed that successful high-resolution images were produced in the experiments carried out.
In the first part of this thesis, which consists of two parts, semantic segmentation is carried out with deep learning methods. Semantic segmentation is the process of associating each pixel in an image with a corresponding label. Semantic segmentation can be used to detect and locate objects in the image. Semantic segmentation has become an important issue for better interpretation and understanding of images by computer systems. In recent years, object detection from images with deep learning methods has been widely used in the interpretation of objects. Semantic segmentation was performed with the Deeplab v3+ CNN network based on the Resnet-18 transfer method. For this, the Camvid dataset was used. Pixel-based semantic segmentation was applied manually to the images in the dataset consisting of 701 high-resolution images. Primarily, the segmentation process was performed according to the Gretag–Macbeth color scheme. Then, Deeplab v3+ real images were matched with pixel images and the training process was carried out. Different images were used to test the model. High successes were observed according to the observed Jaccard, Sørensen-Dice and BF Score metrics. In the second stage of the thesis, synthetic images were created from pixel images with deep learning methods. For this, GAN methods, one of the deep learning methods, were used. GAN models are widely preferred to generate synthetic data in different fields. In our thesis study, Px2PxHD GAN model was used to create real images. Pix2PixHD is an image translation method used to produce realistic and detailed images from low-resolution maps of high-resolution images. The basis of this method is deep learning and especially convolutional neural networks. In Pix2PixHD GAN method, VGG19 transfer deep learning method was used as CNN network. Experiments were carried out on the Camvid dataset. It has been observed that successful high-resolution images were produced in the experiments carried out.
Açıklama
Anahtar Kelimeler
Anlamsal Bölütleme, Derin Öğrenme, GAN, Pix2PixHD, Deep Learning, Semantic Segmentation
Kaynak
WoS Q Değeri
Scopus Q Değeri
Cilt
Sayı
Künye
Arıca, E. (2023). Derin öğrenme ile anlamsal bölütleme ve piksel görüntülerinden gerçek görüntü üretimi. (Yayınlanmamış Yüksek Lisans Tezi). Batman Üniversitesi Lisansüstü Eğitim Enstitüsü, Batman.
