Publication:
Derin öğrenme algoritmalarında eğitim örneklerini derecelendirmenin etkisinin araştırılması

dc.contributor.advisorBilgin, Metin
dc.contributor.authorKaraköse, Kaan
dc.contributor.departmentFen Bilimleri Enstitüsü
dc.contributor.departmentBilgisayar Mühendisliği Ana Bilim Dalı
dc.contributor.orcid0000-0002-4136-7592
dc.date.accessioned2022-03-14T07:01:17Z
dc.date.available2022-03-14T07:01:17Z
dc.date.issued2022-02-28
dc.description.abstractSon yıllarda, derin sinir ağları, özellikle bilgisayarla görme görevleri için hem endüstri hem de akademide başarılı olmuştur. İnsanlar ve hayvanlara bilgiyi rastgele sunmak yerine aşamalı olarak daha fazla kavram ve karmaşık olanları gösteren anlamlı bir düzende sunulduğunda çok daha iyi öğrenebilirler. Bu tür eğitim stratejilerini yapay sinir ağları bağlamında kullanımına “Müfredat Öğrenme” denmektedir. Bu çalışmada, örneklerin derecelendirilmesi ve yapay sinir ağları ile kullanımından oluşan müfredat öğrenme için yeni bir yaklaşım sunulmuştur. Çalışmamızda CIFAR-10 ve CIFAR-100 eğitim kümesiyle önceden eğitilmiş öğretmen modelinin (Xception modeli) son altı katmanı eğiterek eğitim kümesine ait gizli bilgilerin ağırlıklarda tutulması sağlanmıştır. Model damıtma yöntemleriyle, her bir örnek için oluşacak katman çıktılarını örnek ve örneğe ait etiket bilgilerini bir işleme tabi tutarak her bir örnek için bir zorluk derecesi üretilmiştir. Örnek ve modelin aynı boyutta ayarlanmış sondan bir önceki katman çıktısıyla arasındaki ilgileşim (korelasyon) örnek kaybını, model damıtma kullanarak örneğin etiket bilgisi ve modelin son katman çıktısıyla oluşan çapraz entropisi ile etiket kaybı hesaplanmaktadır. Bu zorluk derecelerini kullanarak oluşturduğumuz 4 farklı sıralama yöntemli ile çok daha küçük bir model eğitilmiştir. Gelişigüzel karıştırılmış verilerle eğitilen öğrenci modelinin doğruluk değeriyle sunduğumuz dört farklı yöntemden ikisi ile oluşturulan sıralama ile eğitildiğinde oluşan doğruluk değerinin her bir devir için daha iyi sonuç verdiği tespit edilmiştir. Öğrenci modeli için doğruluk değerinin anlamlı olabilmesi için her bir durum için on kez çalıştırarak ortalama doğruluk değerleri kullanılmıştır. Her iki veri kümesi için başarı gösteren sınıf bazlı küçükten büyüğe (SBKB) ve sınıf bazlı büyükten küçüğe (SBBK) yöntemleri ile sistem başarısını arttırmak mümkündür. Küçük cihazlarda (mikroişlemciler, mobil telefon vb.) sunduğumuz bu yöntemler kullanılabilir ve daha az işlem gücüne sahip cihazlar ve küçük modeller için iyileştirmeler gözlenebilir.
dc.description.abstractIn recent years, deep neural networks have been successful in both industry and academia, especially for computer vision tasks. Humans and animals learn much better when gradually presented in a meaningful order that shows more concepts and complex ones rather than randomly presenting the information. The use of such training strategies in the context of artificial neural networks is called "Curriculum Learning". In this study, a new approach to curriculum learning, which consists of grading examples and their use with artificial neural networks, is presented. With the CIFAR-10 & CIFAR- 100 training set, we train the last six layers of the pre-trained teacher model (Xception Model) to keep the training set's hidden information in the model's weight. We produced a difficulty level for each sample with model distillation methods by processing the layer outputs and each sample and its label. We calculate the sample loss from the similarity (correlation) between the sample and the model's penultimate layer output set at the same size and, we calculate label loss with the sample's ground truth information and the final layer output of the model by using cross-entropy loss.We trained a much smaller model called the student model with 4 different sample sequencing methods we created using these difficulty levels. We determined that the accuracy value generated when trained by the 2 of 4 methods we provide with the accuracy value trained with randomly mixed dataset is more than 1% for each epoch. For the accuracy value to be meaningful for the student model, we used the average accuracy running ten times. It is possible to increase the model’s accuracy with class-based small to large (CBSL) and class-based large to small (CBLS), which are successful for both datasets. These methods we offer in small devices (microprocessors, mobile phones, etc.) can be used, and improvements can be observed for devices with less processing power limits and small models.
dc.format.extentVII, 45 sayfa
dc.identifier.citationKaraköse, K. (2022). Derin öğrenme algoritmalarında eğitim örneklerini derecelendirmenin etkisinin araştırılması. Yayınlanmamış yüksek lisans tezi. Bursa Uludağ Üniversitesi Fen Bilimleri Enstitüsü.
dc.identifier.urihttp://hdl.handle.net/11452/24967
dc.language.isotr
dc.publisherBursa Uludağ Üniversitesi
dc.relation.publicationcategoryTez
dc.rightsinfo:eu-repo/semantics/openAccess
dc.subjectMüfredat öğrenme
dc.subjectModel damıtma
dc.subjectDerin öğrenme
dc.subjectCurriculum learning
dc.subjectModel distillation
dc.subjectDeep learning
dc.titleDerin öğrenme algoritmalarında eğitim örneklerini derecelendirmenin etkisinin araştırılması
dc.title.alternativeInvestigation of the effect of grading educational examples on deep learning algorithms
dc.typemasterThesis
dspace.entity.typePublication
local.contributor.departmentFen Bilimleri Enstitüsü/Bilgisayar Mühendisliği Ana Bilim Dalı

Files

Original bundle

Now showing 1 - 1 of 1
Thumbnail Image
Name:
Kaan_Karakose.pdf
Size:
3.22 MB
Format:
Adobe Portable Document Format

License bundle

Now showing 1 - 1 of 1
Placeholder
Name:
license.txt
Size:
1.71 KB
Format:
Item-specific license agreed upon to submission
Description: