Derin öğrenme algoritmalarında eğitim örneklerini derecelendirmenin etkisinin araştırılması
Loading...
Date
2022-02-28
Authors
Karaköse, Kaan
Journal Title
Journal ISSN
Volume Title
Publisher
Bursa Uludağ Üniversitesi
Abstract
Son yıllarda, derin sinir ağları, özellikle bilgisayarla görme görevleri için hem endüstri hem de akademide başarılı olmuştur. İnsanlar ve hayvanlara bilgiyi rastgele sunmak yerine aşamalı olarak daha fazla kavram ve karmaşık olanları gösteren anlamlı bir düzende sunulduğunda çok daha iyi öğrenebilirler. Bu tür eğitim stratejilerini yapay sinir ağları bağlamında kullanımına “Müfredat Öğrenme” denmektedir. Bu çalışmada, örneklerin derecelendirilmesi ve yapay sinir ağları ile kullanımından oluşan müfredat öğrenme için yeni bir yaklaşım sunulmuştur. Çalışmamızda CIFAR-10 ve CIFAR-100 eğitim kümesiyle önceden eğitilmiş öğretmen modelinin (Xception modeli) son altı katmanı eğiterek eğitim kümesine ait gizli bilgilerin ağırlıklarda tutulması sağlanmıştır. Model damıtma yöntemleriyle, her bir örnek için oluşacak katman çıktılarını örnek ve örneğe ait etiket bilgilerini bir işleme tabi tutarak her bir örnek için bir zorluk derecesi üretilmiştir. Örnek ve modelin aynı boyutta ayarlanmış sondan bir önceki katman çıktısıyla arasındaki ilgileşim (korelasyon) örnek kaybını, model damıtma kullanarak örneğin etiket bilgisi ve modelin son katman çıktısıyla oluşan çapraz entropisi ile etiket kaybı hesaplanmaktadır. Bu zorluk derecelerini kullanarak oluşturduğumuz 4 farklı sıralama yöntemli ile çok daha küçük bir model eğitilmiştir. Gelişigüzel karıştırılmış verilerle eğitilen öğrenci modelinin doğruluk değeriyle sunduğumuz dört farklı yöntemden ikisi ile oluşturulan sıralama ile eğitildiğinde oluşan doğruluk değerinin her bir devir için daha iyi sonuç verdiği tespit edilmiştir. Öğrenci modeli için doğruluk değerinin anlamlı olabilmesi için her bir durum için on kez çalıştırarak ortalama doğruluk değerleri kullanılmıştır. Her iki veri kümesi için başarı gösteren sınıf bazlı küçükten büyüğe (SBKB) ve sınıf bazlı büyükten küçüğe (SBBK) yöntemleri ile sistem başarısını arttırmak mümkündür. Küçük cihazlarda (mikroişlemciler, mobil telefon vb.) sunduğumuz bu yöntemler kullanılabilir ve daha az işlem gücüne sahip cihazlar ve küçük modeller için iyileştirmeler gözlenebilir.
In recent years, deep neural networks have been successful in both industry and academia, especially for computer vision tasks. Humans and animals learn much better when gradually presented in a meaningful order that shows more concepts and complex ones rather than randomly presenting the information. The use of such training strategies in the context of artificial neural networks is called "Curriculum Learning". In this study, a new approach to curriculum learning, which consists of grading examples and their use with artificial neural networks, is presented. With the CIFAR-10 & CIFAR- 100 training set, we train the last six layers of the pre-trained teacher model (Xception Model) to keep the training set's hidden information in the model's weight. We produced a difficulty level for each sample with model distillation methods by processing the layer outputs and each sample and its label. We calculate the sample loss from the similarity (correlation) between the sample and the model's penultimate layer output set at the same size and, we calculate label loss with the sample's ground truth information and the final layer output of the model by using cross-entropy loss.We trained a much smaller model called the student model with 4 different sample sequencing methods we created using these difficulty levels. We determined that the accuracy value generated when trained by the 2 of 4 methods we provide with the accuracy value trained with randomly mixed dataset is more than 1% for each epoch. For the accuracy value to be meaningful for the student model, we used the average accuracy running ten times. It is possible to increase the model’s accuracy with class-based small to large (CBSL) and class-based large to small (CBLS), which are successful for both datasets. These methods we offer in small devices (microprocessors, mobile phones, etc.) can be used, and improvements can be observed for devices with less processing power limits and small models.
In recent years, deep neural networks have been successful in both industry and academia, especially for computer vision tasks. Humans and animals learn much better when gradually presented in a meaningful order that shows more concepts and complex ones rather than randomly presenting the information. The use of such training strategies in the context of artificial neural networks is called "Curriculum Learning". In this study, a new approach to curriculum learning, which consists of grading examples and their use with artificial neural networks, is presented. With the CIFAR-10 & CIFAR- 100 training set, we train the last six layers of the pre-trained teacher model (Xception Model) to keep the training set's hidden information in the model's weight. We produced a difficulty level for each sample with model distillation methods by processing the layer outputs and each sample and its label. We calculate the sample loss from the similarity (correlation) between the sample and the model's penultimate layer output set at the same size and, we calculate label loss with the sample's ground truth information and the final layer output of the model by using cross-entropy loss.We trained a much smaller model called the student model with 4 different sample sequencing methods we created using these difficulty levels. We determined that the accuracy value generated when trained by the 2 of 4 methods we provide with the accuracy value trained with randomly mixed dataset is more than 1% for each epoch. For the accuracy value to be meaningful for the student model, we used the average accuracy running ten times. It is possible to increase the model’s accuracy with class-based small to large (CBSL) and class-based large to small (CBLS), which are successful for both datasets. These methods we offer in small devices (microprocessors, mobile phones, etc.) can be used, and improvements can be observed for devices with less processing power limits and small models.
Description
Keywords
Müfredat öğrenme, Model damıtma, Derin öğrenme, Curriculum learning, Model distillation, Deep learning
Citation
Karaköse, K. (2022). Derin öğrenme algoritmalarında eğitim örneklerini derecelendirmenin etkisinin araştırılması. Yayınlanmamış yüksek lisans tezi. Bursa Uludağ Üniversitesi Fen Bilimleri Enstitüsü.