Deep learning based vehicle make and model classification

Abstract

Many pieces of research have been performed on the vehicle make & model classification recently. This thesis studies the problems regarding this topic. Being able to reach high classification accuracy is one of the main challenges as well as to reduce the annotation time of the images. In this thesis, it is first created a fine-grained dataset by using online marketplaces of Turkey to address these challenges by implementing all experiments on it. Then, it is proposed a pipeline to combine an SSD (Single Shot Multibox Detector) model with a CNN (Convolutional Neural Network) model. In the pipeline, the vehicles are detected by following an algorithm to diminish the time of annotation. The detected vehicles are fed into the CNN model. The results show that the classification accuracy reaches roundly 4% better score when compared with a conventional CNN model. Later, the detected vehicles are picked as Ground Truth Bounding Boxes (GTBB) of the images. Thus, every single image in the dataset contains its GTBB. As a result, they are fed into an SSD model in a different pipeline. By that, it is reached acceptable classification & detection accuracy results even though it is not used perfectly shaped GTBB. Lastly, it is proposed an application which focuses on a use case by using our proposed pipelines. Assuming that license plates are readable, it detects the unlawful vehicles by comparing their license plate numbers and make & models.

Son zamanlarda araç marka & model sınıflandırma üzerine çok sayıda araştırma yapılmaktadır. Bu bağlamda karşılaşılan problemler tez kapsamında ele alınmaktadır. Yüksek başarı oranı ile sınıflandırma yapabilmek ve imgelerin etiketlenme süresini azaltabilmek karşılaşılan ana problemler arasındadır. Bu çalışmada, online araç satış sitelerinden veriler toplanarak bir veritabanı oluşturuldu. Tez boyunca yapılan deneylerde bu veritabanı kullanıldı. Sonrasında, SSD (Single Shot Multibox Detector) tabanlı bir model CNN (Convolutional Neural Network) tabanlı bir model ile birleştirildi ve yeni bir model akışı önerildi. Bu bağlamda araçlar bir algoritma aracılığı ile tespit edildi. Bu sayede, etiketleme süresinde önemli bir azalma sağlandı. Tespit edilen araçlar CNN modelinin eğitiminde kullanıldı. Klasik bir CNN modeli ile kıyaslandığında, sınıflandırma başarı oranında yaklaşık olarak %4'lük bir artış görüldü. Akabinde, tespit edilen araçların koordinatları ilgili imgelerin gerçek referans değerleri olarak alınmıştır. Başka bir model akışında, bu imgeler SSD modelinin eğitiminde kullanılmıştır. Sonuç olarak bu model akışında; oldukça iyi tanımlanmamış gerçek referans değerlerine rağmen, kabul edilebilir derecede sınıflandırma ve tespit etme başarı oranlarına ulaşılmıştır. Son olarak, bahsi geçen model akışlarını kullanarak gerçek bir senaryoya odaklanan bir uygulama önerilmiştir. Bu uygulamada, plaka numarası ile araç marka & model bilgisi eşleştirip veritabanı üzerinden kontrolü yapılmaktadır. Plakanın okunulabilir olduğu varsayılmıştır.