Sezgisel algoritmalar yardımıyla sinir ağlarından kural çıkarımı

Abstract

Günümüz bilgi çağında, veri madenciliği olarak da bilinen büyük miktardaki ham veriden mantıklı ve anlaşılabilir sonuçlar çıkarabilmek, önemli bir rekabet üstünlüğü yaratmaktadır. Yapay sinir ağları veri madenciliğinin bir dalı olan sınıflandırma alanında hatasıza yakın sonuçlar verdiğinden, sıkça kullanılan tekniklerden biridir. Ancak yapay sinir ağlarının kara kutu özelliği, bu tekniğin veriden açık ve net sınıflandırma kuralları çıkarma konusunda yetersiz kalmasına sebep olmaktadır. Bu çalışma eğitilmiş yapay sinir ağlarından, ikili yapay arı kolonisi tabanlı olasılık eşik değerli (İYAKO) algoritması yardımıyla, verinin tümüne genellenebilen ve doğru kurallar çıkaran bir algoritma önermektedir. Yapay arı kolonisi algoritması bal arısı kolonilerinin akıllı besin arama davranışlarından esinlenerek geliştirilmiş sürü tabanlı meta-sezgisel yöntemlerdendir. Orijinal yapay arı kolonisi algoritması, ağırlıklı olarak sürekli optimizasyon problemleri için kullanılırken, İYAKO 0-1 tam sayılı programlama problemleri için geliştirilmiştir. Çok katmanlı yapay sinir ağı modeli, ikili girdi vektörlerine karşılık gelen çıktı vektörleri üzerinden eğitilmiş ve katmanlardaki ağırlıklar elde edilmiştir. Bu ağırlıklar kullanılarak çıkış katmanındaki transfer fonksiyonundan hesaplanan değer, daha sonra İYAKO algoritmasının amaç fonksiyonu olarak kullanılmıştır. Çıkarılan kurallar üzerinde kümeleme analizi uygulanarak kural sayısı azaltılmış ve veri sınıflarını temsil eden az sayıda anlamlı kurallar bulunmuştur. Elde edilen sonuçlar literatürdeki sınıflandırma karşılaştırma veri setleri üzerinde denenmiş, çeşitli makine-öğrenimi ve kural-tabanlı algoritmalar ile karşılaştırılmıştır. Önerilen algoritmanın gösterdiği performans, kural çıkarımı için alternatif bir çözüm yöntemi olduğunu göstermektedir.

In today's information age, data mining, which is considered as a tool for drawing logical and understandable conclusions from large amounts of raw data, creates a significant competitive advantage. Artificial neural network classification, which is one of the commonly used techniques for data mining, gives close to flawless results in the field. However, black-box nature of artificial neural networks makes them insufficient when it comes to extracting clear and comprehensible rules from large databases. In this study a binary artificial bee colony based probability threshold (BABCP) algorithm is proposed to extract generalized accurate rules from artificial neural network weights that are trained on large databases. Artificial bee colony algorithm is a swarm-based meta-heuristic method, inspired by intelligent foraging behavior of honey bee colonies. The original artificial bee colony algorithm is mainly used for continuous optimization problems, whereas the proposed BABCP is for 0-1 integer programming problems. Network weights, obtained from trained artificial neural networks, are then used for maximizing the objective function value of the BABCP. The objective function used by the BABCP is the output activation function of the artificial neural network. A cluster analysis is applied to the rules extracted by the BABCP to reduce the number of rules and also to find more significant rules representing different classes of the data set. The results, obtained from applying the suggested algorithm on several classification data sets in the literature, are compared with various machine-learning and rule-based algorithms. The performance of the proposed algorithm shows that BABCP is an alternative solution method for rule extraction.