İkili lojistik regresyonda model seçim yöntemlerinin performanslarının değerlendirilmesi

Abstract

Günümüzde veri setlerinin büyüklüklerinin de artmasıyla birlikte değişkenler arasındaki ilişkilere ve neden-sonuç ilişkilerinin anlaşılması amacıyla matematiksel modellere ihtiyaç duyulmaktadır. İstatistiksel bir yöntem olan regresyon analizleri ise matematiksel modellerin oluşturulmasına olanak sağlamaktadır. Bağımlı değişkenin iki yanıt içerdiği ve değişkenler arasındaki ilişkilerin doğrusal olmadığı durumda ise ikili lojistik regresyon analizi kullanılmaktadır. Çalışmamızda ikili lojistik regresyonda farklı senaryolar ile backward, forward ve stepwise model seçim yöntemlerinin performanslarının karşılaştırılması amaçlanmıştır. N=1.000.000 olmak üzere simülasyon oluşturularak varsayımsal anakütle oluşturulmuştur. Lojistik regresyon modelinde risk ve koruyucu faktörlerinin oluşabilmesi için bağımlı ve bağımsız değişkenlerdeki durumlar farklı oran ve değerler ile belirlenmiştir. Örneklem büyüklükleri 200, 500, 750 ve 1.000 olmak üzere forward, backward ve stepwise model seçim yöntemleri için ayrı ayrı 1000 tekrar yapılmış olup lojistik regresyon modelleri oluşturularak ana kütle modeline ait AIC, BIC, ICOMP, CAICF bilgi kriterleri ve doğru sınıflama oranlarıyla karşılaştırılmıştır. Çalışmamızda model seçim yöntemleri karşılaştırıldığında ise genel olarak sürekli değişken ağırlıklı modellerde backward ve stepwise model seçim yöntemleri daha iyi sonuç vermiştir. Değişken türlerinin ağırlıkları benzer olduğunda ise forward model seçim yöntemi diğer model seçim yöntemlerine göre daha iyi sonuç vermiştir. Kategorik değişkenlerin ağırlıklı olduğu modellerde ise büyük örneklemlerde forward model seçim yöntemi daha iyi sonuç vermesine karşın daha küçük örneklemlerde ise backward ve stepwise model seçim yöntemleri daha iyi sonuç vermiştir.

Nowadays, as the size of data sets increases, mathematical models are needed to understand the relationships between variables and cause-effect relationships. Regression analysis, a statistical method, allows the creation of mathematical models. In cases where the dependent variable contains two responses, and the relationships between the variables are non-linear, binary logistic regression analysis is used. Our study aimed to compare the performances of backward, forward, and stepwise model selection methods with different scenarios in binary logistic regression. A hypothetical population was created by generating a simulation with N=1000000. In order to create risk and protective factors in the logistic regression model, the situations in the dependent and independent variables were determined with different ratios and values. One thousand repetitions were made separately for the forward, backward, and stepwise model selection methods, with sample sizes of 200, 500, 750, and 1000, and logistic regression models were created and compared with the AIC, BIC, ICOMP, CAICF information criteria and correct classification rates of the population model. When model selection methods were compared in our study, backward and stepwise model selection methods generally gave better results in continuous variable weighted models. When the weights of variable types are similar, the forward model selection method gives better results than other model selection methods. In models with dominant categorical variables, the forward model selection method gives better results in large samples, but the backward and stepwise model selection methods provide better results in smaller samples.