Perakende sektöründe müşteri duygularını anlamak için çok modlu duygu analizi

Abstract

Bu çalışma, müşteri deneyimleri sırasında ortaya çıkan duygusal tepkileri daha kapsamlı ve doğru bir şekilde anlamak için çok modlu bir duygu analizi yöntemi geliştirmeyi amaçlamaktadır. Müşteri duygularının ölçülmesi, yalnızca müşteri memnuniyetini anlamakla kalmayıp, kişiselleştirilmiş hizmetlerin sunulması, pazarlama stratejilerinin optimize edilmesi ve müşteri sadakatinin artırılması açısından kritik öneme sahiptir. Bu doğrultuda, ses, görüntü ve metin verilerinden elde edilen duygusal ipuçları, derin öğrenme tabanlı modeller kullanılarak ayrı ayrı analiz edilmiş ve sonuçlar katsayı tabanlı bir yöntemle birleştirilmiştir. Ses verilerinin analizi için Xception modeli, yüz ifadelerindeki mikro düzeydeki farklılıkların tespiti için Xception, VGG16 ve VGG19 modelleri, metin verilerindeki bağlamsal ilişkilerin değerlendirilmesi için ise BERT ve ALBERT modelleri kullanılmıştır. Önerilen yöntemin performansı, RAVDESS, FER2013, LFW, TESS ve Beyazperde gibi açık kaynak veri setleri üzerinde test edilmiş; her bir modun duygu analizi sonuçları normalize edilerek -1 ile 1 arasında birleştirilmiştir. Deneysel bulgular, yöntemin görüntü verilerinde %98,25 F1 skoru, metin verilerinde %94,30 F1 skoru ve ses verilerinde %90,71 F1 skoru ile etkili bir performans sergilediğini ortaya koymaktadır. Geliştirilen yöntem, açık kaynak veri setlerinde başarıyla test edilmiş olup, henüz gerçek müşteri verileri üzerinde uygulanmamıştır. Bu yaklaşım, farklı veri türlerini bütüncül bir şekilde entegre ederek tek modlu analizlerin sınırlamalarını aşmakta ve müşteri duygularının kapsamlı bir şekilde anlaşılmasına olanak sağlamaktadır. Çalışma, müşteri deneyimlerinin daha derinlemesine analiz edilmesi ve kişiselleştirilmiş hizmetlerin geliştirilmesi için yenilikçi bir çözüm sunmaktadır.This study aims to develop a multimodal sentiment analysis method to comprehensively and accurately understand emotional responses during customer experiences. Measuring customer emotions is critical not only for understanding customer satisfaction but also for delivering personalized services, optimizing marketing strategies, and enhancing customer loyalty. In this context, emotional cues derived from audio, visual, and textual data were independently analyzed using deep learning-based models, and the outputs from these modalities were integrated through a weight-based method. The Xception model was utilized for analyzing audio data, while Xception, VGG16, and VGG19 models were employed to capture micro-level differences in facial expressions. For textual data, BERT and ALBERT models were used to evaluate contextual relationships. The proposed method was tested on open-source datasets such as RAVDESS, FER2013, LFW, TESS, and Beyazperde, and the sentiment analysis results from each modality were normalized between -1 and 1 for integration. Experimental findings demonstrated that the method achieved an F1 score of 98.25% for visual data, 94.30% for textual data, and 90.71% for audio data, showcasing its high performance. While the developed method has been successfully tested on open-source datasets, it has not yet been applied to real customer data. This approach surpasses the limitations of unimodal analyses by integrating diverse data types and provides an innovative solution for a comprehensive understanding of customer emotions. The study also paves the way for deeper analyses of customer experiences and the development of personalized solutions.