Akademik Künye
Bu yazı, aşağıda künyesi verilen hakemli çalışmanın özetidir.
- Makale
- Evaluating Turkish BERT-based Language Models for Effective Customer Feedback Interpretation in CRM
- Yazarlar
- Can İşcan; Muhammet Furkan Özara; Ahmet Erkan Çelik; Akhan Akbulut
- Sunulduğu etkinlik
- 2024 9th International Conference on Computer Science and Engineering (UBMK) — Antalya, Türkiye, 26–28 Ekim 2024
- Sayfa
- 227–232
- Yayın tarihi
- 26.10.2024
- DOI
- 10.1109/ubmk63289.2024.10773436 — Yayıncı sayfası
Müşteri ilişkileri yönetimi (CRM) çözümleri, müşteri bağlarını güçlendirmenin ve memnuniyeti artırmanın temel araçlarından biri. Next4biz Ar-Ge Merkezi'nin "Müşteri Memnuniyet Skoru Tespiti" projesi kapsamında hazırlanan bu bildiri, CRM platformlarına derin öğrenme ve doğal dil işleme (NLP) yöntemlerini ekleyerek müşteri geri bildirimlerinden daha isabetli memnuniyet puanları üretilebilir mi sorusuna yanıt arıyor.
Çalışmada Türkçe için eğitilmiş BERT tabanlı dil modelleri, müşteri bildirimlerini "şikâyet / şikâyet değil" biçiminde sınıflandırma görevinde karşılaştırılıyor. Deneylerde toplam 360 etiketli kayıt kullanıldı: bir Türk fitness zincirinin bildirim kayıtlarından seçilen yaklaşık 200 kayıt ve sınıf dengesini sağlamak için eklenen sentetik örnekler. Kayıtlar iki sınıfa eşit dağıtıldı; modeller 10 katlı çapraz doğrulamayla değerlendirildi. Yazarlar, varlık tanımanın (entity recognition) da geri bildirimlerde tekrar eden örüntüleri yakalamaya yardımcı olabileceğine ve bu örüntülerin ürün geliştirme ile yeni müşteri kazanımında kullanılabileceğine değiniyor. Beş model (BERTurk, TSA, ConvBert, ElecTRa, XLM-RoBERTa) arasında ElecTRa kesinlik ölçütünde en yüksek değere (0,85) ulaştı; doğruluk, duyarlılık ve F1 skorunda BERTurk ile aynı değeri (0,84) aldı, en yüksek ROC AUC değerini (0,93) ise ConvBert ile paylaştı.
Bildirinin öne çıkardığı pratik fayda, şikâyet olarak işaretlenen bildirimler üzerinden müşteri temsilcilerinin performansının izlenebilmesi: Hataların yoğunlaştığı konular belirlenerek temsilcilere hedefli eğitimler planlanabiliyor ve hizmet kalitesi bu geri besleme döngüsüyle iyileştirilebiliyor.
Çalışma, 26–28 Ekim 2024'te Antalya'da düzenlenen UBMK 2024 (9. Uluslararası Bilgisayar Bilimleri ve Mühendisliği Konferansı) kapsamında sunuldu, IEEE tarafından bildiri kitabında yayımlandı (s. 227–232) ve konferansta "Best Paper" ödülüne layık görüldü.
Ödül: UBMK 2024 Best Paper.