Akademik Künye
Bu yazı, aşağıda künyesi verilen hakemli çalışmanın özetidir.
- Makale
- Enhancing RAG Pipeline Performance with Translation-Based Embedding Strategies for Non-English Documents
- Yazarlar
- Can İşcan; Muhammet Furkan Özara; Akhan Akbulut
- Sunulduğu etkinlik
- 2024 Innovations in Intelligent Systems and Applications Conference (ASYU)
- Sayfa
- 1–6
- Yayın tarihi
- 16.10.2024
- DOI
- 10.1109/asyu62119.2024.10756977 — Yayıncı sayfası
- Yazar sürümü (PDF)
© 2024 IEEE. Bu materyalin kişisel kullanımına izin verilir; diğer tüm kullanımlar için IEEE'den izin alınmalıdır. Bu dosya yazar sürümüdür; yayımlanan sürüm: doi.org/10.1109/asyu62119.2024.10756977.
Çok dilli gömme (embedding) modelleri hızla gelişse de İngilizce dışındaki metinlerde hâlâ İngilizceye göre daha zayıf kalıyor. Bu fark, İngilizce dışındaki dillerde kurulan Retrieval-Augmented Generation (RAG) tabanlı soru-cevap sistemlerinin doğru bağlamı bulma başarısını sınırlıyor. Next4biz Ar-Ge Merkezi'nden Can İşcan ve Muhammet Furkan Özara ile Next4biz Ar-Ge Merkezi ve İstanbul Kültür Üniversitesi'nden Akhan Akbulut'un bildirisi tam da bu soruna odaklanıyor.
Önerilen yöntemde belgeler önce İngilizceye çevriliyor ve gömme vektörleri bu çeviri üzerinden üretiliyor; orijinal dildeki metin ise meta veri olarak saklanıyor. Böylece güçlü İngilizce gömme modellerinden yararlanılırken cevap, belgelerin özgün dildeki metninden üretiliyor. Ekip, cevap üretiminde büyük dil modeli kullanan bir soru-cevap hattı kurdu; Next4biz CSM kullanım kılavuzundan alınan 88 Türkçe belge ve insan eliyle yazılmış 15 soru-cevap çiftiyle, geleneksel yaklaşımı çeviri tabanlı yaklaşımla farklı gömme modelleri üzerinde RAGAS çerçevesinde karşılaştırdı.
En iyi sonucu veren text-embedding-3-large modelinde çeviri tabanlı yaklaşım, bağlam geri çağırmayı (context recall) 0,76'dan 0,81'e, bağlam kesinliğini (context precision) 0,65'ten 0,72'ye çıkardı. Kazanım her modelde aynı değil: multilingual-e5-large modelinde bağlam kesinliği 0,64'ten 0,58'e geriledi. Yaklaşımın başka dillerde ve farklı çeviri modelleriyle sınanması gelecek çalışma olarak bırakıldı. Ar-Ge ekibimizin proje yazısında belirtildiği gibi bu yaklaşım, farklı büyük dil modelleriyle çalışan Next4biz chatbot sistemlerinde kullanılıyor.
Bildiri, 16-18 Ekim 2024'te Gazi Üniversitesi ev sahipliğinde Ankara'da düzenlenen ASYU 2024 – Akıllı Sistemlerde Yenilikler ve Uygulamaları Konferansı'nda sunuldu ve IEEE tarafından yayımlanan konferans bildiri kitabında (s. 1-6) yer aldı.