Akademik Künye
Bu yazı, aşağıda künyesi verilen hakemli çalışmanın özetidir.
- Makale
- Enhancing RAG Pipeline Performance with Translation-Based Embedding Strategies for Non-English Documents
- Yazarlar
- Can İşcan; Muhammet Furkan Özara; Akhan Akbulut
- Sunulduğu etkinlik
- 2024 Innovations in Intelligent Systems and Applications Conference (ASYU)
- Sayfa
- 1–6
- Yayın tarihi
- 16.10.2024
- DOI
- 10.1109/asyu62119.2024.10756977 — Yayıncı sayfası
Çok dilli gömme (embedding) modelleri hızla gelişse de İngilizce dışındaki metinlerde hâlâ İngilizceye göre daha zayıf kalıyor. Bu fark, İngilizce dışındaki dillerde kurulan Retrieval-Augmented Generation (RAG) tabanlı soru-cevap sistemlerinin doğru bağlamı bulma başarısını sınırlıyor. Next4biz Ar-Ge Merkezi'nden Can İşcan, Muhammet Furkan Özara ve Akhan Akbulut'un bildirisi tam da bu soruna odaklanıyor.
Önerilen yöntemde belgeler önce İngilizceye çevriliyor ve gömme vektörleri bu çeviri üzerinden üretiliyor; orijinal dildeki metin ise meta veri olarak saklanıyor. Böylece güçlü İngilizce gömme modellerinden yararlanılırken kullanıcıya özgün içerik sunulabiliyor. Ekip, cevap üretiminde GPT-4o kullanan bir soru-cevap hattı kurdu ve farklı gömme modelleriyle geleneksel yaklaşımı çeviri tabanlı yaklaşımla RAGAS çerçevesinde karşılaştırdı.
İlk bulgulara göre çeviri tabanlı gömme, İngilizce olmayan senaryolarda bağlam kesinliği (context precision) ve bağlam geri çağırma (context recall) ölçütlerinde geleneksel yönteme üstünlük sağlıyor; yaklaşım farklı dillere ve çeviri modellerine uyarlanabiliyor. Ar-Ge ekibimizin proje yazısında belirtildiği gibi bu yaklaşım, OpenAI, LLaMA ve Qwen gibi büyük dil modelleriyle çalışan Next4biz chatbot sistemlerinde kullanılıyor.
Bildiri, 16-18 Ekim 2024'te Gazi Üniversitesi ev sahipliğinde Ankara'da düzenlenen ASYU 2024 – Akıllı Sistemlerde Yenilikler ve Uygulamaları Konferansı'nda sunuldu ve IEEE tarafından yayımlanan konferans bildiri kitabında (s. 1-6) yer aldı.
