Sorumlu Yapay Zeka Çerçevesi

İçindekiler

1. Amaç, Kapsam ve Temel Esaslar

1.1. Amaç

Bu çerçevenin amacı, Next4biz tarafından geliştirilen, sunulan veya işletilen yapay zeka destekli ürün ve hizmetlerin güvenilir, kontrollü, şeffaf ve insan odaklı biçimde tasarlanmasına, uygulanmasına ve izlenmesine ilişkin temel esasları belirlemektir.

Bu çerçeve, yapay zeka sistemlerinin sağladığı faydaların artırılması, öngörülebilir risklerin azaltılması ve söz konusu sistemlerin tanımlanmış kullanım amaçları doğrultusunda çalıştırılması için Next4biz tarafından benimsenen kurumsal pratikleri ve yaklaşımı ortaya koyar.

1.2. Kapsam

Bu çerçeve, Next4biz tarafından geliştirilen veya Next4biz ürünleri kapsamında kullanılan yapay öğrenme, derin öğrenme, doğal dil işleme, üretken yapay zeka, büyük/küçük dil modeli, tahminleme, sınıflandırma, öneri, anomali tespiti ve yapay zeka destekli karar mekanizmalarının bütününü kapsar.

Çerçeve, ilgili hizmetin SaaS, özel bulut, hibrit veya müşteri ortamında on-premise olarak çalıştırılmasından bağımsız olarak uygulanır. Kullanılacak kontrollerin kapsamı ve seviyesi, sistemin kullanım amacı, teknik mimarisi, müşteri gereksinimleri ve oluşturabileceği riskler dikkate alınarak belirlenir.

1.3. Çerçevenin Niteliği

Bu çerçeve, Next4biz’in yapay zeka sistemlerinin geliştirilmesi ve kullanımına ilişkin genel yaklaşımını açıklar.

Ürün ve projeye özgü teknik gereklilikler, müşteri sorumlulukları ve hizmet koşulları ilgili sözleşme, proje dokümanı, teknik şartname veya çözüm tasarım raporunda ayrıca düzenlenir.

2. Sorumlu Yapay Zeka İlkeleri

2.1. İnsan Odaklılık ve İnsan Gözetimi (human-in-the-loop)

Next4biz yapay zeka sistemleri, insan kararlarını ve iş süreçlerini desteklemek amacıyla geliştirilir. Yapay zeka sistemlerine tanınan otomasyon seviyesi, kullanım senaryosunun niteliği ve muhtemel etkileriyle orantılı olarak belirlenir.

Belirsiz, yüksek etkili veya müşteri tarafından insan değerlendirmesine tabi tutulması gereken sonuçlar, ilgili kullanıcıya veya gruba yönlendirilebilir. Kullanıcılara yönlendirme ve kontrol Next4biz ürünlerinin sağladığı araç ve teknikler ile sağlanır.

2.2. Amaç ve Kapsamla Sınırlılık

Next4biz tarafından sunulan yapay zeka sistemi için kullanım amacı ve kullanılmaması gereken durumlar tanımlanır. Sistemler, belirlenen kapsamın dışında karar vermek veya işlem yapmak üzere kullanılmaz.

Müşteriye özgü konu, ürün, marka, iletişim, öneri ve işlem sınırlamaları proje kapsamında belirlenebilir. Bu sınırlamalar sistem talimatları, bilgi kaynakları, iş kuralları, erişim kontrolleri ve çıktı denetimleri aracılığıyla uygulanır.

2.3. Güvenilirlik ve Ölçülebilirlik

Yapay zeka sistemleri, kullanım amaçlarına uygun veri setleri, test senaryoları ve değerlendirme yöntemleriyle doğrulanır. Eğitim veya model yapılandırma sürecinde kullanılan veriler ile performansın ölçüldüğü doğrulama ve test verileri mümkün olduğu ölçüde birbirinden ayrılır. Test verilerinin, sistemin canlı ortamda karşılaşacağı sınıfları, kullanıcı ifadelerini, işlem türlerini ve istisnai durumları temsil etmesi gözetilir.

Test sürecinde yalnızca sistemin doğru sonuç üretmesinin beklendiği standart örnekler değil, eksik veya belirsiz girdiler, sınıflar arası benzerlikler, seyrek görülen örnekler, konu dışı talepler, hatalı içerikler ve sistemin sonuç üretmemesi veya insan incelemesine yönlendirmesi gereken durumlar da değerlendirilir. Üretken yapay zeka sistemlerinde üretilen yanıtların sağlanan bilgi kaynaklarıyla uyumu, içerik doğruluğu, kapsam kurallarına uygunluğu ve yasaklanan cevap veya işlemleri üretip üretmediği otomatik ölçümler ve gerekli durumlarda uzman değerlendirmesiyle incelenir.

Sistem performansı yalnızca genel bir başarı oranı üzerinden değil, kullanım senaryosunun gerektirdiği hata türleri, sınıf bazlı sonuçlar, yanlış pozitif ve yanlış negatif oranları, güven skorları, insan müdahalesi gereksinimi ve uçtan uca iş sonuçları dikkate alınarak değerlendirilir. Kullanılacak performans göstergeleri ve kabul sınırları, test gerçekleştirilmeden önce sistemin kullanım amacı ve hatalı sonuçların muhtemel etkisi gözetilerek belirlenir.

2.4. Gizlilik ve Veri Koruma

Yapay zeka sistemlerinde kullanılan veriler, ilgili veri koruma yükümlülükleri ve Next4biz bilgi güvenliği politika ve prosedürleri doğrultusunda işlenir. Veri koruma kontrolleri, verinin sisteme alınması, hazırlanması, modele aktarılması, saklanması, loglanması ve silinmesi dahil olmak üzere tüm veri yaşam döngüsünü kapsayacak şekilde uygulanır.

Sistemlerin tasarımında veri minimizasyonu esası gözetilir. Kullanım amacı bakımından gerekli olmayan kişisel veya hassas verilerin modele aktarılmaması sağlanır. Model girdilerinde ad, soyad, telefon numarası, e-posta adresi, kimlik numarası, adres, finansal bilgi ve benzeri kişisel verilerin tespit edilmesi amacıyla düzenli ifadeler, sözlük tabanlı kontroller, Named Entity Recognition (NER) modelleri ve veri kaybı önleme mekanizmaları birlikte kullanılabilir.

Tespit edilen kişisel veriler, kullanım senaryosuna göre maskeleme, kimliksizleştirme, takma adlandırma, tokenizasyon veya alan bazlı silme yöntemleriyle dönüştürülür. Geri döndürülebilir tokenizasyon veya takma adlandırma kullanılan durumlarda eşleştirme bilgileri, modelin çalıştığı ortamdan ayrı tutulur ve yalnızca yetkili servisler tarafından erişilebilir olacak şekilde korunur.

Verilerin aktarım sırasında ve saklandığı ortamlarda güncel şifreleme yöntemleriyle korunması, erişimlerin rol ve yetki temelli olarak sınırlandırılması ve farklı müşterilere ait verilerin mantıksal veya fiziksel olarak ayrılması esastır. Veri erişimleri, yapılan işlemin niteliğine göre kullanıcı, servis, zaman ve işlem bilgileriyle kayıt altına alınır.

Eğitim, doğrulama, test ve canlı kullanım verileri mümkün olduğu ölçüde birbirinden ayrılır. Canlı ortam verilerinin model eğitimi, ince ayar veya yeniden eğitim amacıyla kullanılması, proje kapsamı, veri kullanım yetkisi ve ilgili onay süreçleri dikkate alınarak gerçekleştirilir. Test ve geliştirme ortamlarında gerçek kişisel veriler yerine maskelenmiş, kimliksizleştirilmiş veya sentetik verilerin kullanılması tercih edilir.

Üçüncü taraf model veya servislerin kullanıldığı durumlarda modele aktarılacak veri kapsamı teknik olarak sınırlandırılır. Servis sağlayıcının veri saklama, model eğitimi, loglama ve veri işleme koşulları değerlendirilir. Mümkün olan durumlarda müşteri verilerinin servis sağlayıcı tarafından model geliştirme amacıyla kullanılmasını engelleyen yapılandırmalar tercih edilir.

Girdi ve çıktı loglarında yalnızca hata analizi, izlenebilirlik ve operasyonel izleme için gerekli veriler tutulur. Log kayıtlarındaki kişisel veya hassas veriler gerektiğinde maskelenir, kimliksizleştirilir veya kayıt öncesinde çıkarılır. Loglara erişim yetkileri sınırlandırılır ve kayıtlar belirlenen saklama süresinin sonunda silinir veya geri döndürülemeyecek şekilde kimliksizleştirilir.

Veri kaynakları, uygulanan dönüşümler, erişim yetkileri, veri aktarım noktaları ve saklama süreleri kayıt altına alınır. Bir veri kaynağının kullanım amacı ortadan kalktığında veya saklama süresi sona erdiğinde, ilgili verilerin aktif sistemlerden, geçici depolama alanlarından ve uygulanabilir olduğu ölçüde yedeklerden silinmesine yönelik süreçler işletilir.

2.5. Şeffaflık ve Açıklanabilirlik

Next4biz, yapay zeka sistemlerinin kullanım amacının, temel çalışma biçiminin ve bilinen sınırlamalarının ilgili taraflarca anlaşılabilir olmasını gözetir.

Kullanım senaryosunun gerektirdiği ölçüde, sistemin ürettiği sınıf, skor, öneri veya yanıtın dayandığı bilgiler, güven düzeyi, etkili değişkenler, karar kuralları ve ilgili sistem kayıtları kullanıcıya veya yetkili inceleme birimine sunulabilir.

2.6. Güvenlik ve Dayanıklılık

Yapay zeka sistemleri, güvenli tasarım ve katmanlı savunma yaklaşımı esas alınarak geliştirilir. Yetkisiz erişim, veri sızıntısı, kötü amaçlı veya manipülatif girdiler, sistem talimatlarının etkisiz hale getirilmesi, yetkisiz işlem oluşturulması, servislerin amacı dışında kullanılması ve benzeri güvenlik riskleri sistemin tasarım, geliştirme ve işletim aşamalarında değerlendirilir.

Bu kapsamda kimlik doğrulama, rol ve yetki bazlı erişim kontrolü, müşteri verilerinin ayrıştırılması, girdi ve çıktı doğrulama, güvenli konfigürasyon yönetimi, gizli anahtarların korunması, işlem sınırlandırma, istek yoğunluğu kontrolü, güvenlik loglarının tutulması ve anormal kullanımın izlenmesi gibi teknik kontroller uygulanabilir.

Yapay zeka modelinin ürettiği çıktı doğrudan güvenilir veya yetkili bir komut olarak kabul edilmez. Model çıktıları, harici sistemlerde işlem gerçekleştirilmeden önce yetki, parametre, veri tipi, iş kuralı ve işlem kapsamı bakımından uygulama katmanında doğrulanır. Geri döndürülemez, mali sonuç doğuran veya önemli iş etkisi oluşturan işlemler için ek doğrulama veya insan onayı uygulanabilir.

Sistemlerin hata, kesinti, güvenlik şüphesi veya belirsizlik durumunda güvenli duruma geçmesi esastır. Bu durumlarda sistemin işlem üretmemesi, çıktıyı baskılaması, sınırlı bir yanıt vermesi, kullanıcıyı bilgilendirmesi, işlemi kayıt altına alması veya süreci yetkili kişiye aktarması sağlanabilir.

Uygulanan güvenlik kontrollerinin etkinliği, sistemin niteliğine göre güvenlik testleri, erişim kontrol testleri, zararlı girdi senaryoları, API testleri, zafiyet taramaları ve kontrollü saldırı simülasyonları ile değerlendirilir. Tespit edilen güvenlik açıkları bulunması halinde risk seviyelerine göre önceliklendirilerek giderilir.

2.7. Hesap Verilebilirlik

Her yapay zeka sistemi için iş sahibi, teknik sorumlu ve gerekli hallerde onay yetkilileri belirlenir. Sistemin geliştirilmesi, canlıya alınması, değiştirilmesi ve izlenmesine ilişkin sorumluluklar tanımlanır.

Yapay zeka tarafından üretilen bir sonucun daha sonra iş kuralları, eşik değerleri veya kullanıcı işlemleriyle değiştirilmesi halinde, model çıktısı ile nihai iş sonucu mümkün olduğu ölçüde birbirinden ayrıştırılarak izlenir.

3. Yönetişim ve Sorumluluklar

3.1. Yapay Zeka Yönetişimi

Next4biz bünyesinde geliştirilen veya ürünlere entegre edilen yapay zeka sistemleri, kullanım amaçları ve bilgi güvenliği kriterleri açısından değerlendirilir.

Yeni bir yapay zeka sisteminin geliştirilmesi, mevcut bir sistemin önemli ölçüde değiştirilmesi veya yeni bir kullanım alanına açılması sırasında teknik, operasyonel, bilgi güvenliği ve gerekli hallerde hukuki etkiler değerlendirilir.

Önemli risk taşıdığı değerlendirilen kullanım senaryoları, ilgili ürün, ArGe, bilgi güvenliği komitesi, hukuk danışmanı ve yönetimin katılımıyla incelenir.

3.2. Ekip Sorumlulukları

Proje ekibi, sistemin kullanım amacının ve müşteri beklentilerinin açık biçimde tanımlanmasını sağlar.

ArGe ve yazılım ekipleri, veri, model, teknik kontroller, testler, sürümleme ve izleme mekanizmalarının uygulanmasını sağlar.

Altyapı ekibi, sistemin mimarisine ve veri akışına ilişkin güvenlik gereksinimlerini değerlendirir. Hukuk ve uyum birimleri, kullanım senaryosunun gerektirdiği durumlarda ilgili yükümlülükler hakkında görüş verir.

Müşteri, proje beklentilerini eksiksik aktarmak ile birlikte, sisteme sağladığı içeriklerin doğruluğu, güncelliği ve kullanım yetkisi ile müşteriye özgü iş kurallarının doğru ve eksiksiz biçimde bildirilmesini sağlar.

4. Yapay Zeka Projeleri Yaşam Döngüsü

4.1. Kullanım Senaryoları ve Değerlendirme

Bir yapay zeka sistemi geliştirilmeden veya yeni bir kullanım senaryosunda devreye alınmadan önce sistemin amacı, hedef kullanıcıları, kullanılacak veriler, üretmesi beklenen sonuçlar ve muhtemel hata durumlarının etkileri değerlendirilir.

Değerlendirmede sistemin öneri sunması, otomatik karar vermesi, müşteriyle doğrudan iletişim kurması veya harici bir sistemde işlem başlatması gibi hususlar dikkate alınır.

Değerlendirme aşamasında insan müdahalesi ve onayı, güven eşiği, yanıt vermeme, ön inceleme havuzu, içerik filtresi, işlem sınırı veya ek izleme gibi kontroller uygulanır.

4.2. Veri Yönetimi

Eğitim, doğrulama, test ve canlı kullanım verilerinin sisteme uygunluğu değerlendirilir. Verilerin kaynağı, güncelliği, kapsamı ve kullanım amacını temsil etme düzeyi dikkate alınır.

Veri dağılımındaki belirgin değişikliklerin sistem performansını etkileyebileceği kabul edilir. Güncelliğini kaybetmiş veya mevcut müşteri davranışlarını temsil etmeyen veriler, gerekli değerlendirmeler yapılmadan model geliştirme veya performans doğrulama amacıyla kullanılmaz.

Müşteri tarafından sağlanan bilgi ve belgeler, yalnızca ilgili proje ve sözleşme kapsamında işlenir.

4.3. Test ve Kabul

Yapay zeka sistemleri canlıya alınmadan önce işlevsel, teknik ve senaryo bazlı testlerden geçirilir.

Testlerde yalnızca beklenen doğru sonuçlar değil, yanlış sınıflandırma, uygunsuz yanıt, konu dışına çıkma, belirsiz girdi, eksik bilgi, yetkisiz işlem ve sistemin cevap vermemesi gereken durumlar da değerlendirilir.

Müşteriye özgü yapılandırmalar için gerekli hallerde müşteri son kullanıcı testleri yürütülür. Canlıya geçiş kararı, değerlendirme sonuçları dikkate alınarak verilir.

4.4. Değişiklik Yönetimi

Model, bilgi kaynağı, sistem talimatı, eşik değeri, iş kuralı veya entegrasyonlarda yapılan önemli değişiklikler kontrollü biçimde uygulanır.

Değişikliğin sistem davranışını önemli ölçüde etkileyebileceği durumlarda ilgili testler tekrarlanır. Gerektiğinde önceki sürüme dönüş veya ilgili özelliği devre dışı bırakma imkanı sağlanır.

5. Next4biz Yapay Zeka Sistemlerine İlişkin Özel Esaslar

5.1. Sınıflandırma ve Yönlendirme Sistemleri

Next4biz tarafından sunulan Issue Intelligence ve PRIME gibi sınıflandırma ve yönlendirme sistemlerinde sınıf tanımları, kategori hiyerarşileri, güven skorları, karar eşikleri ve iş akışı kuralları kullanım senaryosuna göre belirlenir. Sınıfların birbirinden ayrılabilir, operasyonel olarak anlamlı ve yeterli sayıda örnekle temsil edilebilir olması gözetilir. Birbiriyle örtüşen, belirsiz veya yetersiz örneğe sahip sınıflar veri hazırlama ve model geliştirme aşamalarında ayrıca incelenir.

PRIME gibi belirsiz kayıtların ön inceleme havuzuna yönlendirildiği sistemlerde, havuz ayrı ve geçerli bir sistem çıktısı olarak değerlendirilir. Ön inceleme havuzuna gönderilen kayıtlar otomatik olarak yanlış tahmin kabul edilmez. Sistem performansı, aktif, pasif ve ön inceleme havuzu olmak üzere tanımlanan tüm sınıflar üzerinden ve kullanım senaryosuna uygun değerlendirme yöntemiyle ölçülür.

Model tarafından önerilen ilk sonuç, güven skoru, alternatif sınıflar, uygulanan eşik değeri, iş kuralı ve nihai yönlendirme birbirinden ayrıştırılarak kayıt altına alınır. Asenkron çalışan sistemlerde her tahmin için işlem veya süreç kimliği oluşturularak, kullanıcının nihai olarak kaydettiği içerik ile ilgili model tahmininin eşleştirilmesi sağlanır. Böylece metin tamamlanmadan üretilen ara tahminlerin nihai sistem sonucu olarak değerlendirilmesi ve model performansı ile uygulama katmanında oluşan sonucun birbirine karıştırılması önlenir.

Canlı kullanım sırasında sınıf dağılımları, güven skoru dağılımları, insan tarafından yapılan düzeltmeler, ön inceleme havuzuna yönlendirme oranı ve yeni kategori talepleri izlenir. Eğitim verisi ile canlı veri arasındaki değişim, dağılım karşılaştırmaları ve veri sapması analizleriyle değerlendirilebilir. Belirli sınıflarda performans düşüşü, yeni ifade biçimlerinin ortaya çıkması veya kategori yapısının değişmesi halinde veriseti, eşik değerleri, sınıf tanımları ve modelin yeniden eğitilme gereksinimi gözden geçirilir.

5.2. Diyalog Sistemleri

Next4biz tarafından sunulan AI-Bot, Auto Responder ve benzeri üretken yapay zeka sistemleri, proje kapsamında tanımlanan kullanım amacı, hedef kullanıcılar, iletişim kanalları, bilgi kaynakları, müşteri kuralları ve sistemin gerçekleştirmesine izin verilen işlemler doğrultusunda yapılandırılır.

Proje başlangıcında müşteriyle birlikte AI-Bot Çözüm Tasarım Dokümanı hazırlanır. Bu dokümanda AI-Botun cevap vereceği konular, kapsam dışında bırakılacak alanlar, kullanılacak bilgi kaynakları, hedef kullanıcı profilleri, iletişim dili ve üslubu, temsilciye aktarım koşulları, yasaklı yanıtlar, ürün önerme kuralları, hassas konular, harici servis çağrıları ve insan onayı gerektiren işlemler belirlenir. Müşteriye özgü kurallar sistem talimatları, bilgi erişim filtreleri, iş kuralları, çıktı kontrolleri ve entegrasyon yetkileri aracılığıyla uygulanır.

Sistemin müşteri süreçleri ve ürünleri hakkında doğru ve güncel yanıt üretebilmesi için gerekli bilgi, belge ve içeriklerin müşteri tarafından sağlanması gerekir. Bu içerikler ürün ve hizmet açıklamalarını, sık sorulan soruları, kullanım kılavuzlarını, prosedürleri, kampanya bilgilerini, ürün kataloglarını, iş kurallarını, yasaklı konuları, sözleşmesel sınırlamaları ve temsilciye aktarılması gereken durumları içerebilir. Müşteri tarafından sağlanan içeriklerin doğruluğu, güncelliği, tutarlılığı ve kullanım yetkisi müşteri sorumluluğundadır.

Müşterinin belirlediği ürünlerin önerilmemesi, belirli ürün bileşenleri hakkında tavsiye verilmemesi, sağlık, hukuk, finans veya benzeri hassas alanlarda yönlendirici cevap üretilmemesi, belirli marka veya ürünlerin karşılaştırılmaması ve "bana en uygun ürün hangisidir" gibi kişisel tavsiye niteliğindeki soruların cevaplanmaması gibi kurallar tanımlanır.

Sistem, kullanıcı girdisinin cevaplanması yasaklanan veya insan değerlendirmesi gerektiren bir konuya ait olduğunu tespit ettiğinde standart bir bilgilendirme mesajı üretebilir, yanıtı baskılayabilir veya konuşmayı temsilciye aktarabilir. Bu durumda sistemin neden yanıt üretmediği, ilgili müşteri politikası veya iş kuralı kimliğiyle ilişkilendirilerek kayıt altına alınabilir.

Prompt injection, jailbreak ve sistem talimatlarını etkisiz hale getirmeye yönelik taleplere karşı kullanıcı girdileri ile sistem talimatları birbirinden ayrıştırılır. Kullanıcı tarafından sağlanan içerikler güvenilir sistem talimatı veya yetkili işlem komutu olarak kabul edilmez. Bilgi kaynaklarından getirilen metinlerin içinde bulunan talimatların model davranışını değiştirmemesi için içerik ve talimat katmanları ayrılır, bilinen saldırı örüntüleri girdi kontrolleriyle incelenir ve sistem talimatlarının önceliği korunur.

Model girdileri ve çıktıları, kişisel veya hassas veri bakımından kontrol edilebilir. Kullanım amacı için gerekli olmayan veriler modele aktarılmadan önce maskelenir, kimliksizleştirilir veya kaldırılır. Modelin sistem talimatlarını, erişim anahtarlarını veya yetkisiz doküman içeriklerini kullanıcıya aktarmasını önlemek amacıyla erişim filtreleri ve çıktı kontrolleri uygulanır.

Sistem canlıya alınmadan önce normal kullanım senaryolarının yanında konu dışı sorular, eksik bilgi, çelişkili dokümanlar, yasaklı ürün önerileri, sağlık tavsiyesi talepleri, prompt injection, kişisel veri içeren girdiler, kaynakta cevabı bulunmayan sorular ve yetkisiz işlem talepleriyle test edilir. Test sonuçlarına göre sistem talimatları, bilgi erişim eşikleri, doküman parçalama yöntemi, yeniden sıralama ayarları, çıktı kontrolleri ve temsilciye aktarım koşulları güncellenir.

Bilgi tabanında yapılan ekleme, çıkarma ve güncellemeler sürüm bilgisiyle kayıt altına alınır. Güncelliğini kaybetmiş, çelişkili veya müşteri tarafından kullanımdan kaldırıldığı bildirilen içerikler erişim indeksinden çıkarılır. Model, sistem talimatı, bilgi erişim yöntemi veya müşteri kurallarında yapılan önemli değişikliklerden sonra ilgili test senaryoları yeniden çalıştırılır.

Bu kontroller kaynak dışı, uygunsuz, yetkisiz veya gerçeğe aykırı içerik üretilmesi riskini azaltmayı amaçlar. Kullanılan modelin olasılıksal yapısı, müşteri tarafından sağlanan bilgilerin kapsamı ve güncelliği, kullanıcı girdilerinin niteliği ve üçüncü taraf model davranışları nedeniyle bütün hataların her koşulda ortadan kaldırılacağı yönünde bir garanti oluşturmaz.

5.3. Otomatik Yanıt Sistemleri

Bir yapay zeka çıktısının temsilci incelemesi olmadan doğrudan müşteriye gönderildiği sistemlerde, yanıtın gönderilmesinden önce müşteri tarafından belirlenen kapsam, içerik ve iletişim kurallarına yönelik ilave doğrulamalar uygulanır.

Proje kapsamında otomatik yanıt sistemlerinin cevap verebileceği konu, işlem ve müşteri talebi türleri proje kapsamında açık biçimde tanımlanmalıdır. Otomatik yanıt kapsamına alınmayan, bilgi kaynağında yeterli karşılığı bulunmayan, belirsizlik içeren, kişisel değerlendirme veya uzman görüşü gerektiren talepler için sistem yanıt üretmeyebilir, yanıtı taslak olarak sunabilir veya süreci temsilci incelemesine yönlendirebilir.

Müşteri tarafından sağlık, hukuk, finans, ürün tavsiyesi, ürün karşılaştırması, kampanya taahhüdü, fiyat veya stok doğrulaması gibi belirli konular otomatik yanıt kapsamı dışında bırakılabilir. Belirli ürünlerin veya ürün bileşenlerinin önerilmemesi, bazı ifadelerin kullanılmaması, belirli konularda yalnızca standart bir bilgilendirme mesajı verilmesi ve temsilciye aktarılması gereken durumlar müşteri kuralları içinde tanımlanır.

Bu kurallar konu ve niyet sınıflandırması, bilgi kaynağı kapsam kontrolü, ürün ve kategori meta verileri, güven eşikleri, yasaklı konu ve ifade listeleri, çıktı doğrulama mekanizmaları ve kural tabanlı baskılama kontrolleri aracılığıyla uygulanır.

Yanıtın otomatik gönderime uygun bulunmadığı durumlarda işlem baskılanabilir, taslak yanıt oluşturulabilir, ek bilgi talep edilebilir veya kayıt insan incelemesine yönlendirilebilir.

Otomatik yanıtın gönderileceği e-posta, web, WhatsApp, pazaryeri veya diğer yazılı iletişim kanallarına özgü mesaj uzunluğu, biçim, hitap, yasaklı içerik, bağlantı kullanımı ve cevaplama kuralları müşteri talep ve onayı ile sistem yapılandırmasına dahil edilir.

5.4. Metin Analizi, Duygu ve Kalite Sistemleri

Next4biz tarafından sunulan Duygu analizi, InsightX gibi sistemlerin ürettiği duygu, kalite, özet, konu ve kök neden sonuçları karar destek niteliğindedir.

Bu sistemlerde kullanılacak model ve yöntemler, metnin dili, uzunluğu, kanal özellikleri, sınıf yapısı ve kullanım amacı dikkate alınarak belirlenir.

Model çıktıları güven skorlarıyla birlikte değerlendirilir, karar eşikleri doğrulama verisi üzerinde belirlenir ve sınıf bazlı performans sonuçları izlenir.

Bu sistemlerin sonuçları, özellikle çalışanlar veya müşteriler hakkında önemli sonuç doğurabilecek değerlendirmelerde bağlamdan bağımsız ve tek başına kesin bir tespit olarak kullanılmamalıdır.

Özetleme ve kök neden çıkarımı yapan sistemlerde kaynak metindeki kritik bilgilerin korunması, üretilen sonucun kaynak içerikle uyumlu olması ve kaynakta bulunmayan bir nedenin kesin tespit olarak sunulmaması gözetilir. Gerekli durumlarda özet, konu veya kök neden sonuçları kural tabanlı kontroller, ikinci bir model veya kullanıcı doğrulamasıyla değerlendirilir.

5.5. Anomali (aykırı durum) Tespiti ve Tahmin Sistemleri

Next4biz tarafından sunulan Anomaly.Net ve benzeri anomali tespit sistemlerinin ürettiği sonuçlar, incelenmesi gereken olağan dışı süreç örneklerine ilişkin gösterge niteliğindedir. Bir kaydın anomali olarak işaretlenmesi tek başına hata, ihlal veya kötüye kullanım bulunduğu anlamına gelmez.

Canlı kullanım sırasında süreç yapısındaki, anomali skorlarındaki ve zaman serisi dağılımlarındaki değişimler izlenir. Yeni süreç türleri, değişen kullanıcı davranışları, ani trafik artışları veya geçmiş verilerde bulunmayan olaylar tespit edildiğinde modelin, alarm eşiklerinin, tahmin değişkenlerinin ve eğitim verisinin yeniden değerlendirilmesi sağlanır.

6. Müşteriye Özgü Kontroller ve Paylaşılan Sorumluluk

6.1. Müşteri Kontrol Listesi

Yapay zeka sisteminin davranışının müşterinin ticari, hukuki veya operasyonel gereksinimlerine göre sınırlandırılması gereken projelerde Müşteri Yapay Zeka Kontrol Listesi hazırlanmalıdır.

Bu listede sistemin cevap verebileceği ve veremeyeceği konular, kullanacağı bilgi kaynakları, önerilebilecek veya önerilemeyecek ürünler, temsilciye aktarım koşulları, insan onayı gerektiren işlemler ve müşteriye özgü iletişim kuralları düzenlenir.

6.2. Müşteri Tarafından Sağlanan İçerikler

Müşteri, sisteme sağladığı bilgi, belge, kural ve ürün içeriklerinin doğruluğundan, güncelliğinden ve kullanım yetkisinden sorumludur.

İçeriklerde yapılan değişikliklerin veya yeni kısıtların Next4biz’e bildirilmesi ve gerekli yapılandırma çalışmalarının tamamlanması gerekir. Güncelliğini kaybetmiş içeriklerin sistem sonuçlarını etkileyebileceği müşteriye bildirilir.

6.3. Kullanım Sınırları

Yapay zeka sistemleri, tanımlanan kullanım amacı dışında kullanılmamalıdır. Gerekli insan gözetimi sağlanmalıdır.

Müşteri tarafından sistem yapılandırmasının, bilgi kaynaklarının, entegrasyonların veya güvenlik kontrollerinin Next4biz’in bilgisi dışında değiştirilmesi sonucunda ortaya çıkabilecek etkiler ayrıca değerlendirilir.

7. İzleme, Kayıt ve Olay Yönetimi

7.1. Canlı Sistemlerin İzlenmesi

Canlı ortamda çalışan yapay zeka sistemleri, teknik ve operasyonel olarak uygun göstergeler üzerinden izlenir.

İzleme kapsamı, sistem performansı, kullanıcı düzeltmeleri, temsilciye aktarımlar, yanıt vermeme durumları, servis gecikmeleri ve kaynak tüketimi gibi göstergeleri içerebilir.

Performansta anlamlı değişiklik görülmesi halinde altyapı, veri, model, bilgi kaynağı, eşik değeri veya iş kuralları yeniden değerlendirilebilir.

7.2. Kayıt ve izlenebilirlik

Yapay zeka sistemlerinin ürettiği işlem verileri (log kayıtları), ilgili sistemin niteliği ve veri koruma gereksinimleri dikkate alınarak kayıt altına alınır.

Log kayıtlarında yalnızca operasyonel ihtiyaç bakımından gerekli verilerin tutulması ve hassas verilerin korunması esastır. Log kayıtlarında gerekmedikçe kişisel veriler bulunmaz, gerekli olduğu hallerde maskelenerek tutulur.

8. Üçüncü Taraf Sistemler ve Tedarikçiler

8.1. Üçüncü Taraf Model ve Servislerin Kullanımı

Next4biz çözümlerinde üçüncü taraf yapay zeka model servisleri kullanılabilir. Ayrıca açık kaynak modeller, embedding modelleri, yeniden sıralama servisleri, vektör veri tabanları, içerik güvenliği servisleri, konuşmadan metne, metinden konuşmaya, OCR, çeviri, gözlemleme ve model izleme bileşenleri de sistem mimarisine dahil edilebilir.

Bir üçüncü taraf servisin kullanıma alınmasından önce, servise aktarılacak girdi ve belgelerin kapsamı, üretilen çıktıların saklanıp saklanmadığı, verilerin sağlayıcı tarafından model eğitimi veya servis geliştirme amacıyla kullanılıp kullanılmadığı, kötüye kullanım izleme kayıtlarının saklama süresi, verinin işlendiği ve saklandığı bölgeler, alt hizmet sağlayıcılar ve veri silme imkanları incelenir. Bu değerlendirme kullanılan API uç noktası, özellik, hesap türü ve proje yapılandırması bazında gerçekleştirilir.

Üçüncü taraf servislere yalnızca ilgili işlemin gerçekleştirilmesi için gerekli veri aktarılır. Kullanım amacı bakımından gerekli olmayan kişisel, hassas veya ticari veriler aktarım öncesinde maskelenir, kimliksizleştirilir veya girdi kapsamından çıkarılır. API anahtarları ve erişim bilgileri uygulama kodunda veya model girdilerinde tutulmaz, güvenli gizli anahtar yönetim sistemlerinde saklanır ve servis hesaplarına en az yetki ilkesi doğrultusunda erişim verilir.

Üçüncü taraf model çıktıları doğrudan güvenilir veya doğrulanmış bilgi olarak kabul edilmez. Model çıktıları kullanım senaryosuna göre kaynakla uyum, kapsam, biçim, içerik güvenliği, müşteri kuralları ve işlem yetkisi bakımından kontrol edilir.

Sağlayıcının model sürümünü, güvenlik politikasını, veri işleme koşullarını, API davranışını veya kullanım sınırlarını değiştirmesi halinde değişikliğin Next4biz çözümüne etkisi değerlendirilir. Mümkün olan durumlarda sabit model sürümleri kullanılır, otomatik sürüm geçişleri izlenir ve önemli model değişikliklerinden sonra kabul testleri yeniden çalıştırılır.

Tek bir model veya sağlayıcıya bağımlılığın hizmet sürekliliği açısından risk oluşturduğu projelerde alternatif model, sağlayıcı veya yerel dağıtım seçeneği belirlenebilir. Birincil servisin kullanılamaması, performansının kabul sınırlarının altına düşmesi, maliyetinin önemli ölçüde değişmesi veya veri işleme koşullarının proje gereksinimleriyle uyumsuz hale gelmesi durumunda alternatif servise geçiş planı uygulanabilir.

Üçüncü taraf servislerin kullanımı, sağlayıcı adı, kullanılan model ve sürüm, API özelliği, veri aktarım kapsamı, saklama ayarları, dağıtım bölgesi, güvenlik yapılandırmaları ve alternatif servis planıyla birlikte teknik dokümantasyonda kayıt altına alınır.

9. Eğitim, Denetim ve Sürekli İyileştirme

9.1. Yapay Zeka Farkındalığı

Yapay zeka sistemlerinin geliştirilmesi, satışı, uygulanması veya işletilmesinde görev alan çalışanların rolleriyle uyumlu düzeyde yapay zeka riskleri, veri koruma, bilgi güvenliği ve sistem sınırlamaları hakkında bilgi sahibi olması sağlanır.

Müşteri kullanıcılarına, ilgili ürünün kullanım biçimi ve sınırlamaları hakkında gerekli bilgilendirme yapılabilir.

9.2. Gözden Geçirme ve İyileştirme

Bu Çerçeve ile yapay zeka sistemlerine uygulanan kontroller, teknolojik gelişmeler, müşteri geri bildirimleri, performans sonuçları ve ilgili düzenlemelerdeki değişiklikler dikkate alınarak gözden geçirilir.