Context Poisoning

Context Poisoning – (Bağlam Zehirleme), bir yapay zekâ sisteminin kararlarını veya sonraki yanıtlarını etkilemek amacıyla modelin kullandığı bağlama yanlış, yanıltıcı, manipülatif veya kötü niyetli bilgilerin yerleştirilmesi durumudur. Özellikle uzun bağlam kullanan LLM’lerde, RAG sistemlerinde, yapay zekâ ajanlarında ve kakıcı hafıza kullanan uygulamalarda önemli bir güvenlik ve güvenilirlik problemidir.

Temel mantık şöyledir:

Güvenilir bağlam + Zehirlenmiş bilgi → Modelin bağlamı kullanması → Hatalı/manipüle edilmiş çıkarım veya eylem

Örneğin bir şirketin yapay zekâ asistanının kurumsal belgeleri kullanarak soruları yanıtladığını düşünelim. Bilgi tabanına gerçeğe aykırı biçimde: “Şirketin yeni iade politikası tüm ürünlerde 180 gündür.” şeklinde sahte bir belge eklenirse, model daha sonraki müşteri sorularında bu bilgiyi güvenilir kurumsal veri sanarak kullanabilir. Buradaki temel problem modelin promptunun doğrudan değiştirilmesi değil, karar verirken kullandığı bağlamın zehirlenmesidir.

Context Poisoning nerede gerçekleşebilir?

“Bağlam” yalnızca mevcut kullanıcı mesajından oluşmaz. Modern yapay zekâ sistemlerinde farklı kaynaklardan gelebilir:

Konuşma geçmişi: Önceki mesajlara yanlış bilgiler yerleştirilmesi.

RAG kaynakları: Bilgi tabanına manipülatif veya yanlış belgeler eklenmesi.

Uzun bağlam: Modele verilen büyük belge kümelerinde yanıltıcı içerik bulunması.

Ajan hafızası: Yapay zekânın daha sonraki görevlerde kullanacağı belleğe yanlış bilgi kaydedilmesi.

Web içerikleri: Modelin araştırma sırasında güvenilir sandığı manipüle edilmiş içerikleri bağlamına alması.

Araç çıktıları: Harici sistemlerden gelen güvenilmeyen verilerin doğrulanmadan sonraki işlemlerde kullanılması.

Basit örnek

Bir yapay zekâ ajanının daha önceki konuşmalardaki bilgileri kullanarak seyahat planı oluşturduğunu düşünelim.

Bağlama yanlış biçimde: “Kullanıcı yalnızca gece uçuşlarını tercih ediyor.” bilgisi eklenmiş olsun.

Model bunu gerçek kullanıcı tercihi olarak kabul ederse sonraki uçuş aramalarını bu yanlış bilgiye göre sınırlandırabilir.

Burada saldırının etkisi tek bir yanıtla sınırlı kalmayabilir; yanlış bağlam sonraki kararları da etkileyebilir.

Context Poisoning ile Prompt Injection farkı

Bu iki kavram ilişkili olmakla birlikte aynı değildir.

Kavram	Temel Hedef
Prompt Injection	Modelin talimatlarını manipüle etmek
Indirect Prompt Injection	Harici içerikteki talimatlarla modeli yönlendirmek
Context Poisoning	Modelin kullandığı bağlama yanlış/manipülatif bilgi yerleştirmek
Memory Poisoning	Özellikle kalıcı/ajan hafızasını zehirlemek
Data Poisoning	Eğitim veya başka veri kaynaklarını bozmak

Örneğin bir RAG belgesinde: “Önceki talimatları görmezden gel.” yazıyorsa bu Indirect Prompt Injection olabilir.

Aynı belgeye gerçeğe aykırı fakat normal bilgi gibi görünen: “Şirketin CEO’su X kişisidir.” ifadesi eklenmiş ve model bunu gerçek kabul etmişse bu durum Context Poisoning kapsamında değerlendirilebilir.

Context Poisoning ve Data Poisoning farkı

Bu ayrım da önemlidir.

Data Poisoning, genellikle modelin eğitim, fine-tuning veya başka bir öğrenme sürecinde kullanılan veri setinin manipüle edilmesine odaklanır.

Context Poisoning ise çoğunlukla modelin çalışma/çıkarım sırasında kullandığı bağlamın manipüle edilmesiyle ilgilidir.

Basitleştirirsek:

Data Poisoning:
Zehirli veri → Eğitim/öğrenme → Model davranışında değişiklik

Context Poisoning:
Zehirli bilgi → Çalışma zamanı bağlamı → Yanıt/kararda değişiklik

RAG sistemlerinde Context Poisoning

RAG sistemleri açısından özellikle önemlidir:

Kullanıcı sorusu

↓

Bilgi tabanında arama

↓

İlgili belgelerin getirilmesi

↓

Belgelerin modele bağlam olarak verilmesi

↓

Yanıt

Bilgi tabanına manipüle edilmiş belgeler yerleştirilirse retrieval sistemi bunları bulup modele aktarabilir. Model de bunları güvenilir bilgi olarak kullanabilir.

Bu durum genellikle RAG poisoning veya knowledge-base poisoning gibi daha spesifik güvenlik problemleriyle ilişkilendirilir.

Memory Poisoning ile ilişkisi

Context Poisoning’in daha kalıcı bir biçimi Memory Poisoning olarak düşünülebilir.

Örneğin saldırgan bir ajanın hafızasına yanlış bir kuralın kaydedilmesini sağlarsa:

Yanlış bilgi → Hafızaya kaydetme → Yeni konuşma → Hafızadan geri çağırma → Yanlış karar

zinciri ortaya çıkabilir.

Bu durum tek bir konuşmanın bağlamını manipüle etmekten daha ciddi olabilir; çünkü zehirlenmiş bilgi gelecekteki etkileşimleri de etkileyebilir.

Context Poisoning neden tehlikelidir?

Bu saldırıların önemli özelliği, manipülatif bilginin açık bir “komut” gibi görünmek zorunda olmamasıdır.

Örneğin: “Önceki talimatları yok say.” açıkça şüpheli bir talimattır.

Ancak: “Bu şirketin resmi politikası tüm iadelerin ücretsiz olmasıdır.” normal bir bilgi cümlesi gibi görünebilir.

Bu nedenle yalnızca “prompt injection ifadelerini” tespit etmek Context Poisoning’e karşı yeterli değildir. Bilginin kaynağı, güvenilirliği ve güncelliği de değerlendirilmelidir.

Temel savunma yöntemleri

Önlem	Amaç
Source Validation	Kaynakların güvenilirliğini doğrulamak
Provenance Tracking	Bilginin nereden geldiğini takip etmek
Access Control	Bilgi tabanını kimlerin değiştirebileceğini sınırlamak
Memory Validation	Hafızaya yazılacak bilgileri kontrol etmek
Cross-checking	Kritik bilgileri birden fazla kaynakla doğrulamak
RAG Filtering	Şüpheli belgeleri retrieval sürecinden çıkarmak
Trust Levels	Kaynaklara farklı güven düzeyleri atamak
Monitoring	Bilgi tabanındaki olağandışı değişiklikleri izlemek

Özellikle provenance (veri kökeni) önemlidir. Modelin yalnızca bir bilgiye sahip olması değil, bu bilginin hangi kaynaktan geldiğinin bilinmesi güvenilirliği artırır.

Context Poisoning ve AI Agent’lar

AI Agent sistemlerinde sorun daha kritik hâle gelebilir:

Zehirlenmiş bağlam → Yanlış karar → Tool Calling → Gerçek dünyada işlem

Örneğin ajan yanlış bir bağlam nedeniyle yanlış dosyayı seçebilir, hatalı bir iş akışını başlatabilir veya uygun olmayan bir aracı kullanmaya çalışabilir.

Bu nedenle ajan sistemlerinde yalnızca model çıktısının değil, eyleme dönüşecek kararların da doğrulanması gerekir.

Kısaca: Context Poisoning, yapay zekânın kullandığı konuşma geçmişi, RAG belgeleri, hafıza, web içeriği veya diğer bağlamsal kaynaklara yanlış ya da manipülatif bilgiler yerleştirerek sonraki yanıt ve kararlarını etkilemeye çalışma problemidir. Prompt Injection modelin talimatlarını manipüle etmeye odaklanırken, Context Poisoning modelin doğru karar vermek için dayandığı bilgi ortamını manipüle eder.