Stop Sequence

Stop Sequence, bir yapay zekâ modelinin metin üretimini belirli bir karakter, kelime, ifade veya karakter dizisiyle karşılaştığında durdurmasını sağlayan kontrol parametresidir. Özellikle API tabanlı uygulamalarda modelin çıktısının nerede sona ereceğini daha kesin biçimde yönetmek için kullanılır.

Basit ifadeyle modele şunu söylersiniz: “Bu ifadeyi üretmeye geldiğinde cevabı burada bitir.”

Stop Sequence Ne İşe Yarar?

Normal koşullarda bir dil modeli, yanıtın doğal olarak tamamlandığını düşündüğünde veya izin verilen çıktı sınırına ulaştığında üretimi durdurur. Stop Sequence ise geliştiriciye ek bir kontrol sağlar. Örneğin bir sistemin yalnızca tek bir soru-cevap çifti üretmesini istediğimizi düşünelim:

Soru: Türkiye'nin başkenti neresidir? Cevap:

Stop Sequence olarak:

Soru:

tanımlanırsa model cevabı verdikten sonra yeni bir "Soru:" bölümü oluşturmaya başladığında üretim durdurulabilir.

Bu özellikle yapılandırılmış ve sınırları belirli çıktılar için kullanışlıdır.

Basit Bir Örnek

Prompt: Türkiye hakkında üç kısa bilgi ver.BİTİŞ

Uygulamada: Stop Sequence = “BİTİŞ”

şeklinde bir durdurma dizisi tanımlanabilir.

Model üretim sırasında bu diziyi oluşturacak noktaya ulaştığında sistem çıktıyı sonlandırır. Stop Sequence çoğu API tasarımında kullanıcıya gösterilen nihai çıktının bir parçası olarak değil, üretimi durduran kontrol işareti olarak kullanılır. Bunun tam davranışı kullanılan model veya API’ye göre değişebilir.

Birden Fazla Stop Sequence Kullanılabilir mi?

Birçok API birden fazla durdurma dizisinin tanımlanmasına izin verir.

Örneğin: [“END”, “###”, “User:”] gibi bir yapı kullanılabilir. Model bunlardan herhangi birini üretmeye başladığında çıktı durdurulabilir.

Bu özellik özellikle konuşma sistemlerinde önemlidir. Örneğin modelin kullanıcı adına yeni bir mesaj üretmesini istemiyorsanız:

User: 

bir durdurma işareti olarak kullanılabilir.

Stop Sequence Nerelerde Kullanılır?

Stop Sequence özellikle şu kullanım alanlarında yararlıdır:

• Chatbotlar: Modelin yalnızca asistana ait cevabı üretmesini sağlamak.
• Soru-cevap sistemleri: Tek bir cevaptan sonra yeni soru üretmesini engellemek.
• Kod üretimi: Belirli bir bölüm veya işaretleyiciye ulaşıldığında üretimi sonlandırmak.
• Veri üretimi: Her kaydın belirli bir ayırıcıyla sınırlandırılmasını sağlamak.
• Şablon tabanlı içerik: Modelin yalnızca istenen bölümü doldurmasını sağlamak.
• API uygulamaları: Çıktının başlangıç ve bitiş sınırlarını daha kontrollü hâle getirmek.

Stop Sequence ile Max Tokens Arasındaki Fark

Bu iki parametre modelin çıktısını sınırlandırır ancak farklı biçimlerde çalışır.

Max Tokens: “En fazla ne kadar çıktı üretebilirsin?” sorusunu kontrol eder.

Stop Sequence: “Hangi işarete ulaştığında üretimi bırakmalısın?” sorusunu kontrol eder.

Örneğin: Max Tokens = 500Stop Sequence = “### END ###” olarak ayarlanmış olsun.

Model 500 tokena ulaşmadan "### END ###" dizisini üretirse çıktı daha erken sonlanabilir. Buna karşılık stop sequence hiç oluşmazsa model başka bir doğal durma koşuluna veya çıktı limitine kadar devam edebilir.

Stop Sequence ile Prompt Talimatı Aynı Şey Değildir

Burada önemli bir ayrım vardır.

Prompt içinde: “Üç madde yaz ve sonra dur.” demek doğal dil talimatıdır.

Stop Sequence kullanmak ise üretim sisteminin/model API’sinin sağladığı teknik çıktı kontrol mekanizmasıdır.

Model doğal dil talimatını yorumlar. Stop Sequence ise eşleşen dizinin oluşması durumunda üretimin sonlandırılmasını sağlar. Bu nedenle geliştirici açısından daha deterministik bir çıktı sınırı oluşturabilir.

Yanlış Stop Sequence Seçilirse Ne Olur?

Stop Sequence çok yaygın kullanılan bir kelime olarak seçilirse cevap beklenenden erken kesilebilir.

Örneğin: Stop Sequence = “ve”

gibi bir seçim son derece kötü olacaktır.

Model: “Yapay zekâ işletmelerde veri analizi ve…”

yazarken "ve" dizisine ulaştığında üretim durabilir.

Bu nedenle durdurma dizileri mümkün olduğunca çıktının normal içeriğinde tesadüfen ortaya çıkmayacak özgün ifadelerden seçilmelidir.

Örneğin:

<END_RESPONSE>

veya

###END###

gibi özel ayırıcılar daha kontrollü olabilir.

Stop Sequence ve Diğer Üretim Parametreleri

Daha önce ele aldığımız parametrelerle birlikte düşünürsek:

Temperature → Çıktının çeşitliliğini etkiler.

Top-p → Olasılık havuzunu sınırlar.

Top-k → Değerlendirilecek en olası token sayısını sınırlar.

Frequency Penalty → Tekrarlanan ifadeleri azaltmaya yardımcı olur.

Presence Penalty → Yeni token ve konulara yönelmeyi teşvik edebilir.

Max Tokens → Maksimum çıktı uzunluğunu sınırlar.

Stop Sequence → Belirli bir dizinin oluşması durumunda üretimi sonlandırır.

Dolayısıyla Stop Sequence, modelin içeriğinin yaratıcılığını değil, esas olarak çıktının nerede biteceğini kontrol eder.

Kısaca:

Stop Sequence, modelin belirli bir karakter veya metin dizisini üretmeye ulaştığında yanıt üretimini sonlandırmak için kullanılan teknik kontrol mekanizmasıdır. Özellikle chatbot, API, otomasyon ve yapılandırılmış çıktı uygulamalarında kullanışlıdır. En basit ayrımla:

Max Tokens → “En fazla ne kadar yaz?”

Stop Sequence → “Nereye geldiğinde yazmayı bırak?”

Bu nedenle Stop Sequence, yapay zekâ çıktılarının sınırlarını ve formatını kontrol etmek isteyen geliştiriciler için önemli üretim parametrelerinden biridir.