TokenLab
Yapay Zekâ Token İnteraktif Rehberi
Yapay Zekâ Metinleri Nasıl Anlar? Token Kavramı
Yapay zekâ modelleri kelimelerle değil, kelime parçaları olan token'lar ile düşünür. Türkçe, İngilizce ve diğer dillerde tokenların nasıl bölündüğünü interaktif olarak keşfedin.
Canlı Token Simülatörü
Aşağıdaki alana herhangi bir metin yazın ve yapay zekânın metni nasıl token parçalarına ayırdığını canlı görün.
Not: Bu simülatör, Türkçe eklemeli yapıyı ve karakter kümelerini gösteren eğitsel bir tokenizer mantığıyla çalışmaktadır. Gerçek model tokenizer'ları (ör. TikToken / Cl100k) farklı byte-pair encoding (BPE) kuralları kullanabilir.
1. Token Tam Olarak Nedir?
Yapay zekâda token, bir dil modelinin metni işlerken kullandığı temel birimdir. Bir token bazen tek bir karakter, bazen bir heceye benzeyen bir parça, bazen de kelimenin tamamıdır. Token, kelimeyle aynı şey değildir.
Örnek Cümle:
“Yapay zekâ insanlara yardımcı olur.”
2. Dil Farklılıkları ve Türkçe Faktörü
İngilizce metinlerde kelime/token oranı genellikle 1:1.3 civarındayken, Türkçe eklemeli bir dil olduğu için aynı anlamdaki bir cümle daha fazla tokene bölünebilir.
| Metin Türü | Özellik & Etki |
|---|---|
| İngilizce | Sık kullanılan kök kelimeler verimli kodlanır. |
| Türkçe | Eklemeli yapı nedeniyle kelimeler parçalara ayrılır. |
| Tıbbi / Teknik | Uzun ve nadir terimler çok sayıda tokene bölünür. |
| Sayılar & Kod | Basamak veya karakter yapısına göre ayrışabilir. |
3. Yapay Zekâ Tokenları Ne İçin Kullanır?
- Metin İşleme: Girdiğiniz soru ve oluşturulan yanıt token dizileriyle işlenir.
- Bağlam Yönetimi: Modelin hatırlayabildiği alan (bağlam penceresi) token cinsinden sınırlıdır.
- Maliyet Ölçümü: API servislerinde giriş ve çıkış tokenları ayrı ayrı ücretlendirilir.
4. Giriş ve Çıkış Tokenı
Örn: “Meme kanserinde yapay zekânın kullanım alanları nelerdir?”
5. Token Neden Önemli?
Modelin tek seferde ne kadar içeriği işleyebileceğini sınırlar.
Üretim hızı saniyede üretilen token (t/s) cinsinden ölçülür.
Büyük belgeler işlenirken maliyet doğrudan token adedine bağlıdır.
Türkçe Metin İçin Token Tahmin Hesaplayıcısı
Kelime sayısını ve varsayımsal token oranını ayarlayarak tahmini token maliyetini ve miktarını hesaplayın.
* Örnek maliyet hesabı $3.00 / 1M input token tarifesine göre yapılmıştır.
Model Bağlam Penceresi Karşılaştırması
Farklı yapay zekâ modellerinin hafıza kapasitelerini token cinsinden görselleştirin.
Hiç yorum yok:
Yorum Gönder