Prompt & Bağlam Kalite Denetleyici
Tek bir estetik prompt puanı üretmez. Her sinyali ayrı denetler, eksik olan sözleşme katmanlarını gösterir ve en yüksek kaldıraçlı düzeltmeleri sıralar.
Ana çıktı PDF, Markdown ve makinece işlenebilir JSON olarak taşınabilir.
Prompt neyin başarılacağını açıkça söylemeli.
→ Amaç ile yapılacak görevi iki ayrı bölümde yaz.
Model hangi verileri kullanacağını bilmelidir.
→ Kullanılabilir girdileri ve veri sınırını açıkça yaz.
Kısıt yoksa model kapsamı kendi tamamlamaya çalışır.
→ Yapılması ve yapılmaması gerekenleri ayrı maddelerle tanımla.
İyi prompt sadece işi değil teslim biçimini de tanımlar.
→ Format, zorunlu alanlar, uzunluk ve sıra için çıktı kontratı ekle.
Çıktının iyi olup olmadığı mekanik olarak kontrol edilebilmelidir.
→ 3–7 doğrulanabilir kabul kriteri ekle.
Eksik bilgi durumunda ne yapılacağı önceden tanımlı olmalıdır.
→ Tahmin, varsayım ve eksik kritik veri davranışını belirt.
Bağlamın nereden geldiği ve ne kadar güvenilir olduğu görünür olmalıdır.
→ Kaynakları P0/P1/P2 şeklinde sıralayıp otoriteyi belirt.
Zaman duyarlı bilgi için hangi tarihin geçerli olduğu belirtilmelidir.
→ As-of tarihi veya güncellik doğrulama kuralı ekle.
Neyin kullanılmayacağını belirtmek bağlam gürültüsünü düşürür.
→ Kapsam dışı bilgi ve kullanılmaması gereken kaynakları yaz.
0 tahmini token bağlam yükü.
Promptfoo eval config
# Promptfoo eval scaffold generated by ahmetcanal.com
# Replace YOUR_PROVIDER/YOUR_MODEL before running.
description: "Prompt & Bağlam Kalite Denetleyici"
prompts:
- |
[PROMPT REQUIRED]
providers:
- id: YOUR_PROVIDER:YOUR_MODEL
tests:
- description: "Temel çıktı kontrolü"
assert:
- type: javascript
value: output.trim().length > 0
# Run locally with Promptfoo after choosing a provider/model.
Üretilen promptları gerçek model/provider eval'larına taşıyan açık kaynak test katmanı.
Repo içeriğini AI-dostu tek bağlam paketine dönüştürür; Context Mimarı çıktıyı doğrudan kabul eder.
A/B prompt varyantı mantığı kalite denetleyiciye taşındı; yapısal farkı yan yana görürsün.