Kendi Strateji Kütüphanemizi Bir Doğrulama Süzgecinden Geçirdik — İşte Hayatta Kalanlar

Çoğu trading platformu sana kazanan backtesti gösterir. Grafik sağa ve yukarı gider, Sharpe oranı göz alıcıdır, o ekran görüntüsüne giden yolda ölen binlerce varyant ise hiçbir yerde görünmez.

Bu makale mezarlık hakkında. Başarısızlık kendi başına ilginç olduğu için değil, mezarlık bir doğrulama sürecinin gerçekten bir şeyleri eleyip elemediğini doğrulayabileceğin tek yer olduğu için — testler iyileştikçe platformun kendi yayımlanmış çalışması dahil.

Tam olarak yeniden oluşturabildiğimiz on haftalık discovery çalışmasında motorumuz 8.610 strateji adayını değerlendirdi. 36 tanesi tam doğrulama süzgecinden geçti — yüzde 0,42. Bunların 8 tanesi kütüphaneye yayımlandı. Ardından daha sert testler inşa ettik, bunları halihazırda yayımlanmış stratejilerimize yönelttik ve canlı kütüphanemizin 15 stratejisinden 10 tanesi işaretlendi.

Motorumuzun iddia ettiği strateji ailelerinin üçte birini hiçbir zaman aramadığını ortaya çıkardığımız kısım dahil — tamamını yayımlıyoruz.

Gauntlet, Sade Bir Dille

Her aday strateji — bir koin üzerinde, bir zaman diliminde, bir kural seti — bir dizi filtreyi ardı ardına geçmek zorunda. Bir strateji başarısız olduğunda, adlandırılmış bir filtrede başarısız olur; her filtre ise backtestlerin yalan söylediği belirli bir yolu engellemek için vardır:

Temel geçitler. Anlamlı olabilmesi için yeterli işlem sayısı (minimum 30), yüzde 35 drawdown tavanı ve minimum riske göre düzeltilmiş getiri. Sıkıcı, ama aşağıda göreceğin gibi öldürmelerin büyük bölümünden sorumlu.

Walk-forward. Bir backtest geçmişi ezberleyebilir. Walk-forward, tarihin bir bölümünü stratejiden gizler, ardından stratejinin hiç görmediği bölümdeki performansını kontrol eder. Görünmemiş veriler üzerinde performansının en az yüzde 50'sini korumasını şart koşuyoruz — korayamazsa, güzel backtest sayısı şanstan ibaretti ve bunu açıkça söylüyoruz.

Trade dizisi bootstrap. Backtestin tarihin tek bir versiyonunu gösterir. Bir stratejinin işlemlerini 500 karıştırılmış sırayla — 500 alternatif evrende — yeniden çalıştırıyor ve makul olasılıkla yaşanabilecek en kötüyü inceliyoruz. 20 evrenden 1'i seni bıraktıracak bir drawdown üretiyorsa, gerçek para devreye girmeden bunu bilmen gerekir. Aynı test tersini de yakalar: gerçek geçmişi kendi yeniden karıştırmalarının neredeyse tamamından daha şanslı olan bir strateji.

Güvenilirlik tavanı ve sapma sınırı. Bir strateji çok mükemmel bir puan alırsa reddediyoruz — deneyimlerimize göre "inanılmaz" sonuçlar neredeyse her zaman bir veri hatası ya da şanstır, bir keşif değil. Pratik çalışma puanı ile görünmemiş veri puanı her iki yönde de büyük ölçüde ayrışıyorsa işaretliyoruz: hiçbir sayıya güvenemezsin.

Genişlik. Yalnızca tek bir koinde işe yarayan bir strateji muhtemelen o koinin hikayesidir, bir stratejinin değil. Aynı kurallar birçok varlık üzerinde bağımsız olarak hayatta kalıyorsa, bu kenarın gerçek olduğuna dair bir kanıttır.

Huni — Rahatsız Edici Kısımlar Dahil

Kurtarılan on çalışma genelinde: 8.610 aday, 36 tam gauntlet geçicisi (yüzde 0,42), 8 yayımlandı. Yalnızca kütüphaneye gerçekten ulaşanlar sayıldığında hayatta kalma yüzde 0,09.

Bağlam olarak: kamuya açık bilinen bir strateji doğrulama hunisi — YouTube'da dolaşan "binlerce backtest test ettik" analizleri — adaylarının yaklaşık yüzde 5,7'sini geçiriyor. Gauntlet geçicilerimizi mi yoksa gerçek yayınlarımızı mı karşılaştırdığına bağlı olarak, bizim hunimiz 8 ila 60 kat daha katı. Bunun bizi daha zeki yaptığını iddia etmiyorum. Bizi daha seçici yapıyor ve doğrulama rozetimizi taşıyan stratejilerin, hayatta kalma önyargılı pazarlamanın asla yüzleşmediği bir filtreye karşı bunu kazandığı anlamına geliyor.

O huninin içinde iki rahatsız edici bulgu:

Neredeyse her şey kapıda ölüyor. Detaylı loglara sahip 5.370 adayın 5.243'ü — yüzde 97,6'sı — gelişmiş dışarıda örnek makinesini hiç görmeden iki en temel geçit tarafından (çok az işlem, eşiğin altında kazanma oranı) elendi. Dışarıda örnek geçitlerimizden biri bugüne kadar hiç bir kez devreye girmedi. Süslü geçitlerin az kullandığı bir gauntlet, şeklinin yeniden düzenlenmesi gereken bir gauntlet'tir ve bunu dengelemek tam olarak bir sonraki bölümün konusu.

Üç haftalık geçmiş kayıp. 12, 19 ve 26 Temmuz çalışmalarımız, aday başına sonuçları korumayı düşünmeden önce log rotasyonuyla kayboldu — reddedilen adaylar için hiçbir yerde metrik depolanmıyordu. Yukarıdakilerin tamamı kurtarabildiğimiz çalışmalardan yeniden oluşturuldu ve o tarihten bu yana kalıcılığı hayata geçirdik, böylece gelecekteki her adayın sayıları geçsin ya da geçmesin hayatta kalıyor. "Yeniden oluşturuldu" dediğimizde, rakamları tam olarak böyle değerlendir.

İtiraf: Haritanın Üçte Birini Hiç Aramıyorduk

Hayatta kalımı strateji ailesine göre topladığımızda iki aile — volume ve pattern — hiçbir zaman sıfır aday gösterdi.

Bu piyasanın kararı değildi. Bir bug'dı: önceki bir motor yeniden yazımı sırasında tanıtılan bir configuration bayrağı genişletilmiş strateji kataloğumuzu sessizce atıyordu, bu yüzden haftalık discovery cron eski hardcoded bir listeyi aramaya devam etti. Altı strateji ailemizin ikisi hiçbir zaman yarışa girmedi ve izlememizde bunu söyleyen hiçbir şey yoktu. Bunu bulduk çünkü aile hayatta kalma tablosu boşluğu görmezden gelmeyi imkansız kıldı — bu, tabloyu oluşturmak için makul bir argüman. Bağlantı düzeltildi; genişletilmiş katalog her haftalık çalışmaya yaklaşık 7.000 backtest ekliyor.

(Bir pattern ailesi stratejisi şu an yayımlanmış durumda. 26 Temmuz'da — loglarını kaybettiğimiz haftalardan birinde — keşfedildi, bu yüzden geçtiği huniyi yeniden oluşturamıyoruz. Bu uyarı ona bağlı kalıyor.)

Geri kalan aile tablosu sıradan anlamda alçaltıcı: mixed confluence — "birkaç göstergeyi birleştir" ailesi, en sofistike gibi görünen — 460 denemede 0 aldı. Momentum en iyi hayatta kalma oranına sahipti, yüzde 1,44. Hiçbir şey yüzde 2'yi geçemedi.

Sonra Yeni Testleri Kendimize Yönelttik

Daha zor soru: kendi yayımlanmış stratejilerimiz az önce inşa ettiğimiz testlerden geçebiliyor mu? 15 stratejili tam kütüphaneyi üç yeni geçitten yeniden çalıştırdık. 15'in 10'u işaretlendi.

• Walk-forward tabanı: 1 başarısız. Bir strateji görünmemiş veriler üzerinde performansının yalnızca yüzde 42,5'ini korudu — yüzde 50 tabanımızın altında ve kütüphanedeki bir sonraki en düşük olan yüzde 81,3'ün çok altında. Denetime işaretlendi.
• Bootstrap: 6 işaretlendi. Dördünün 1'de-20 yeniden karıştırılmış drawdownu yüzde 35 tavanımızı aştı (yüzde 38,1'e kadar). Dördü ise tam tersi sorundu — şanslı kuyruklar: bir stratejinin gerçek geçmişi kendi yeniden karıştırmalarının 100 üzerinden 98'inden daha sığdı (yüzde 1,9 persentil), yani canlı kaydı aynı işlemlerin tipik olarak sunacağı şeyi abartıyor. İki strateji her iki bayrağı da aldı.
• Sapma sınırı: 4 işaretlendi — tümü görünmemiş veri puanları pratik puanlarının yaklaşık iki katı olan short-yönlü stratejiler (örneğin 2,72'ye karşı 1,24). Çok iyi de bir bayraktır: bu dışarıda örnek pencereleri 2026'nın ilk yarısındaki altcoin zayıflığında oturuyordu, yani bir rejim hediyesi stratejinin istek üzerine tekrar etmeyeceği bir iş yapıyor.

Önemle belirtmek gerekir ki üç geçit farklı stratejileri yakaladı — walk-forward başarısız olanı bootstrap'tan geçiyor ve bootstrap başarısızları walk-forward'dan geçiyor. Tek bir test hepsini bulamazdı.

Bunların hiçbiri sessizce yayından kaldırılmadı. Her bayrak, kanıtları eklenmiş bir insan denetimine gidiyor ve kaldırılan herhangi bir şey üzerinde bot çalıştıran kullanıcılar doğrudan bilgilendirilecek. Bu politika, ruh haline göre değişen bir şey değil.

Yeniden Karıştırmalar Bize Kayıp Serileri Hakkında Ne Öğretti

Geçitleri yeniden dengelerken — kaba kazanma oranı geçidinin bootstrap bandıyla değiştirilip değiştirilemeyeceğini test etmek için — discovery evrenimiz genelinde 1.620 backtest içeren taze bir ileri simülasyon çalıştırdık. Zamanına değer iki bulgu:

Bootstrap bandı daha keskin bir araçtır. Yalnızca kazanma oranı geçidinin engellediği adayların arasında, bootstrap bandı 9'un 8'ini bağımsız olarak eleyebildi — ve ayrıca bugünün tam gauntlet'ından geçen 9 stratejinin 5'ini de başarısız yapıyor. Uygulamak, kütüphaneyi herhangi bir şey büyümeden önce küçültüyor. Denetimden geçirerek de olsa yapıyoruz, çünkü daha küçük dürüst bir kütüphane daha büyük kırılgan birinden iyidir.

Kayıp serileri matematiğin bir özelliğidir, bir arıza değil. Yüzde 39,6–43,1 kazanma oranlarına sahip hayatta kalanlar arasında, maksimum kayıp serileri 6, 6, 6, 7 ve 11 ardışık kayıptı. Yaklaşık yüzde 40 kazanma oranlı bir strateji çalıştırıyorsan, 6 ila 11 kayıp serisi beklenen deneyimdir. O sayıyı düşük kazanma oranlı stratejilerin yanına göstereceğiz ve çalışma zamanı devre kesicileri (ardışık kayıp ve zaman pencereli kayıp limitleri) bunlar için varsayılan olarak açık — serisi gerçek parayla keşfetmene izin vermenin dürüst alternatifi.

Kapsam dürüstlüğü: bu simülasyon tek bir zaman penceresi, üç zaman diliminin ikisi, yalnızca eski strateji listesi. Başlık sayıları geniş belirsizlik taşıyor; yönsel sonuçlar tarihsel huniyle karşılaştırıldı ve geçerli.

Sırada Ne Var

• Denetim. İşaretlenen 10 strateji aylık kütüphane denetimimizden geçiyor — strateji başına insan kararı, masa üzerindeki kanıtlar, sessiz kaldırmalar yok. Bir strateji raftan indirilirse, üzerinde bot çalıştıran herkes bunu arayüzde fark etmeden önce doğrudan bizden duyuyor.
• Aylık yeniden gauntlet. Tam kütüphane oynatması artık bu denetimin kalıcı bir parçası. Haziran'da kazanılan rozet Ağustos'ta yeniden kazanılmak zorunda; piyasa rejimleri değişiyor ve doğrulamanın raf ömrü var.
• Daha geniş katalog. Gölgeli config düzeltildiğinde, volume ve pattern stratejileri nihayet yarışa giriyor — ve bu makaledeki huni ve aile grafikleri, loglardan yeniden oluşturulmak yerine kalıcı verilerden yeniden oluşturulacak.

Senin İçin Ne Anlama Geliyor

Kütüphanemizde bir strateji doğrulama rozeti taşıdığında şu anlama gelir: adayların yüzde 99'undan fazlasını reddeden bir huniden geçti, hiç görmediği veriler üzerinde performansının en az yarısını korudu, 500 alternatif geçmişi yıkıcı bir drawdown içermiyor ve sonuçları ne çok kötü ne de çok iyi güvenilmez düzeyde. Ayrıca rozetin geri alınabilir olduğu anlamına geliyor — kendi testlerimizle, kamuoyunda, bir programa göre.

Sana alpha söz veremem. Kimse dürüstçe veremez. Söz verebileceğim şey şu: yayımladığımız her şey az önce kendimize uyguladığımız makineyle aynı makineye karşı denenmiştir — ve makine utanç verici bir şey bulduğunda, bunu ilk buradan okursun.

Bu makaledeki tüm rakamler committed çalışma artifaktlarından ve replay işlerinden geliyor — hiçbiri elle derlenmiş değil. Üç Temmuz 2026 discovery çalışması, aday başına kalıcılık devreye girmeden önce log rotasyonuyla kayboldu; kurtarılan çalışmalara ait rakamler çalışma loglarından yeniden oluşturuldu ve yukarıda bu şekilde işaretlendi.