Backtest-Validierung · Quantitative Forschung
CopyTradeAudit
Eine Backtesting-Engine, gebaut um die eigenen Ergebnisse zu zerlegen — und das ehrliche negative Resultat, das dabei herauskam.
- Python
- FastAPI
- pytest
- SQLite
- uv
Das Problem
Viele Produkte verkaufen dieselbe Idee: Prognosemärkte veröffentlichen jeden Trade, manche Trader sind dauerhaft profitabel, also folge ihnen und verdiene mit. Die Idee lässt sich leicht per Backtest prüfen — und ebenso leicht falsch prüfen: ein Leck künftiger Information, oder fünfzig korrelierte Märkte als fünfzig unabhängige Beobachtungen gezählt, und das Ergebnis sieht hervorragend aus, ohne etwas zu bedeuten.
Für wen
Alle, deren Entscheidung auf einem Backtest ruht: eine Strategie kurz vor dem Livegang, die Erfolgsbilanz eines Anbieters, eine Zahl, die zu gut aussieht, um ihr zu widersprechen.
Was es macht
Ein deterministischer Forschungskern in Python — rund 3.500 Zeilen, abgesichert durch 103 Tests — gemessen an 370 Märkten, 134.000 realen Trades und 46 unabhängigen Ereignissen. Das Urteil: kein messbarer Vorteil. Per Kopie ausgewählte Trades brachten +0,0200 je Anteil oberhalb des Preisbandes 0,95, während der blinde Kauf desselben Bandes — ganz ohne Trader — +0,0211 brachte.
Wichtige Entscheidungen
- Leckfrei durch Konstruktion: Zum Zeitpunkt jedes Signals wird das Können eines Traders ausschließlich aus Märkten berechnet, die bis dahin bereits abgerechnet waren — nie aus dem, was danach geschah.
- Bootstrap-Intervalle mit Clusterbildung nach Ereignis, damit fünfzig korrelierte Märkte innerhalb eines Ereignisses als eine Beobachtung zählen und nicht als fünfzig.
- Ausführung simuliert gegen ein echtes Orderbuch, mit Gebühren, Slippage und Teilausführungen, statt anzunehmen, jede Order sei zum Mittelkurs ausgeführt worden.
- Veröffentlicht wurde das negative Ergebnis statt des schmeichelhaften; eine Strategie ist als INCONCLUSIVE markiert, weil nicht das Modell defekt war, sondern die Messung.
Was ich gelernt habe
Ich fand vier Fehler in meiner eigenen Methodik, von denen jeder bereits ein überzeugendes falsch-positives Ergebnis erzeugt hatte — darunter eine Strategie mit 100 % Trefferquote über 36 Trades, deren realer Vorsprung gegenüber blindem Einstieg 0,8 % betrug. Trader nach Trefferquote zu sortieren findet kein Können, sondern Leute, die Fast-Gewissheiten zu 98 Cent kaufen. Eine selbstsichere falsche Antwort kostet mehr als gar keine Antwort.
Wie es weitergeht
Die Leck- und Cluster-Prüfungen zu einem Prüfstand ausbauen, den man auf den Backtest anderer richten kann — damit dieselbe Strenge für eine Strategie gilt, die nicht von mir stammt.
Nur auf dem Papier — kein Live-Handel, kein echtes Geld, und das mit Absicht.