Backtest je spôsob, ako skontrolovať účinnosť stratégie v minulosti. Funguje tento nástroj skutočne?
Keď začínate vo svete obchodovania, jednou z prvých vecí, ktoré sa dozviete, je koncept spätného testovania. To znamená, že pred použitím stratégie je vhodné, ak to nie je nevyhnutné, skontrolovať výsledky niektorých pravidiel v predchádzajúcich obdobiach. Tieto pravidlá nazývame obchodný systém alebo jednoducho systém. Samotný koncept, alebo aspoň myšlienka, je veľmi dobrý. Aj keď sa nám to teraz zdá zrejmé, nie vždy to tak bolo. Navyše, aj dnes existujú obchodníci alebo investori, ktorí radšej omylom alebo vynechaním zveria svoj kapitál budúcnosti osudu.
Je zrejmé, že každý špekuluje so svojím kapitálom, ako uzná za vhodné. Samozrejme, s prostriedkami, ktoré sú aspoň na jedno kliknutie vzdialené, aby ste sa aspoň pokúsili overiť, a s relatívnou ľahkosťou, výnosy, ktoré stratégia mala v minulosti, sa zdá prinajmenšom absurdné tak neurobiť.
Poznámka: Vynecháme tie časti analýzy, ktoré nie je možné kvantifikovať. Niečo, čo sa stane pri všetkých druhoch analýz. Vždy nám niečo chýba.
Minulé výnosy nezaručujú budúce výnosy
Niektorí z tých, ktorí sa zdráhajú kvantifikovať svoje stratégie, môžu tvrdiť - a veľmi dobre sa tvrdí - že minulé výnosy nezaručujú budúce výnosy. Ale vzhľadom na to, že majú pravdu, vždy prídem k nasledujúcemu záveru: ak nemôžete zaistiť, že to, čo fungovalo, bude fungovať aj naďalej, čo vás núti myslieť si, že to, čo nefungovalo, bude fungovať aj teraz. Mohlo by to fungovať? Áno, ale zdá sa to skôr ako akt viery ako čokoľvek iné.
Nádej je posledná vec, ktorú treba stratiť, pretože samozrejme predtým, ako ju stratíte, stratíte určite svoj kapitál.
Ani backtest nefunguje
S našou mysľou založenou na myšlienke, že backtest je lepší ako spoliehať sa na astrológiu, musíme pokračovať v zdokonaľovaní, aby sme neurobili tie isté chyby, ktoré robili, robia a bohužiaľ budú robiť aj mnohí obchodníci.
V tomto okamihu musíme dať na plátno olej, aby sme potvrdili, že backtest je lepší ako spoliehať sa na náhodnosť cieľa, ale zďaleka to nestačí.
Prečo to nestačí?
Spätná skúška stačí na to, aby sme skontrolovali, či by sme pri použití určitého obchodného systému v minulosti priniesli určité výsledky. Tým ale nástroj končí. Samotné slovo ho hovorí „späť“ (minulé) a „testovacie“ (dôkaz). Extrapolácia, bez ďalšej analýzy, sú niektoré výsledky stále - aj keď v menšej miere - ďalším prejavom viery. Pretože náhodou to mohlo fungovať ďalej, a našli ste systém, ktorý funguje bez toho, aby ste vedeli prečo alebo že funguje a vy neviete dokedy. Tento postup niektorých kvantitatívnych analytikov kontrastuje s ich neustálou kritikou technickej analýzy. To znamená, že kritizujú niečo, čo sami nevedomky denne používajú.
Čo je potrebné analyzovať?
Za predpokladu, že systém má pevné parametre, je potrebné skontrolovať jeho platnosť v rôznych trhových prostrediach. Aj v prostrediach, ktoré neexistujú. Skontrolujte, ako by systém fungoval v prostredí s vysokou volatilitou a nízkou volatilitou, pred a po štrukturálnych zmenách, na býčích, medvedích a bočných trhoch. A tak by sme mohli pokračovať takmer donekonečna.
Ak má systém premenlivé parametre, čo sa väčšinou stáva, urobíme to isté, ale nezabúdajme, že systém je modifikovateľný, a teda optimalizovateľný. Samotná skutočnosť, že je optimalizovateľný, spôsobuje, že je nadmerne optimalizovaný. Tento bod má zásadný význam pre pokus o dosiahnutie stabilných výnosov v budúcnosti.
Obvyklým krokom po nájdení stratégie, ktorá v minulosti dobre fungovala, je pokus o optimalizáciu modelu. Veľká chyba. Najskôr by ste to museli dať do napätia, alebo čo ja nazývam zdôrazňovaním systému. Dajte ho do práce v najhoršom možnom prostredí známom pre takéto systémy. Napríklad ak máme trendový systém, bude potrebné ho uviesť do činnosti v predĺžených bočných obdobiach, aby sme zistili, ako sa správa, keď neexistuje priaznivý scenár na generovanie výnosov zo systému. Dôvodom je to, že nevieme, čo sa stane v budúcnosti, a preto sa uvedenie do najhoršieho možného scenára dostane čo najďalej od nevyhnutnej (a žiaducej) náhodnosti.
Čo robiť okrem toho, aby ste to stresovali?
Koncepty, ktoré menia všetko, sú testovanie dopredu a testovanie mimo vzorky. Ak však nepoznáme budúcnosť, ako otestujeme niečo z niečoho, čo nepoznáme? Máme dve možnosti, ktoré sa čoskoro dočkáme. Na druhej strane máme koncept mimo vzorky. Výber tejto vzorky - ktorej odporúčam, aby ich bolo dosť (nielen jedna) as pravdepodobnostným rozdelením, ktoré majú odlišné charakteristiky - je nevyhnutný na dosiahnutie fungujúceho systému. Myšlienka je taká, že spätná skúška a optimalizácia sa vykonávajú v rôznych obdobiach. Zostanú teda bezplatné vzorky. Aj keď je to na vkuse analytika. Dá sa to urobiť iným spôsobom, ale môžeme spadnúť do štatistických chýb, ktoré nie sú cieľom tohto článku.
- Prvý spôsob vykonania procesu je to, čo budeme nazývať tradičné: Vytvoríme systém, optimalizujeme ho a po preskúmaní niektorých metrík ho uvedieme do práce s fiktívnymi peniazmi alebo s malými reálnymi peniazmi. Ak všetko dobre dopadne, dali sme to do skutočného života.
- Druhý spôsob vykonania procesu je to, čo budeme nazývať „nové“, aj keď v skutočnosti má málo nového: Vykonávame systém, optimalizujeme ho, kontrolujeme stabilitu parametrov v priebehu času, vykonávame z vzorové testy, umelé testy vpred a dali sme to do práce skutočnému testu vpred. Ak všetko dobre dopadne, dali sme to do skutočného života.
Druhý spôsob postupu, v porovnaní s prvým, je založený na dvoch konceptoch: stabilita parametrov v čase a umelé testy vpred. Umelé forwardové testy nie sú typom testov mimo vzorky, ktoré sa snažia simulovať skutočný forwardový test. Zamyslime sa nad týmto:
Za posledný rok sme vytvorili systém. Jeho uvedenie do prevádzky od tohto mesiaca (júl) do konca roka (december) je prakticky rovnaké ako postupovanie vpred všetkých 6 mesiacov a simulovanie testu vpred od januára do júla. Nie je to to isté, pretože skutočné podmienky nám vždy ponúkajú situácie, ktoré je ťažké vymyslieť, ale napredujeme ďalej a dosahujeme lepšie výsledky. A po týchto „vynálezoch“, pretože sú to vlastne vynálezy, sme vykonali dopredný test v reálnom čase. To mám na mysli pod umelými testami dopredu. Niekomu sa to nemusí takto páčiť, ale myslieť inak je psychicky zaujaté. Keby ste túto stratégiu objavili o 6 mesiacov skôr, urobili by ste to isté.
Na druhej strane máme stabilitu parametrov systému v priebehu času. Pre mňa je to najdôležitejšia metrika a hovorí nám, či je systém nadmerne optimalizovaný. Ak parametre zostanú po optimalizácii každých X periód stabilné, znamená to, že je menej pravdepodobné, že dôjde k nadmernej optimalizácii parametrov, ako u iných, ktoré sa líšia viac. Ak k tomu dodáme, že pre každú z optimalizácií vykonáme umelý forwardový test a výsledky sú tiež stabilné, čelíme systému, ktorý bude pravdepodobne skutočne ziskový.
To všetko môže byť oveľa komplikovanejšie. Aj keď sa to zdá zložité, nie je to tak. Je to ťažké, ale je to jednoduchšie ako mechanizmus džbánu. Ako vždy, každý má svoj vlastný spôsob konania, nie je to jediný spôsob, ale chcel som objasniť, že backtest bez spoločníkov na cesty je zbytočný a zbytočný. Prinajmenšom samozrejme vo svete obchodovania.
