Het testen van een strategie – waaruit bestaat een goede regel?
Momenteel ben ik bezig met het uitvoeren van back tests om te kijken welke ideeën winstgevend zijn en eventueel kunnen worden gebruikt bij een day trading strategie. Voordat dergelijke ideeën kunnen worden gesimuleerd op historische data, moeten ze eerst worden ‘vertaald’ naar aankoop & verkoop regels. Een voorbeeld van een regel is: “Koop als de koers boven de moving average 40 komt”. Omdat een beleggingsstrategie feitelijk bestaat uit een hoop regels samengevoegd, wou ik eens nader stil staan bij de eigenschappen van een ‘goede’ regel.
Naast dat een regel winstgevend moet zijn er enkele andere aspecten waarvan ik denk dat ze belangrijk zijn. Hieronder heb ik enkele dingen genoemd waarmee je rekening kunt houden bij het brainstormen over handelsregels. Uiteindelijk is het afhankelijk van je eigen strategie en persoonlijke voorkeuren wat een regel ‘goed’ maakt.
Dingen om rekening mee te houden bij een ‘goede’ regel:
Een goede theoretische basis en hieruit voorspellingen kunnen doen.
Het voordeel van een theoretische onderbouwing is dat je beter de situaties kun identificeren waarin je regel waarschijnlijk niet zal werken. Daarnaast is het doorgaans makkelijker vertrouwen te hebben in een regel als je weet dat deze een daadwerkelijke basis heeft waarom hij werkt. Het voordeel van het kunnen doen van voorspellingen uit je theoretische basis is dat je eenvoudig kunt bepalen of je theorie valide is: als de voorspelde gebeurtenis niet plaats vind is je theorie incorrect.
Bij het bedenken van een theorie waarom ‘de markt werkt zoals hij werkt’ is het raadzaam er rekening mee te houden dat een simpele theorie altijd beter is dan een complexe. Een complexe theorie heeft namelijk als nadeel dat hij maar in bepaalde (zeldzame) gevallen op gaat omdat er aan heel wat condities moet worden voldaan. Een té complexe theorie heeft ook het risico dat achteraf alles valt te verklaren met deze theorie, wat hem niet bijzonder sterk maakt.
Een ‘goede’ regel presteert beter dan een willekeurige (random) regel in dezelfde periode en met dezelfde position bias.
Het spreekt voor zich dat een ‘goede’ regel beter moet presteren dan een willekeurige regel die op dezelfde onderzochte periode wordt toegepast.
Waar echter ook rekening mee moet worden gehouden is de position bias van de regel. Deze position bias is een karakteristiek die bepaald bij welke positie (long/short) de voorkeur (‘bias’) van de regel ligt. Een regel die relatief vaak een long positie opent zal het extra goed doen in een markt met een positieve stijgende trend. Dezelfde regel zal het extra slecht doen in een bearish markt, omdat hij in zo’n markt relatief weinig short signalen geeft en juist veel long posities opent. Wil je dus handelsregels met elkaar vergelijken, hou dan rekening met de position bias van beide regels. Hou tot slot ook rekening met de condities voor het openen van een positie: wordt een long positie (relatief ten opzichte van een short positie) niet veels te makkelijk getriggerd? Als je bijvoorbeeld long gaat bij een RSI waarde van > 70 maar pas short gaat bij een RSI onder 15, zul je waarschijnlijk geen gelijkheid (+/- 50/50) qua posities krijgen. Ook kan het interessant zijn om te kijken wat er gebeurd met de prestaties als de regel wordt omgedraaid.
Een ‘goede’ regel bestaat uit niet te veel variabelen en is daarmee duidelijk in zijn interpretatie. Hij bevat ook niet te weinig variabelen: een balans tussen té complex en té simpel.
Hoewel dit niet concreet valt aan te geven komt het eigenlijk op het volgende neer: een té simpele regel laat rendement liggen of is extra risicovol dan eigen noodzakelijk is. En een té complexe regel is waarschijnlijk ‘passend gemaakt’ bij de data en heeft daarmee de garantie dat toekomstige resultaten altijd slechter zullen uitvallen. De kunst is de balans hiertussen te vinden. Een mogelijkheid om dit te doen is om steeds iets meer complexiteit aan de regel toe te voegen totdat de resultaten steeds verder verslechteren. Doordat je dan een reeks data hebt van hoe de regel presteert bij een bepaalde complexiteit valt te beoordelen wanneer de regel té complex is voor je strategie.
Een ‘goede’ regel lijdt niet aan de look-ahead bias.
De look-ahead bias vindt plaats wanneer een regel gebaseerd is op bepaalde data die op dat moment niet beschikbaar is of waarop men niet kan handelen. Een extreem voorbeeld hiervan is het uitvoeren van een backtest waarop je een signaal krijgt op de slotkoers en vervolgens een positie opent. Ook het niet meenemen van (gebrekkige) liquiditeit kan de resultaten van een historische test vertekenen.
Een ‘goede’ regel presteert goed in een representatieve data sample.
Vanzelfsprekend moet een ‘goede’ regel goed presteren op het stuk data waarop hij wordt getest. Echter moet er ook worden gekeken in hoeverre deze data representatief is voor de doelstellingen van de regel en de toekomst. Hoewel het niet mogelijk is te bepalen hoe de markt zich in de toekomst zal gaan ontwikkelen, is het wel duidelijk dat het testen van een regel in de periode 1999-2000 resultaten geeft die niet vergelijkbaar zijn met de resultaten die hij in 2008 zal gaan behalen. Zorg dat je data sample dusdanig uitgebreid is dat je regel in voldoende verschillende marktcondities kan worden getest.
Een ‘goede’ regel werkt in verschillende soorten markten en momenten, en geeft hierbij voldoende signalen.
Dit heeft gedeeltelijk te maken met het voorgaande punt: om te bepalen of een regel werkt dienen er wel voldoende transacties te worden gepleegd om iets zinnigs over de effectiviteit van de regel te zeggen. Als een regel maar 10 transacties heeft gedaan in een berenmarkt kun je niks zinnigs zeggen over de prestaties van de regel als er een nieuwe bear markt aanbreekt.
Een ‘goede’ regel heeft een exit nabij de top.
Hoewel het sluiten van een positie bij de top (long) of bodem (short) niet erg realistisch is, heeft een ‘goede’ regel naar mijn idee wel een exit nabij die top of bodem. Dit om te voorkomen dat je exit signaal volkomen willekeurig is en dus geen extra waarde toevoegt aan je gehele strategie. Als je regel wel erg vaak te vroeg en dan weer veels te laat de positie sluit, dan wordt het eens tijd te kijken naar je exit signaal, wellicht dat je daar nog wat aan kunt verbeteren. Ditzelfde geld voor je stoploss condities: word je wel opvallend vaak direct na openen van een positie uitgestopt, licht dan je entry, stop condities en money management principes eens door.
Een ‘goede’ regel heeft niet een onrealistisch hoog winpercentage.
Een regel die een onrealistisch hoog winpercentage geeft, zeg meer dan +/- 75%, is naar mijn idee gebaseerd op een afwijkend (tijdelijk!) patroon in de markt en dat maakt de regel niet robuust. Uiteindelijk zal een onrealistisch hoog winpercentage een ‘hoog winpercentage’ worden.
Een ‘goede’ regel heeft voldoende transacties om waarde te geven aan back test.
Hoewel het lijkt dat doorgaans 30 tot 40 transacties als vuistregel wordt aangehouden is dat veels te weinig om de effectiviteit van een regel goed te kunnen beoordelen. Meer dan 100 is al beter, en meer dan tweehonderd is al redelijk. Neem ook de periode mee in je beoordeling: 100 transacties over een periode van 3 maanden zegt nog niks over de toekomstige te verwachten prestaties. Des te meer transacties en des te uitgebreider de data periode, des te beperkter de invloed van randomness.
Een ‘goede’ regel past bij iemands persoonlijke doelstellingen.
Een ‘goede’ regel behoort naar mijn idee ook te passen bij de doelstellingen van de belegger of trader. Als trader niet erg risiconemend is, zal een regel die een volatiel resultaat veroorzaakt moeilijk zijn te implementeren. Hetzelfde gaat op voor iemand die slecht tegen losing streaks kan; in dat geval is er een regel met een relatief hoog winpercentage nodig. Voor een belegger die het belangrijk vind om vooraf zijn maximale risico te lopen dient de regel daar ook aan te voldoen. Ondanks dat dit punt onderaan de lijst staat is dit wel één van de belangrijkste punten bij het ontwikkelen van een strategie. Als je weet wat je wilt valt daar je strategie op te ontwikkelen.
Nog iets over data-mining.
Als men regels gaat zoeken via data-mining (een hele reeks regels testen op de data in de hoop een winstgevende te vinden) zijn er nog enkele extra dingen om rekening mee te houden. Als je kiest voor de regel met het hoogste rendement, dan kies je eigenlijk ook impliciet voor die ene regel die het meeste geluk had in je data set. Het is onwaarschijnlijk dat een dergelijke regel in de toekomst evenveel geluk heeft. Niet dat het direct een slechte regel is, echter zullen de toekomstige rendementen wel minder dan de historische test suggereert. Tot slot is het bij data-mining zo dat des te meer regels je test, des te meer het rendement dient af te wijken van 0. Immers, als je meerdere regels test vergroot je ook de kans dat je een grote gelukstreffer hebt, die door veel geluk een positief rendement behaalt. En een regel die door toevalligheden (lees: geluk) in het verleden goed presteerde hoeft dit niet evengoed te doen in de toekomst.
Bovenstaande punten zijn denk ik belangrijk bij het beoordelen van de geschiktheid van een regel of een idee. Plaats je toevoegingen in de reacties hieronder!
Geplaatst op vrijdag 13 juni 2008 om 8:59 in de categorie Basisprincipes. | Print dit artikel:

Reacties(plaats een reactie)
Reactie van Arnoud
zondag 22 juni, 2008 om 22:22
Beste Jos,
Een mooie opzet. Mag ik eraan toevoegen dat een ‘goede’ regel pas kan uitgroeien tot een gouden regel zodra de ‘goede’ regel is afgestemd op je karakter.
Speculanten hebben niets aan de fundamentele analyse als ze de goede regel willen handhaven om pas te kopen bij BIJVOORBEELD een KW-verhouding van 6, terwijl de winstgevendheid prima is. Daar moeten ze te lang op wachten. Dat houden ze niet vol.
Een risicomijdende belegger heeft niets aan een goede regel door in obligaties te beleggen zodra de inflatie omhoog giert. Dat kost handenvol geld.
Ofwel, stem je ‘goede regel’ af op je karakter. Dit is iets anders dan je persoonlijke doelstellingen. Daar moet je zoals je terecht schrijft, natuurlijk wel degelijk rekening mee houden.
Binnenkort mail ik je effies.
Groet,
Arnoud
Reactie van Jos
dinsdag 24 juni, 2008 om 17:08
Hoi Arnoud,
Mee eens, een ‘goede regel’ hoort ook te passen bij iemands karakter. Bedankt voor de toevoeging! :)
gr. Jos
Reactie van B.
woensdag 3 maart, 2010 om 20:49
Wat fijn dat iemand de moeite neemt om hier iets leuk over te schrijven. Ik ben zelf al een tijdje bezig met het bedenken van goede regels. Toch is het lastig om een systeem te bedenken waar ik me aan kan houden. Ik heb me veel verdiept in technische analyse en allerlei patronen en indicatoren waardoor ik soms niet meer weet welke ik wanneer moet gebruiken. Uiteindelijk ben ik nog het meest tevreden de gewone MA en MACD. Simpel en doch effectief!
















Plaats een reactie