Tick Data Filtering and HFT, December 5th 2010 :

Since a few weeks I was working on a kind of High frequency trading system. I know it is not for us. We pay too much fees, our platforms and access are too slow. A platform like TickZoom is 2000$/month and direct access to CME around 5000$/month. Anyway I though it was interesting to make some backtests, just to try... and it worked. I had some great backtests with straight line and ridiculous drawdown (my main goal). It was not real HFT of course, but let's call it High Speed Scalping. So why not trying in real time on a fast access server : it never worked.
 It took me long time to understand. My data had a lot of bad ticks, as you can see in the picture below. My strategy was to trade pull back following exaggeration outside of main line. In fact my strategy traded only the bad ticks !  In that kind of trading data are so important. And you can't imagine how bad were the data I bought, even a lot of missing ticks compare to reality. So be careful with tick charts also, in backtesting.
It just another difficulty on the way of profitable robot. Read this PDF if you want more informations on data filtering.

Depuis quelques semaines je travaillais sur un genre de système haute fréquence. Je sais que ce n'est pas pour nous. On paye trop de commissions, nos plate-formes et accès sont trop lents. Une plate-forme genre TickZoom coute 2000$/mois et un accès direct aux marchés 5000$/mois. Cependant je pensais qu'il était intéressant intellectuellement de faire quelques backtests, juste pour essayer... et ça fonctionnait. J'ai eu de très bon résultats avec des lignes très droites et un drawdown ridicule (mon but principal). Ce n'était pas du vrai HFT mais plutôt du scalping à haute vitesse, dirons nous. Alors pourquoi pas essayer en temps réel sur un serveur avec un accès rapide : ça n'a jamais marché.
Cela m'a pris du temps pour comprendre. mes données avaient beaucoup de faux ticks, comme dans l'exemple ci-dessous. Ma stratégie tradait des pull-backs suite à des écarts importants par rapport aux cours. En fait ma stratégie ne tradait que les faux ticks ! Pour ce genre de trading les bonnes données sont primordiales, et vous ne pouvez pas imaginer à quel point, celles que j’avais acheté était mauvaises, sans compter le nombre de ticks réduits par rapport à la réalité. Attention donc avec les graphes en ticks pour le backtesting.
Voilà une épreuve de plus sur le chemin des robots profitables. Lire ce PDF en anglais pour plus d'informations sur le filtrage des données.