Backtesting

Toda estrategia que se vende viene acompañada de una curva que sube. «Probada con cinco años de datos», dice el texto. Casi nunca dice cuántas versiones se probaron antes de dar con esa, ni si se descontaron las comisiones, ni qué pasó en los datos que no se usaron para diseñarla.

Aquí verás para qué sirve de verdad una prueba así, las cuatro trampas que la invalidan, la cuenta que explica por qué el número de intentos lo es todo, y un procedimiento sencillo para hacer una que merezca cierta confianza.

Cómo funciona el backtesting

Un backtesting parte de una regla escrita sin ambigüedad: qué tiene que pasar, dónde se entra, dónde se sale y con cuánto. Se recorre el historial vela a vela y se anota cada operación.

Las dos últimas filas son las que casi nadie mira y las más útiles. Conocer la peor racha y el peor drawdown de una regla es lo que permite no abandonarla en mitad de una mala temporada que entraba dentro de lo normal.

Hay dos maneras de hacer un backtesting. La manual consiste en recorrer el gráfico con la función de reproducción de la plataforma, que oculta lo que viene después, y anotar cada operación en una hoja de cálculo. La automática usa un programa que aplica la regla a años de datos en segundos. La segunda es más rápida y mucho más peligrosa: como probar una variante no cuesta nada, es facilísimo acabar probando cientos.

En cualquiera de las dos, la regla tiene que estar escrita de forma que otra persona llegara a las mismas operaciones. «Compro cuando rompe con fuerza» no se puede comprobar. «Compro si la vela diaria cierra por encima del máximo de las veinte anteriores» sí. Si no puedes formular tu idea así, todavía no tienes algo que probar: forma parte de escribir tu plan de trading.

Lo que cuesta de verdad: las cuatro trampas

La tercera es fácil de cuantificar. Una regla que hace cien operaciones al año y gana de media un 0,3 % en cada una parece rentable. Con un coste realista del 0,2 % por operación, se queda en un 0,1 %: dos tercios de la ganancia eran de la plataforma.

La cuarta afecta de lleno a las criptomonedas. Miles de proyectos han desaparecido. Una regla probada solo sobre los que quedan habría operado también en los que cayeron a cero, y eso no sale en el resultado.

El error típico: probar hasta que salga

Supón una regla sin ningún valor y un listón que el azar solo supera una de cada veinte veces. La probabilidad de que parezca buena es del 5 %. Ahora prueba veinte variantes, todas igual de inútiles.

Y probar cien variantes no cuesta nada: cambiar un número y pulsar un botón. Un trabajo de 2014 de Bailey, Borwein, López de Prado y Zhu, titulado sin rodeos «Pseudomatemáticas y charlatanismo financiero», mostró que basta un número modesto de configuraciones para obtener resultados excelentes que no se repiten. Señalaron además el problema de fondo: casi nadie informa de cuántas probó.

Hay una segunda cuenta que conviene hacer: cuántas operaciones tiene la muestra. Si una regla acierta 12 de 20, un 60 %, parece prometedora. Pero una moneda al aire consigue 12 caras o más en 20 lanzamientos una de cada cuatro veces. Con 60 aciertos de 100, la probabilidad de que sea azar baja a menos del 3 %. Un backtesting con treinta operaciones es una anécdota; hacen falta cerca de cien para empezar a hablar de un dato.

Las dos cuentas se refuerzan. Pocas operaciones y muchas variantes probadas es la combinación que produce las curvas más bonitas y menos fiables. Muchas operaciones y una sola regla, decidida de antemano, es lo contrario: un resultado más modesto, que tiene alguna posibilidad de repetirse.

Dentro y fuera de la muestra

La defensa más eficaz en un backtesting es no usar todo el historial para diseñar. Se parte en dos.

Así procedieron Sullivan, Timmermann y White con cien años del índice Dow Jones: la mejor regla del periodo histórico era excelente y, en los diez años reservados, dejó de serlo. La tentación, cuando la regla falla en la parte reservada, es volver atrás y retocarla. En ese momento esos datos pasan a ser de diseño y te has quedado sin prueba.

Cómo hacer un backtesting sencillo y fiable

1. Escribe la regla completa antes de mirar nada. Si durante la prueba decides algo sobre la marcha, no estaba completa.
2. Reserva el último tercio del historial.
3. Recorre el resto con el futuro oculto y anota cada operación.
4. Resta costes realistas a cada una.
5. Apunta cuántas variantes pruebas. Más de dos o tres, y la mejor es sospechosa.
6. Aplica la regla final a lo reservado, una vez.
7. Compara con comprar y mantener. En un activo que ha subido mucho, casi cualquier regla que compre gana.
8. Calcula la esperanza matemática y la peor racha, y decide el tamaño con ellas.

Una prueba hecha a mano, con cincuenta operaciones en una hoja de cálculo, enseña más que una automática con miles. Obliga a mirar cada pérdida y a notar lo incómodo que habría sido seguir la regla. Un backtesting honesto no busca confirmar que la idea es buena: busca la forma de demostrar que no lo es, y solo si no la encuentra merece la pena seguir.