Testy historyczne botów Crypto: czas audytu, koszty i nadmierne dopasowanie

Test historyczny zyskownego bota do handlu kryptowalutami to opis symulacji, a nie dowód na to, że strategia przyniesie ten sam wynik na żywo. Przed porównaniem zwrotów ustal, co symulator wiedział, kiedy wiedział i jakie koszty realizacji poniósł.

Zacznij od znacznika czasu, a nie od krzywej kapitału własnego

Załóżmy, że strategia wykorzystuje wartość zamknięcia świecy do wygenerowania wpisu. Jeśli symulacja również wypełni się dokładnie w tym samym miejscu zamknięcia bez realistycznego opóźnienia w decyzji i wykonaniu, może przyznać botowi cenę, której nie mógłby uzyskać po obserwacji ukończonej świecy. Zapisz znacznik czasu sygnału oddzielnie od pierwszego kwalifikującego się znacznika czasu wykonania.

Ten sam problem pojawia się, gdy zbiór danych zawiera wersje lub wskaźniki połączone z wcześniejszym znacznikiem czasu. W tym momencie strategia musiała mieć dostęp do ważnej wartości historycznej. Dzisiejszy oczyszczony zbiór danych nie jest automatycznie wiernym zapisem wczorajszego zbioru informacji.

Powtarzane strojenie zmienia znaczenie dobrego wyniku

Wybór najlepszego zestawu parametrów spośród setek prób stwarza problem selekcji. Kombinacja może pasować do hałasu w okresie rozwoju. Prowadź rejestr nieudanych prób, a nie tylko tabelę zwycięskich prób.

Przewodnik badawczy QuantConnect omawia nadmierne dopasowanie i zabezpieczenia badawcze. Przydatnym praktycznym rozszerzeniem jest zamrożenie strategii przed oceną późniejszego, nienaruszonego okresu. Jeśli ta ocena prowadzi do lepszego dostrojenia, staje się danymi rozwojowymi; zarezerwuj nowy test końcowy.

Spraw, aby koszty były widoczne

Poniżej znajduje się hipotetyczny przykład rachunkowości, a nie zaobserwowana strategia:

Arytmetyka wynosi 300 - 120 - 100 - 90 = -10 USDT. Koszty mogą odwrócić znak wyniku. Unikaj podwójnego liczenia spreadu, jeśli jest on już uwzględniony w symulowanych cenach wypełnienia. Finansowanie powinno odpowiadać rzeczywistej pozycji, kursowi i terminowi rozliczenia w teście, a nie wygodnej stałej stopie rocznej.

Zapytaj, czy wypełnienia były możliwe

Dotknięty limit ceny nie oznacza, że całe zlecenie zostałoby zrealizowane. Pozycja w kolejce, konkurencyjne zamówienia, dostępna głębokość i kwestia częściowego wykonania. Duże zlecenie rynkowe nie powinno automatycznie otrzymywać najlepszej wyświetlanej ceny w całym swoim rozmiarze.

Testuj zmiany w opóźnieniach, opłatach i poślizgach. Strategia, która działa tylko przy jednym optymistycznym założeniu dotyczącym wykonania, jest krucha. Testuj brakujące dane, odrzucone zamówienia i utratę połączenia jako osobne scenariusze operacyjne; Same świece historyczne nie są w stanie dobrze ich modelować.

Porównaj warunki

Podaj daty testów, instrumenty, limity pozycji, liczbę transakcji, obrót, wypłaty i założenia kapitałowe wraz ze zwrotem. Rosnący wynik rynkowy może w większości odzwierciedlać ekspozycję na aktywa. Porównaj z odpowiednim pasywnym punktem odniesienia dla tych samych dat i zastosuj spójne traktowanie kosztów i środków pieniężnych.

Nienaruszony okres wstrzymania i niewielka obserwacja transakcji papierowych mogą ujawnić błędy wdrożeniowe, ale nie gwarantują przyszłego zysku. Nie zwiększaj kapitału tylko dlatego, że krótka demonstracja jest pozytywna.

Wynik możliwy do sprawdzenia

Przydatny raport botów zapewnia powtarzalne ustawienia, pochodzenie danych, zasady znaczników czasu, wszystkie koszty materiałów i wyraźne oddzielenie rozwoju od oceny. Zanim zastosujesz założenia dotyczące konkretnej platformy, zapoznaj się z aktualnym tabelą opłat OrangeX. Artykuł ten ocenia symulacje i nie twierdzi, że OrangeX oferuje konkretnego bota lub produkt do testów historycznych.

Decyzja dotyczy tego, czy dowody przetrwają realistyczne założenia, a nie tego, który wykres wygląda najlepiej. Wszystkie powyższe wyniki liczbowe mają charakter poglądowy.