Backtest Leakage: Түүхэн өгөгдлийн алдаа стратегийг хэрхэн сүйтгэдэг вэ?

Форекс проп арилжаанд өгөгдөл бол үнэт зүйл. Үүн дээр үндэслэн стратеги боловсруулж, автомат системүүдийг туршиж, итгэлтэй шийдвэрүүдийг гаргадаг. Гэвч өгөгдөл хэрвээ буруу ашиглагдвал — тэр дундаа ирээдүйн мэдээллийг санамсаргүйгээр ашигласан бол — бүх стратеги үндсээрээ алдаа болж хувирна. Үүнийг “backtest leakage” буюу өгөгдлийн нэвчилт гэж нэрлэдэг.

Энэ бол зөвхөн техникийн алдаа биш. Энэ бол бодит мөнгөтэй арилжаанд орж, алдагдал хүлээх аюулын эх үүсвэр юм.

AI хураангуй:

Backtest leakage буюу өгөгдлийн нэвчилт нь стратеги боловсруулалт, шалгалтын үе шатанд ирээдүйн мэдээлэл түүхэн өгөгдөлд санамсаргүй эсвэл анзааралгүйгээр орсон тохиолдол юм. Энэ нь системийн гүйцэтгэлийг хэт өндөрөөр үнэлэхэд хүргэдэг бөгөөд бодит арилжаанд стратеги нурж, эрсдэл нэмэгдэх шалтгаан болдог.

1. Backtest Leakage гэж юу вэ?

Backtest leakage гэдэг нь стратеги боловсруулах болон шалгах (backtesting) үе шатанд ирээдүйн мэдээлэл буруу аргаар түүхэн өгөгдөлд орсон тохиолдол юм. Энэ нь алгоритм эсвэл трейдерийн шийдвэрт урьдчилсан мэдлэг өгч, тухайн стратеги хэт “ухаантай” харагдах боловч бодит зах зээл дээр огт ажиллахгүй байх нөхцөл үүсгэдэг.

Нийтлэг хэлбэрүүд:

• Target leakage (зорилтот утга урьдчилж мэдэгдсэн байх)
• Look-ahead bias (цаг хугацааны дараалал зөрсөн байх)
• Data snooping (нэг өгөгдлөөр хэт олон туршилт хийж тохируулах)
• Improper validation split (тест ба сургалтын хэсэг огтлолцох)

2. Leakage хэрхэн стратегийг "амжилттай" болгож, дараа нь сүйтгэдэг вэ

Backtest leakage-ийн хамгийн аюултай шинж нь: алдаатай стратеги бодитоос давсан үр дүн үзүүлдэг. Энэ нь дараах байдлаар илэрдэг:

• Sharpe Ratio, CAGR зэрэг үзүүлэлтүүд хэт өндөр
• Drawdown бараг байхгүй
• Trade win-rate зохимжгүй өндөр (70%+)
• Зах зээлийн эргэлт, шок үед ч гүйцэтгэл тогтвортой харагдах

Трейдер эсвэл баг тухайн стратегид итгэж, капитал хуваарилалт хийнэ. Гэвч live environment руу ормогц стратеги гэнэт нурж эхэлдэг. Учир нь бодит зах зээлд тухайн ирээдүйн мэдээлэл байхгүй.

3. Яагаад энэ алдаа олон проп трейдерт тохиолддог вэ?

Форекс проп фирмд стратеги бүтээж, шалгах үйл явц хурдан байхыг шаарддаг. Инженер эсвэл трейдер дараах нийтлэг алдаануудыг гаргадаг:

• Хугацааны шүүлтүүр буруу тавих (жишээ нь: 2020–2023 оны өгөгдөл дээр сургалт хийж, 2022 оны арилжааг “тест” гээд явуулах)
• Бүтэн дата frame-г нэг дор normalise хийх
• Indicator тооцоололд ирээдүйн бар лац ашиглах
• Data leak агуулсан feature engineering хийх (жишээ нь: future return ашиглах)

Эдгээрийг анзаарахгүй бол стратеги бодит туршилт дээр (forward test, paper trade, live trade) алдагдал үүсгэж эхэлдэг.

4. Leakage илэрсэн эсэхийг яаж мэдэх вэ?

Та дараах дохиог хянана уу:

• Бүх үе шатанд гүйцэтгэл бараг адилхан (training/test/live)
• Forward тест дээр гэнэт хурц уналт үүсдэг
• Стратегийн гүйцэтгэл зөвхөн backtest дээр л сайн
• Train/Validation dataset давхцсан эсэх тодорхой бус
• Стратеги ер бусын сайн харагдаж, логик нь ойлгомжгүй

Backtest leakage үргэлж тод харагддаггүй. Зарим тохиолдолд зөвхөн live performance муудаж байж л илэрдэг.

5. Backtest leakage–ийн жишээ кейс: Валютын хос дээрх "хуурмаг" стратеги

Жишээ:

• EUR/USD дээр ATR+RSI суурьтай арилжааны стратеги боловсруулсан гэж үзье.
• Dataset: 2015–2023 он.
• Machine learning алгоритмд input болгож future return ашигласан.
• 2019 оноос хойших өгөгдлөөр шалгахад Sharpe Ratio: 2.4, Win-rate: 76%, Max drawdown: 3%.

Бодит арилжаанд юу болсон бэ?

2024 оны live тестээр эхний 3 сард:

• Sharpe: -0.5
• Win-rate: 38%
• Drawdown: -17%

Шалтгаан:

Feature-үүдэд ирээдүйн ханшийн мэдээлэл (leakage) орсон байсан тул model ирээдүйг "урьдчилж мэдэх" байрлалуудыг гаргаж байжээ.

6. Leakage-ээс сэргийлэх аргууд

Leakage-ийг илрүүлэхээс илүүтэйгээр урьдчилан сэргийлэх нь чухал:

• Train/test split-ийг цаг хугацааны дагуу салгах
• Cross-validation хийхдээ time-series aware арга ашиглах
• Indicator болон feature-үүдийг зөвхөн өнгөрсөн өгөгдлөөр тооцоолох
• Data normalization болон transformation-ийг зөвхөн training dataset дээр хийх
• Backtest pipeline-аа version control-той байлгах

Хамгийн чухал нь: test dataset-г ариун байлгах. Тест өгөгдөл дээр стратегийг “тааруулах” нь leakage-тай адил.

7. Проп трейдерүүдэд зориулсан зөвлөмж

• Гүйцэтгэлийн KPI хэт өндөр болгоомжлогтун.
• Live data дээр үргэлж баталгаажуулалт хий.
• Стратеги боловсруулалтын багт дата инженер, алгоритмын аудит оруул.
• Walk-forward validation болон out-of-sample test-ийг тогтмол хий.
• Эргэлзээтэй стратегид капитал хуваарилахаас зайлсхий.

Сайн стратеги нь зөвхөн өгөгдөлд тохирох биш, бодит зах зээлийн нөхцөлд тэсэж үлддэг байх ёстой.

Ашиг биш, үнэн бодит байдал чухал

Backtest leakage бол гүйцэтгэлийн хиймэл дүр төрх үүсгэдэг "чимээгүй хор". Проп арилжаачид өгөгдөлд суурилсан шийдвэр гаргахдаа зөв pipeline, цаг хугацааны логик, зөв ангилал, хяналттай туршилт ашиглахгүй бол стратеги бүтэлгүйтэлд хүрэх нь зайлшгүй.

Үр дүнтэй арилжаа гэдэг бол зөвхөн өгөгдөл биш, өгөгдлийг хэрхэн зөв ойлгож, зөв ашиглах тухай ойлголт юм.