Backtest дээр overfitting-ээс хэрхэн сэргийлэх вэ?

Форексийн зах зээл дээр автомат болон дүрмийн суурьтай стратеги хөгжүүлдэг трейдерүүдийн хамгийн түгээмэл алдаа бол backtest дээр overfitting хийх явдал юм. Overfitting гэдэг нь стратеги нь өнгөрсөн өгөгдөл дээр маш өндөр гүйцэтгэлтэй харагдаж байгаа боловч ирээдүйн зах зээл дээр бодитоор ашиг авчрахгүй байх үзэгдэл. Энэ нь стратегийн дотоод параметрүүдийг тухайн түүхэн өгөгдөлд хэт нарийн тааруулсантай холбоотой.

Проп фирмд шалгалт өгөх, эсвэл арилжааны гүйцэтгэлээ тогтвортой барихыг зорьж буй арилжаачдад overfitting нь хамгийн том аюулын нэг юм. Яагаад гэвэл prop фирмд богино хугацаанд тодорхой rule-set болон risk-management-ийн хүрээнд тогтвортой гүйцэтгэл харуулах шаардлагатай байдаг. Backtest дээр төгс харагдаж буй боловч live дээр нурдаг стратеги нь шалгалтад тэнцэх боломжийг үндсээр нь хааж өгнө.

Энэ нийтлэлд бид overfitting хэрхэн үүсдэг, ямар шинж тэмдэгтэй байдаг, мөн хамгийн чухал нь backtest дээр overfitting-ээс хэрхэн системтэйгээр сэргийлэх аргачлалуудыг авч үзэх болно.

I. Overfitting гэж юу вэ?

Overfitting гэдэг нь үндсэндээ стратегийн загвар нь өгөгдлийн дуу чимээ (noise)-ийг загвартайгаа хольж, бодитой зах зээлийн structure биш зөвхөн тухайн үеийн давтагдашгүй хэв шинжийг “сурсан” байхыг хэлдэг.

Overfitting-ийн гол онцлогууд:

1. Өнгөрсөн өгөгдөл дээр өндөр ашиг – Backtest дээр маш сайн үзүүлэлттэй (жишээлбэл, өндөр Sharpe ratio, бага drawdown).
2. Ирээдүйн өгөгдөл дээр сул гүйцэтгэл – Forward test буюу live trade дээр муудах.
3. Хэт олон параметртэй загвар – Үндсэн логик нь энгийн боловч тооцооны маш олон тохиргоотой.
4. Зах зээлийн утгагүй correlation – Статистикийн хувьд таарч байгаа боловч эдийн засгийн логик үндэслэлгүй загварууд.

Энгийнээр хэлбэл, стратеги нь “өгөгдлийг цээжилсэн” байдаг болохоос биш “зах зээлийн логикыг ойлгосон” байдаггүй гэсэн үг.

II. Overfitting үүсэх шалтгаанууд

Форексийн backtest хийх явцад дараах хүчин зүйлсүүд overfitting-ийг бий болгодог:

1. Хэт олон параметрийн оптимизаци

Индикаторын тохиргоог олон удаа өөрчилж, зөвхөн өнгөрсөн өгөгдөлд хамгийн сайн тохирч буй параметрийг сонгох. Жишээлбэл, RSI-г 14 биш 13 эсвэл 17 болгосон дээр нь backtest ашиг өсөөд байвал энэ нь тааралдсан “азтай тохирол” байх магадлал өндөр.

2. Богино хугацааны dataset

Өнгөрсөн өгөгдөл хэт богино байвал (жишээлбэл, зөвхөн сүүлийн 1 жилийн дата) тухайн хугацаанд үйлчилсэн нэг төрлийн хэв шинжийг хэт онцолно. Зах зээл урт хугацаанд эрс өөр динамиктай байдаг тул ийм загвар ирээдүйд нурна.

3. Data-snooping буюу олон дахин туршилт хийх

Нэг dataset дээр олон загвар турших тусам санамсаргүй correlation олдох магадлал нэмэгдэнэ. Энэ correlation нь бодит бус бөгөөд та зөвхөн азтай давхцлыг “судалгаа” гэж эндүүрдэг.

4. Look-ahead bias

Backtest хийхдээ ирээдүйн өгөгдлийг санамсаргүй байдлаар ашиглах. Жишээлбэл, тухайн барын хаалтын ханшаар үндэслэн дохио гаргасан атлаа үнэндээ тухайн ханшийг мэдэх боломжгүй нөхцөлд байсан бол look-ahead bias үүснэ.

5. Curve-fitting

Зах зээлийн хөдөлгөөнийг яг “curve” шиг тааруулж тохируулсан стратеги. Энэ нь харахад төгс таарч байгаа боловч бодит байдал дээр санамсаргүй хазайлт л таарсан байх нь элбэг.

III. Overfitting-ийн шинж тэмдгүүд

Проп арилжаачид өөрийн стратеги дээр дараах шинжүүдийг илрүүлж чадвал overfitting үүссэн эсэхийг хянаж болно:

• Backtest performance маш өндөр, гэхдээ forward test дээр хурдан мууддаг.
• PnL (ашгийн муруй) нь өнгөрсөн өгөгдөл дээр жигд өсөлттэй, гэхдээ бодит дээр тасалдсан хэлбэртэй болдог.
• Жижиг параметрийн өөрчлөлт хийхэд үр дүн эрс мууддаг.
• Экономик болон логик үндэслэл сул, зөвхөн тоон correlation дээр суурилсан байдаг.
• Optimization-ийн үр дүнд “ид шидийн тоо” мэт параметр гарч ирдэг.

IV. Overfitting-ээс сэргийлэх арга зүй

1. Out-of-sample test хийх

Backtest-ийг хоёр хэсэгт хувааж, нэг хэсгийг сургалт (in-sample), нөгөө хэсгийг шалгалт (out-of-sample) болгон ашиглах. Стратеги зөвхөн in-sample дээр сайн ажиллаад, out-of-sample дээр нурвал энэ нь overfitting гэсэн үг.

2. Walk-forward analysis

Зах зээлийг үе шатаар хуваан, стратеги бүр үе бүр дээр шинэчлэгдэж байгаа эсэхийг шалгана. Энэ нь динамик нөхцөлд стратегийн тогтвортой байдлыг баталгаажуулдаг.

3. Cross-validation

Нэг dataset-ийг олон хэсэгт хуваан, стратегийг эдгээр хэсгүүд дээр ээлжлэн туршдаг. Энэ нь санамсаргүй correlation-аас хамгаална.

4. Экономик логик ашиглах

Зөвхөн индикаторын тохиргоонд тулгуурлах бус, тухайн стратегид эдийн засгийн логик үндэслэл байх шаардлагатай. Жишээлбэл, interest rate differential, liquidity shock, risk-on/risk-off shift гэх мэт макро хүчин зүйлсийг тусгах.

5. Parameter robustness тест

Параметрүүдийг бага зэрэг өөрчлөхөд үр дүн тогтвортой хэвээр байвал стратеги илүү найдвартай гэж үзнэ. Харин жижиг өөрчлөлтөд хэт мэдрэг байвал overfitting хийсэн байх магадлалтай.

6. Multiple instruments дээр турших

Стратеги зөвхөн нэг валютын хослол дээр биш, бусад хослол дээр мөн тогтвортой ажиллаж байгаа эсэхийг шалгах хэрэгтэй. Хэрэв зөвхөн нэг dataset дээр сайн бол энэ нь overfitting-ийн дохио.

7. Simplicity-ийн зарчим

Хэт олон параметртэй, нарийн төвөгтэй стратеги нь overfitting хийх магадлал өндөр. Энгийн логиктой боловч зах зээлийн бодит хөдөлгөөнийг барьж чаддаг стратеги илүү найдвартай байдаг.

8. Forward testing хийх

Demo эсвэл бага капиталтай live данс дээр стратегиа туршиж, backtest-тэй тохирч буй эсэхийг шалгах. Энэ нь хамгийн бодитой баталгаа болдог.

V. Проп арилжаанд Overfitting-ийн эрсдэл

Проп фирмд шалгалт өгч буй арилжаачдад overfitting нь дараах сөрөг үр дагаврыг авчирдаг:

• Шалгалт тэнцэхгүй байх – Backtest дээр “гоё харагдсан” стратеги нь live дээр хурдан нуран, зөвшөөрөгдөх max drawdown хязгаарыг давна.
• Cap allocation авах боломжгүй болох – Проп фирмүүд тогтвортой performance хайдаг тул overfit болсон стратеги баталгаажихгүй.
• Психологийн дарамт – Backtest дээр итгэл төрүүлсэн стратеги live дээр бүтэлгүйтэх нь арилжаачдын сэтгэлзүйг сулруулдаг.

VI. Overfitting-ээс сэргийлэх системтэй аргачлал

Арилжаачид дараах workflow-г ашиглаж болно:

1. Hypothesis гаргах – Эдийн засгийн болон логик үндэслэлтэй санаа боловсруулах.
2. In-sample test – Өнгөрсөн өгөгдлийн нэг хэсэг дээр турших.
3. Out-of-sample test – Бусад хэсэг дээр шалгах.
4. Walk-forward validation – Динамик орчинд баталгаажуулах.
5. Robustness test – Параметр, хөрөнгийн төрөл, timeframe өөрчлөөд шалгах.
6. Forward/live test – Demo эсвэл бага хэмжээний капиталтай бодит нөхцөлд туршиж баталгаажуулах.

Backtest дээр overfitting хийх нь форексийн стратеги хөгжүүлэлтийн хамгийн түгээмэл, хамгийн аюултай алдаа юм. Энэ алдаанаас сэргийлэхийн тулд зөвхөн өнгөрсөн өгөгдөлд хэт найдах бус, логик үндэслэлтэй, олон нөхцөлд тогтвортой, forward test-д баталгаажсан систем хөгжүүлэх шаардлагатай.

Проп арилжаачдад хамгийн гол сургамж нь:

• Төгс харагдах backtest болгоныг бодит гэж итгэх хэрэггүй.
• Илүү энгийн, эдийн засгийн суурьтай, динамикт тохирсон стратеги урт хугацаанд амьд үлддэг.
• Overfitting-ээс зайлсхийж чадвал проп фирмийн шалгалтад тэнцэх, allocation авах боломж илүү өндөр байна.