퀀트 투자를 처음 시작한 투자자라면 한 번쯤 이런 경험을 해봤을 겁니다. 파이썬이나 엑셀, 혹은 퀀트 플랫폼을 활용해 전략을 만들고 백테스트를 돌렸더니 연 30%, 심지어 연 50%가 넘는 수익률이 나옵니다. 샤프지수도 훌륭하고, 낙폭(MDD)도 작아 보입니다. 이 정도면 ‘나도 이제 퀀트 고수인가?’라는 생각이 들죠.
그런데 막상 실제 자금을 투입해 몇 달이 지나면 결과는 정반대입니다. 수익은커녕 계좌가 서서히 줄어들고, 전략에 대한 확신도 흔들립니다. 이때 대부분의 초보자들이 빠지는 결론이 있습니다.
“이 전략이 틀렸나?”
하지만 진짜 문제는 전략 그 자체가 아니라, 전략을 만드는 과정에 숨어 있는 과최적화(Overfitting)라는 함정일 가능성이 큽니다. 이 글에서는 퀀트 초보자들이 왜 과최적화에 빠지는지, 어떤 패턴으로 실수를 반복하는지, 그리고 실전에서 살아남는 전략을 만들기 위해 어떤 검증 방법을 써야 하는지 체계적으로 정리해 드리겠습니다.
1. 과최적화란 무엇인가?
과최적화란 간단히 말해, 과거 데이터에만 지나치게 잘 맞도록 전략이나 모델을 조정한 상태를 의미합니다. 겉보기에는 성과가 매우 좋아 보이지만, 새로운 데이터나 실제 시장 환경에서는 전혀 작동하지 않는 경우가 많습니다.
시험 공부에 비유하면
과최적화는 기출문제만 외워서 시험을 준비하는 것과 비슷합니다. 연습 문제에서는 항상 100점을 맞지만, 실제 시험에서 문제가 조금만 바뀌어도 점수가 급락하는 상황이죠. 퀀트 전략도 마찬가지입니다. 과거 시장의 특정 패턴에만 맞춰진 전략은, 시장 환경이 조금만 변해도 성과가 무너집니다.
퀀트 투자에서 과최적화가 발생하는 이유
퀀트 전략은 숫자와 규칙으로 구성됩니다. 조건을 하나 추가할 때마다, 과거 데이터에는 더 잘 맞는 결과가 나올 확률이 높아집니다. 예를 들어 다음과 같은 과정을 상상해 보세요.
- 처음 전략: PER 10 이하인 종목 매수 → 연 12% 수익
- 조건 추가: ROE 15% 이상 → 연 18% 수익
- 조건 추가: 최근 6개월 모멘텀 상위 30% → 연 25% 수익
- 조건 미세 조정: PER 8.5 이하, ROE 17% 이상 → 연 35% 수익
이렇게 수익률이 점점 좋아지는 걸 보면, 더 조정하고 싶은 욕심이 생깁니다. 하지만 이 과정이 반복될수록 전략은 과거 데이터에만 최적화된 괴물이 되어갑니다. 실제 시장에서는 그 조건 조합이 다시 나타나지 않을 가능성이 매우 높습니다.
2. 퀀트 초보가 과최적화에 빠지는 대표적인 3가지 패턴
1) 조건을 지나치게 많이 넣는다
초보자들이 가장 흔하게 하는 실수입니다. 전략을 ‘똑똑하게’ 만들고 싶어서, 온갖 지표를 다 끌어옵니다.
예시:
- PER
- PBR
- ROE
- 매출 성장률
- 영업이익률
- 부채비율
- 유동비율
- 모멘텀 점수
- 변동성 지표
이렇게 8개, 10개, 심지어 12개 이상의 조건을 동시에 걸어놓으면, 과거 데이터에서는 기가 막히게 성과가 나옵니다. 하지만 실전에서는 그 모든 조건을 동시에 만족하는 종목이 거의 없거나, 있더라도 시장 환경이 바뀌면 성과가 급변합니다.
위험 신호 1: 소수점 단위 조건
“PER 7.3 이하, PBR 0.82 이하”처럼 숫자를 지나치게 정교하게 맞추는 것도 과최적화의 전형적인 신호입니다. 이런 숫자는 이론적 근거보다는, 과거 데이터에 맞추다 보니 우연히 만들어진 경우가 대부분입니다.
위험 신호 2: 가중치 미세 조정
밸류 0.4, 퀄리티 0.3, 모멘텀 0.3 같은 식으로 팩터 가중치를 0.05 단위로 조정하고 있다면, 이미 데이터 마이닝의 늪에 들어섰을 가능성이 큽니다.
2) 백테스트 기간이 지나치게 짧다
3년, 5년 정도의 데이터만으로 전략을 검증하는 경우도 매우 많습니다. 하지만 이 정도 기간은 시장의 한 가지 성격만 반영할 가능성이 큽니다.
예를 들어 한국 시장만 보더라도:
- 2017~2019년: 성장주 강세
- 2020년: 코로나 쇼크
- 2021년: 유동성 장세
- 2022년: 금리 인상, 약세장
이처럼 시장은 몇 년마다 성격이 완전히 바뀝니다. 특정 구간에서만 잘 작동하는 전략은, 다음 국면에서 무력해질 가능성이 높습니다.
거래 횟수의 중요성
연 1회 리밸런싱 전략을 3년치 데이터로 테스트하면, 거래 샘플이 고작 3개입니다. 이걸로 전략의 유효성을 판단하는 것은, 동전을 세 번 던져서 두 번 앞면이 나왔다고 “이 동전은 앞면이 더 잘 나온다”고 결론 내리는 것과 다르지 않습니다.
3) 데이터 마이닝에 중독된다
데이터 마이닝이란, 수십 가지 조건과 조합을 무작위로 테스트하다가 우연히 좋은 성과가 나온 조합을 ‘발견’하는 행위를 말합니다.
예를 들어:
- PER 기준 10가지
- PBR 기준 10가지
- 모멘텀 기준 10가지
이 세 가지만 조합해도 1,000가지 전략이 만들어집니다. 이 중 몇 개는, 아무 의미 없는 조합일지라도 우연히 높은 수익률을 보일 수 있습니다. 문제는 그걸 ‘황금 전략’으로 착각한다는 점입니다.
3. 과최적화를 줄이는 실전 검증 방법
1) 샘플 외 검증 (Out-of-Sample Test)
가장 기본이 되는 방법입니다. 데이터를 두 부분으로 나눕니다.
- In-Sample: 전략 개발용
- Out-of-Sample: 검증용
예시:
- 2010~2019년: 전략 개발
- 2020~2024년: 성과 검증
개발 구간에서 좋은 성과가 나온 전략이, 검증 구간에서도 비슷한 성과를 보인다면, 과최적화 위험이 줄어듭니다.
2) 워크포워드 분석 (Walk-Forward Analysis)
시간을 이동시키면서 반복 검증하는 방식입니다.
- 2010~2014 → 2015년 검증
- 2011~2015 → 2016년 검증
- 2012~2016 → 2017년 검증
이 과정을 반복해, 각 검증 구간의 평균 성과를 확인합니다. 계산은 번거롭지만, 전략의 ‘생존력’을 확인하는 데 매우 강력한 방법입니다.
3) 단순성 유지 원칙
성공한 장기 퀀트 전략의 공통점은 대부분 단순하다는 점입니다.
| 전략 유형 | 조건 개수 | 과최적화 위험 |
|---|---|---|
| 단일 팩터 | 1~2개 | 낮음 |
| 복합 팩터 | 3~5개 | 보통 |
| 복잡 전략 | 6개 이상 | 높음 |
실제로 저PER 전략, 고배당 전략처럼 단일 지표 기반 전략이 10년, 20년 이상 꾸준히 연구되는 이유도 여기에 있습니다.
4) 충분한 거래 표본 확보
통계적으로 의미 있는 결과를 얻으려면, 최소 30회 이상의 거래 샘플이 필요합니다.
- 연 1회 리밸런싱 → 최소 30년 데이터
- 분기 리밸런싱 → 최소 7~8년 데이터
- 월간 리밸런싱 → 최소 3년 데이터
이 기준을 만족하지 못하면, 성과가 좋아도 ‘운’일 가능성을 배제하기 어렵습니다.
4. 실전 투자자를 위한 과최적화 체크리스트
아래 항목 중 3개 이상 해당된다면, 전략을 다시 점검해 볼 필요가 있습니다.
- 연 40% 이상의 백테스트 수익률
- 조건 개수 6개 이상
- 백테스트 기간 5년 미만
- 샘플 외 검증 미실시
- 파라미터 수정 10회 이상
특히 마지막 항목은 매우 중요합니다. 수익률을 보고 조건을 바꾸고, 다시 테스트하고, 또 바꾸는 과정을 반복하면, 어느새 전략은 과거 데이터에만 맞춘 퍼즐이 되어버립니다.
5. 과최적화를 피하는 퀀트 투자자의 사고방식
전문 퀀트 투자자들은 보통 이렇게 생각합니다.
- “이 전략이 왜 작동해야 하는가?”
- “경제적, 행동적 근거가 있는가?”
- “다른 시장, 다른 국가에서도 비슷하게 작동하는가?”
단순히 숫자가 예쁘게 나오느냐가 아니라, 이 전략이 논리적으로 설명 가능한지를 먼저 따집니다.
완벽한 백테스트보다, 살아남는 전략을 만들어라
과최적화는 퀀트 투자자라면 누구나 한 번쯤 겪는 통과의례와도 같습니다. 백테스트에서 반짝이는 전략을 만드는 것은 어렵지 않습니다. 하지만 실제 시장이라는 거친 환경 속에서, 몇 년, 몇 번의 사이클을 버텨내는 전략을 만드는 것은 전혀 다른 이야기입니다.
전략을 단순하게 유지하고, 충분히 긴 기간의 데이터로 검증하며, 샘플 외 테스트를 거치는 습관을 들이세요. 그 과정이 번거롭고 지루하게 느껴질 수 있지만, 장기적으로는 계좌를 지켜주는 가장 강력한 방패가 됩니다.
지금 사용 중인 전략이 있다면, 오늘 바로 이 질문을 던져보세요.
“이 전략은 과거가 아니라, 미래에서도 살아남을 수 있을까?”
자주 묻는 질문 (FAQ)
Q1. 수익률이 얼마나 높으면 과최적화를 의심해야 하나요?
연 40% 이상이면 의심해 볼 필요가 있습니다. 10년 이상 장기간 그런 성과를 유지하는 전략은 극히 드뭅니다.
Q2. In-Sample과 Out-of-Sample 비율은 어떻게 나누는 게 좋나요?
일반적으로 70:30 또는 80:20 비율이 많이 사용됩니다. 중요한 건, 검증 구간을 ‘절대 건드리지 않는 것’입니다.
Q3. 조건은 몇 개까지가 적당한가요?
3~5개가 적정선입니다. 그 이상이면, 정말 필요한 조건인지 하나씩 제거해 보세요.
Q4. 워크포워드 분석은 꼭 해야 하나요?
필수는 아니지만, 전략의 생존력을 확인하는 데 매우 강력한 방법입니다. 여유가 된다면 적극 추천드립니다.
*본 글에서 다루는 모든 정보는 단순한 참고 자료의 성격을 지니며, 특정한 금융 상품이나 투자 방식, 금융기관, 보험사, 대출 서비스, 건강 관련 및 건강 식품, 일반 제품 등을 직접 추천하거나 그 성과를 보장하는 것이 아닙니다.
또한, 여기서 설명하는 법률·제도·규정·금융 관련 정책은 글을 작성한 시점을 기준으로 정리된 것으로, 시간이 흐름에 따라 변경되거나 일부 조항이 개정될 가능성이 있습니다.
따라서 실제로 금융 거래나 투자 결정을 내리기 전에는 반드시 최신 정보를 확인하고, 필요하다면 해당 분야의 전문가, 금융기관 상담 창구, 또는 관련 공공기관을 통해 구체적인 내용을 검토하시길 권장드립니다.
또한, 의료 정보를 보다 쉽게 이해할 수 있도록 구성한 참고용 자료입니다. 개별 건강 상태에 따른 정확한 진단과 치료는 반드시 전문 의료진과의 상담을 통해 결정하시기 바랍니다.
본 글의 운영자는 이용자가 해당 정보를 활용하는 과정에서 발생할 수 있는 경제적·건강적 손실이나 불편에 대해 책임을 지지 않습니다. 독자 스스로의 신중한 판단과 선택이 무엇보다 중요합니다.