전략strategy-labbacktestingout-of-sampletransparencyvalidation

전략 랩: 전략 30개 중 최소 10개가 우리 자체 기준을 밑돌고 있다

2026년 8월 16일·8분 읽기
전략 랩: 전략 30개 중 최소 10개가 우리 자체 기준을 밑돌고 있다

전략 라이브러리가 절대 인쇄해서는 안 되는 숫자가 있다.

오늘 재테스트(2026년 8월 16일) 기준으로, Anny Strategy Lab의 전략 30개 중 최소 10개가 게재 기준으로 삼는 임계값 하나 이상을 충족하지 못하고 있다. 그 전략들은 여전히 페이지에 있다. 여전히 복사할 수 있다. 실패한 수치는 각 전략마다 표시되어 있다.

"최소"라는 표현은 이 문장에서 실질적인 역할을 하고 있다. 매일 진행되는 재테스트는 아래 일곱 가지 기준 중 여섯 가지를 재계산한다 — 거래 횟수, 승률, Sharpe, 드로우다운, 샘플 외 성과 저하, 샘플 외 Sharpe. 일곱 번째인 샘플 외 거래 횟수는 전략 게재 시점에 한 번 확인하며, 이후 재확인을 위해 저장되지 않는다. 따라서 10은 하한선이지 정확한 합계가 아니며, 솔직하게 반올림한다면 위로 올려야 한다.

이 숫자는 매일 양방향으로 움직인다. 이틀 전에는 18이었다. 현재 수치는 전략 페이지에 게재되어 있으며, 이 글의 숫자가 아닌 그쪽이 기준이다.

이 숫자를 공개하는 이유는 하나다. 수치가 좋아지기만 하는 라이브러리는 재테스트를 하는 게 아니라, 게재 당일의 결과를 계속 재인쇄하고 있는 것이기 때문이다.

지금부터 기준 하나하나를 설명한다.

검색이 실제로 걸러내는 것들

가장 최근에 기록된 탐색에서, 2026년 8월 16일 이전에 실행된 이 탐색에서 랩은 9,385개의 파라미터 조합을 백테스트했다. 그 중 25개만이 품질 기준을 평가받기에 충분한 거래 횟수를 생성했다. 게재된 것은 4개였다.

나머지 9,360개에 무슨 일이 있었는지 정확히 말하겠다. 압도적 다수는 최소 30건의 거래를 생성하지 못했기 때문에 판단 자체가 불가능했다. 이것은 기계적 필터이지, 그 조합들 각각이 손실을 냈을 것이라는 판정이 아니다. 그 중 어느 것도 실제 자금으로 운용된 적이 없으며, 우리는 그런 주장을 하지 않는다.

탐색은 우리가 실행하기로 결정할 때 수동으로, 의도적으로 시작된다. 일정도 없고, 라이브러리가 얼마나 자주 성장할지에 대한 약속도 없다. 이 시스템에서 매일 이루어지는 것은 탐색이 아니라 재테스트다.

기준

게재 자격을 얻으려면 후보가 아래 일곱 가지를 모두 통과해야 한다:

기준임계값
종료된 백테스트 거래 횟수최소 30건
승률최소 40%
Sharpe ratio최소 0.5
최대 드로우다운35% 이하
샘플 외 성과 저하50% 이하
샘플 외 Sharpe최소 0.3
샘플 외 거래 횟수최소 8건

위의 모든 수치는 비용을 공제한 거래 기준으로 측정된다. 모든 거래의 양쪽에 0.1% taker fee와 슬리피지가 부과된다: 주요 자산은 0.1%, 그 외 자산은 0.3%. 알트코인의 경우 왕복 거래만으로 수익을 내기 전에 이미 0.8%를 내주게 된다. 이 비용을 생략한 백테스트가 42% 승률의 전략을 차트에서는 유망해 보이게 하고, 실제 거래소에서는 그렇지 않게 만드는 방식이다.

두 가지 추가 기준이 적용된다: 샘플 외 데이터에서 측정한 확률적 Sharpe ratio가 최소 0.6, 그리고 walk-forward 기간 중 절반 이상에서 수익성 확보.

후보 수가 다섯 자리에 달하는 상황에서 확률적 Sharpe를 언급하는 만큼, 한 가지 솔직한 한계를 밝힌다. 그 확률은 우리가 테스트한 조합의 수에 따라 하향 조정되지 않는다. 9,385개의 후보를 탐색하면 운만으로도 고정 기준을 통과하는 것들이 나온다. 이를 잡아내기 위해 의존하는 것은 아래의 보류 샘플이지, PSR 수치가 아니다. 탐색 규모에 맞게 기준을 보정하는 것은 목록에 있지만 아직 구현되지 않았다.

모든 기준을 통과하면 후보 자격을 얻는다. 이것은 게재 당일 한 번 치르는 입학 시험이다. 이후에 무슨 일이 일어나는지는 이 페이지 아래에 있다.

여기서 "샘플 외(out-of-sample)"가 의미하는 것

각 전략의 히스토리는 시간순으로 분할된다. 처음 80%는 전략을 찾고 조정하는 데 사용된다. 파라미터 탐색은 마지막 20%를 절대 읽지 않는다 — 어떤 후보의 파라미터도 그 구간을 이용해 선택되거나, 점수가 매겨지거나, 순위가 정해지지 않는다. 살아남은 전략은 그 손대지 않은 마지막 구간에서 실행되며, 거기서 무너지면 처음 80%가 아무리 좋아 보였더라도 게재하지 않는다.

또한 전체 히스토리를 4개의 순차적 기간으로 나누어 전략이 단 하나의 운 좋은 달에 결과를 의존하지 않고 모든 기간에서 버텼는지 확인한다. 정확히 말하면: 파라미터는 4개 기간 모두에서 고정 상태로 유지되므로, 이것이 측정하는 것은 일관성이다. 각 구간 내에서 재최적화하는 것은 walk-forward 최적화로, 우리가 주장하는 것과는 다르고 더 강한 주장이다.

9,385개의 조합이 처음 80%에서 조정되었다. 마지막 20% 이후에도 살아남은 것은 4개였다. 이 간극이 보류 샘플이 후보에게 치르게 하는 비용이며, 이를 건너뛰었다면 우리가 게재했을 것들이다.

DOT의 Peak Fader: 위는 인샘플 지표, 아래는 저하 수치를 포함한 샘플 외 검증
DOT의 Peak Fader: 위는 인샘플 지표, 아래는 저하 수치를 포함한 샘플 외 검증

게재된 DOT의 Peak Fader. 상단 블록은 전략이 전체 히스토리에서 달성한 결과다. 하단 블록은 조정 중에 전혀 보지 못한 보류된 20%로, 얼마나 저하되었는지를 포함한다. 두 가지 모두 공개 페이지에 나란히 표시된다.

오늘 라이브러리에 있는 것들

2026년 8월 16일 기준: 15개 자산과 14개의 고유한 전략 유형에 걸쳐 전략 30개. 가장 적은 것은 종료된 거래 30건을 보유하고 있으며, 평균은 45건이다. 이것들은 실제 거래 히스토리가 아닌 시뮬레이션된 백테스트 거래다.

모든 전략은 매일 최신 시장 데이터로 재백테스트 대기열에 오르며, 해당 페이지의 수치는 재테스트 결과로 교체된다. 결과는 게재 당일보다 나빠지더라도 공개되며, 이 때문에 게재된 전략이 공개적으로 음수 샘플 외 Sharpe를 보여주게 된다.

현재 사이트에 라이브로 올라온 전략 중 하나가 여기 있다:

SOL의 Momentum Rider: Sharpe 0.23, 샘플 외 Sharpe -1.49, 저하율 100%
SOL의 Momentum Rider: Sharpe 0.23, 샘플 외 Sharpe -1.49, 저하율 100%

SOL의 Momentum Rider. Sharpe 0.23으로 우리 기준인 0.5에 미치지 못하고, 샘플 외 Sharpe는 −1.49, 저하율은 +100 상한에 고정되어 있다. 게재되어 있고, 복사 가능하며, 우리가 표시하는 수치가 저것이다.

이에 대해 두 가지를 이해해야 한다:

플래그는 제거가 아니다. 매일 진행되는 재테스트는 기준 아래로 떨어진 전략에 표시를 한다. 그것을 취소하지는 않는다. 실패한 전략은 라이브러리에 남아 있으며, 여전히 복사 가능하고, 실패한 기준이 표시된다. 전략을 퇴장시키는 것은 사람이 의도적으로 내리는 결정이다. 플래그는 우리가 이미 처리한 정리가 아니라, 당신이 행동해야 하는 경고로 취급하라.

저하 수치는 상한이 있다. 우리는 원래 백테스트 대비 저하를 ±100으로 제한된 백분율로 표현하며, 양수는 샘플 외 구간이 더 나빴음을, 음수는 더 좋았음을 의미한다. +100을 표시하는 전략은 최소 그만큼 저하되었으며 실제로는 더 많이 저하되었을 수 있다. 오늘 30개 중 9개가 정확히 한쪽 상한에 위치해 있다: 4개는 +100, 5개는 −100. 이 9개의 경우 표시된 수치는 실제 이동 거리를 과소평가한다.

규칙은 모든 플랜에서 비공개다

전략을 판단할 수 있는 지표는 볼 수 있다: 전체 거래 히스토리, 에쿼티 커브, 승률, 드로우다운, 샘플 외 결과, 어떤 시장 레짐에서 작동했는지.

정확한 파라미터 값은 볼 수 없다. Free에서도, Pro에서도, Pro Max에서도. 이 카테고리의 대부분 제품은 최상위 티어에서 그 수치를 판매한다. 우리는 모든 티어에서 공개하지 않으며, 그것이 이 섹션이 업그레이드 버튼 없이 끝나는 이유다.

채팅과 공유 링크를 포함한 모든 제품 화면에서 공개하지 않는다. 만약 그것을 반환하는 경로를 발견하면 알려주길 바란다. 즉시 닫겠다.

파라미터 없이도 전략을 실행할 수 있다. 실행은 서버 사이드다: 규칙은 우리 서버에서 실행되며, 당신의 브라우저, 봇 설정, 또는 거래소 계정으로 전송되지 않는다.

당신이 할 수 있는 것

  1. 탐색. 전체 라이브러리는 로그인하지 않은 사람을 포함해 누구나 열람 가능하다. 이 부분은 무료이며 계정이 필요 없다.
  2. 봇으로 배포. 유료 플랜이 필요하며, 유료 플랜에는 30개 전부가 포함된다 — Premium으로 표시된 것들은 별도 구매가 아니다. 거래소, 자금, stop-loss를 선택하면 규칙 자체는 서버 사이드에 남는다.
  3. 수정. 포지션 크기, stop-loss, take-profit, 타임프레임을 변경한다. 그 중 하나라도 변경하면, 페이지의 수치는 당신이 실행하는 것을 더 이상 설명하지 않는다. 매일 진행되는 재테스트는 항상 수정되지 않은 버전을 추적한다.
  4. 코인 추가. 동일한 접근 방식을 다른 자산에서 실행한다. 단, 모든 게재된 지표는 하나의 자산에서 얻은 것임을 유의하라. 새로운 코인에서는 백테스트가 이루어지기 전까지 검증되지 않은 아이디어다.
  5. 포트폴리오 구성. 여러 봇을 동시에 실행하고, 포트폴리오 뷰에서 모두가 조용히 동일한 베팅을 하고 있을 때 플래그를 받는다. 함께 움직이는 자산은 분산투자가 아니기 때문이다.
  6. 비용

    탐색은 무료다. 전략 실행은 유료 플랜이 필요하며 그 외 추가 비용은 없다: 전략을 봇으로 복사할 때 크레딧이 소모되지 않으며, 전략별 수수료도, 마켓플레이스 수수료도 없다.

    랩을 만든 이유는 대안이 9,385개 조합 탐색을 직접 하드웨어에서 실행해서 4개의 답을 얻는 것이고, 그 과정에서 스스로 보류해야 하는 보류 샘플도 기억해야 하기 때문이다. 그 탐색을 한 번 실행하고 살아남은 것을 플랜 가입자 모두에게 제공하는 비용은 한 사람을 위해 실행하는 것과 동일하다. 그것이 Anny와 Claude가 가능하게 만드는 부분이며, 별도로 가격이 책정되지 않는 이유다.

    이것이 그 약속이다. 걸러내는 것은 내가 하고, 살아남은 것을 당신이 받으며, 살아남은 것이 흔들리기 시작할 때 — 우리에게 불리한 방향으로도 — 당신이 볼 수 있다.


    Strategy Lab은 연구 목적이며, 금융 조언이 아니다. Anny는 금융 어드바이저가 아니다. 표시된 모든 수치는 과거 데이터의 백테스트에서 나온 것이며, 샘플 외 결과를 포함한 과거 백테스트 성과는 미래 결과를 보장하지 않는다. 백테스트는 위에 설명된 거래소 수수료와 슬리피지를 부과하지만 펀딩 비용은 제외하며, stop-loss가 해당 수준에서 체결된다고 가정한다. 실제 결과는 다를 수 있다. 잃어도 되는 금액만 거래하라.

관련 기사