[Lap 03] 체결 대사 장애 복기와 4대 Fail-Closed 안전 게이트
로컬 터미널에서 301개의 단위 테스트가 단 4.8초 만에 모두 초록불을 켰을 때, 이제 자동매매 봇이 고장 날 일은 없을 거라 믿었습니다.
하지만 10월 21일 아침 10시 05분, 슬랙 채널에 날아든[ALERT M3] position_mismatch경보와 함께 모든 주문이 멈춰 섰습니다. 모의투자와 실전 증권사 API 사이의 시간차 공백, 가상 장부와 실제 잔고가 어긋나는 현상, 그리고 계좌를 지킨 4대 Fail-Closed 안전 게이트(ARCH-FINX-001)의 설계와 복구 과정을 기록합니다.
1. 프롤로그: 301 passed라는 달콤한 착시
Lap 02에서 혹독한 테스트 주도 개발(TDD)과 모델 티어링을 거치며, dipx 엔진은 로컬 환경에서 301개의 단위 테스트를 단 한 건의 실패 없이 통과했습니다.
네트워크 타임아웃, OAuth2 토큰 만료, 휴장일 빈 배열 처리까지 꼼꼼하게 가짜 객체(Mock)로 검증을 마치고 나니 마음이 한결 놓였습니다. 이제 이 코드를 클라우드에 올려 매일 정해진 시간에 돌리기만 하면 될 것 같았습니다.
당시 구축한 무인 운용 파이프라인의 구조는 다음과 같았습니다:
- 서버리스 스케줄링 (월 비용 $0): 24시간 내내 켜두는 가상머신(VM) 대신, 매일 오전 10시 05분(KST)에 Amazon EventBridge가 AWS Lambda(
dipx-daily)를 딱 한 번 깨웁니다. 하루 실행 시간은 채 2분이 걸리지 않아 클라우드 비용은 0원입니다. - S3 상태 장부 (
shadow_multi.json,fills.json): 서버리스 함수는 실행이 끝나면 메모리가 휘발되므로, 현재 각 전략 슬리브가 보유한 주식 수량과 주문·체결 이력을 Amazon S3 버킷에 JSON 장부 형태로 보관합니다. - 다중 슬리브 합산 운용 (
E 30% / C2 30% / SOXX_R1 40%): 하나의 한국투자증권(KIS) 계좌 안에서 세 가지 세부 전략 슬리브를 동시에 굴립니다. 각 슬리브가 계산한 목표 수량을 합산(Netting)하여 최종 주문서를 만듭니다. - 낮 10시 05분 사전 예약주문: 밤 22시 30분 미국 정규장이 열릴 때 잠을 설치며 실시간 소켓을 지키는 대신, 아침 10시 05분에 KIS 해외주식 예약주문 API(매도는 장개시 시장가
MOO, 매수는 전일 종가 대비+10%상한 지정가)를 통해 주문을 미리 접수해 두는 방식을 택했습니다.
수주일 동안 시스템은 매일 아침 10시 05분 정각에 깨어나 전일 미국장 종가를 읽고, 신호를 계산해 예약주문을 넣은 뒤 슬랙(Slack)으로 평화로운 일일 보고(REPORT M1)를 보내왔습니다.
모든 것이 자리 잡았다고 생각하던 그 순간, 예상치 못한 곳에서 경보음이 울렸습니다.
2. 10월 21일 오전 10시 05분, 슬랙을 울린 ALERT M3
10월 21일 아침이었습니다. 평소라면 “당일 예약주문 접수가 정상 완료되었습니다”라는 M1 알림이 떠야 할 슬랙 #dipx-ops 채널에, 붉은색 경고 아이콘과 함께 [ALERT M3] 주문 전면 차단 ( Fail-Closed ) 메시지가 날아들었습니다.
[ALERT M3] dipx-daily Execution Blocked (2026-10-21 10:05:14 KST)
- Status: FAIL_CLOSED (All Orders Aborted)
- Triggered Gate: Gate 2 (position_mismatch)
- Detail: S3 가상 장부(shadow_multi.json) 합산 수량과 KIS 실제 계좌 잔고 수량이 일치하지 않습니다.
- Action Required: 수동 잔고 대사(Reconciliation) 및 fills.json 확인 전까지 일체의 신규 주문 접수를 동결합니다.
가슴이 철렁 내려앉았습니다. 급히 노트북을 열고 S3에 저장된 내부 장부(shadow_multi.json, fills.json)와 한국투자증권 계좌의 실제 보유 잔고를 나란히 띄워 비교해 보았습니다.
경보 메시지 그대로였습니다. 프로그램이 기억하고 있는 보유 주식 수량과, 증권사 계좌에 실제로 들어 있는 주식 수량이 서로 어긋나 있었습니다.
301개의 단위 테스트를 모두 통과한 코드였는데, 도대체 어디서 장부가 틀어진 것일까요?
3. 원인 해부: 왜 301개의 테스트는 이 장애를 막지 못했는가?
로그를 시간순으로 역추적하면서, 저는 로컬 단위 테스트 환경과 실제 증권사 거래 환경 사이에 놓인 구조적 간극을 마주하게 되었습니다.
단위 테스트 안에서의 가짜 브로커(MockBroker)는 언제나 예의 바르고 즉각적이었습니다. 주문을 넣으면 깔끔하게 접수 번호를 돌려주었고, 체결 조회를 요청하면 누락 없이 정확한 체결 내역을 반환했습니다.
하지만 실제 증권사 API와 야간 미국 주식 시장이 맞물리는 현장은 전혀 달랐습니다.
1) 예약주문과 실제 체결 사이에 놓인 ’12시간의 시차’
오전 10시 05분에 예약주문을 접수(orders.json)하는 시점에는 아직 주식이 체결된 것이 아닙니다. 실제 체결은 약 12시간 뒤인 밤 22시 30분(서머타임 기준) 미국 나스닥 시장이 열릴 때 거래소에서 일어납니다.
따라서 dipx 엔진은 다음 날 아침 10시 05분에 깨어났을 때 가장 먼저 ‘전일 야간에 주문이 실제로 몇 주나, 얼마에 체결되었는가’를 증권사 API에 물어보고 내부 장부(fills.json)를 마감하는 대사(Reconciliation) 과정을 거쳐야 합니다.
문제는 바로 이 이튿날 아침의 체결 조회 과정에서 발생했습니다:
- 증권사 체결 내역 조회 API가 간헐적인 응답 지연이나 빈 내역을 반환할 때,
- 혹은 모의투자 서버 특유의 호가 스프레드 왜곡으로 인해 지정가 주문이 일부만 체결(Partial Fill)되거나 미체결로 남았을 때,
- 체결 이력 파일(
fills.json)에 전날 밤의 변동 사항이 온전히 기록되지 못한 채 넘어가는 구멍이 있었던 것입니다.
2) 단일 계좌 다중 슬리브(E / C2 / SOXX)의 나비효과
계좌는 하나인데 그 안에서 E(30%), C2(30%), SOXX_R1(40%)라는 세 개의 가상 지갑(슬리브)을 나눠 쓰다 보니 문제가 더 복잡해졌습니다.
예를 들어 E 슬리브와 C2 슬리브가 동시에 QQQ나 TQQQ를 매매할 때, 시스템은 두 슬리브의 주문을 합산(Netting)해서 증권사에 한 번에 주문을 넣습니다. 그런데 전날 체결 대사가 한 번 삐끗하자, 현재 계좌에 있는 주식이 E 슬리브의 몫인지 C2 슬리브의 몫인지 장부(shadow_multi.json)의 아귀가 맞지 않게 되었고, 결국 전체 합산 수량마저 실제 계좌 잔고와 달라지는 position_mismatch(잔고 불일치) 상태에 빠진 것입니다.
| 구분 | 로컬 단위 테스트 환경 (pytest) |
실제 증권사 연동 환경 (KIS API + S3) |
|---|---|---|
| 주문과 체결의 시차 | 함수 호출 즉시 동기적(Synchronous) 결과 반환 | 10:05 예약 접수 ➔ 22:30 야간 개장 체결 ➔ 익일 10:05 대사 (24시간 비동기 사이클) |
| 네트워크 및 API 응답 | 정형화된 JSON Mock 데이터 100% 보장 | 간헐적 조회 지연, 정산 시간대 데이터 미반영, 호가 왜곡에 따른 미체결/부분체결 |
| 계좌와 장부의 관계 | 메모리 내 단일 딕셔너리 상태 검증 | S3 분산 장부(shadow_multi, fills) ↔ KIS 실계좌 잔고 간 3자 정합성 유지 필수 |
“단위 테스트는 내 코드 안의 논리적 버그를 잡아줄 뿐, 외부 세계(증권사 서버와 시장)의 비동기적 불일치까지 대신 해결해 주지는 않는다.”
이 사실을 10월 21일의 경보음을 듣고서야 뼈저리게 실감했습니다.
4. 아찔한 가정: 만약 안전 게이트가 없는 ‘Fail-Open’ 시스템이었다면?
로그를 분석하던 중, 등골이 서늘해지는 순간이 있었습니다.
만약 그날 아침 봇이 장부 불일치를 감지하지 못했거나, 감지했더라도 에러 로그만 한 줄 찍고 “일단 오늘 계산된 신호대로 주문을 계속 넣자(Fail-Open)”라고 동작했다면 어떤 일이 벌어졌을까요?
- 유령 주식 매도와 주문 거부: 실제로는 계좌에 없는 수량을 매도하겠다고 주문을 던져 증권사로부터 주문 거부(Reject)를 당하고, 그 대금으로 사려던 다음 종목 매수까지 연쇄적으로 꼬였을 것입니다.
- 레버리지 중복 매수(Double Buying) 참사: 반대로 전날 이미 매수 체결이 끝난
TQQQ나SOXL(3배 레버리지 ETF)을 장부상 미체결로 착각해 오늘 아침 똑같은 물량을 한 번 더 중복 매수했을 수도 있습니다. 현금 유보금은 바닥나고, 의도치 않게 계좌 전체가 3배 레버리지에 과다 노출된 채 밤사이 폭락장을 맞았다면 생각만 해도 아찔한 자본 손실로 이어졌을 것입니다.
다행히 10월 21일 아침, 단 1주의 잘못된 주문도 증권사로 전송되지 않았습니다.
주문 생성기와 증권사 전송기 사이를 가로막고 서 있던 ‘4대 Fail-Closed 안전 게이트’가 불일치를 발견하자마자 0.1초 만에 철문을 내리고 모든 주문을 동결시켰기 때문입니다.
5. ARCH-FINX-001: 계좌를 지키는 4대 Fail-Closed 안전 게이트 해부
금융과 트레이딩 시스템을 설계할 때 무엇보다 앞세워야 할 제1원칙은 명확합니다.
“의심스러울 때는 무조건 멈춘다 (When in doubt, Fail-Closed).”
일반적인 웹 서비스는 일부 기능에 오류가 나더라도 최대한 화면을 띄워주는 우아한 성능 저하(Graceful Degradation)나 Fail-Open이 미덕일 수 있습니다. 하지만 내 돈이 오가는 트레이딩 엔진에서 ‘추정에 기반한 주문 집행’은 곧 재앙입니다.
저는 dipx를 실전 트레이딩 코어(ARCH-FINX-001)로 표준화하면서, 주문안(Order Plan)이 계산된 직후 KIS API로 날아가기 전에 반드시 통과해야 하는 4단계 직렬 안전 관문을 물리적으로 격리해 두었습니다.

도식 원본 보기
flowchart TD
Start["10:05 KST 일일 실행 시작 (S3 장부 Pull 및 KIS 실잔고 조회)"] --> Plan["신호 계산 및 당일 주문안(Order Plan) 생성"]
Plan --> G1{"Gate 01: ledger_open (전일 장부 미마감 체결 확인)"}
G1 -->|"YES (미결 존재)"| Block["FAIL-CLOSED 즉시 발동 (신규 주문 전송 전면 차단)"]
G1 -->|"NO (마감 정상)"| G2{"Gate 02: position_mismatch (S3 장부 vs KIS 실잔고 비교)"}
G2 -->|"YES (단 1주라도 불일치)"| Block
G2 -->|"NO (100% 일치)"| G3{"Gate 03: notional_cap (주문 총액 NAV 한도 검사)"}
G3 -->|"YES (과대 주문 감지)"| Block
G3 -->|"NO (한도 이내)"| G4{"Gate 04: stopped (운용자 긴급 킬스위치 확인)"}
G4 -->|"YES (수동 중지 상태)"| Block
G4 -->|"NO (4대 관문 모두 통과)"| Pass["PASS: KIS 해외주식 예약주문 전송 (매도 MOO / 매수 지정가 x 1.10)"]
Block --> AlertM3["Slack 긴급 경보 발송 (ALERT M3) 및 안전 종료"]
Pass --> ReportM1["Slack 접수 완료 보고 (REPORT M1) 및 S3 Push"]
각 관문이 맡고 있는 역할은 타협의 여지가 없습니다:
- Gate 01:
ledger_open(전일 장부 미마감 검사) - 어제 접수한 주문 중 아직 체결 여부가 확정되지 않고 열려 있는(Open) 상태가 장부에 남아 있는지 확인합니다.
- 전날의 계산이 끝나지 않았는데 오늘의 주문을 덧씌우는 행위를 원천 차단합니다.
- Gate 02:
position_mismatch(실계좌 잔고 vs 가상 장부 정합성 대사) - KIS API로 방금 조회한 종목별 실제 보유 수량과, S3 가상 장부(
shadow_multi.json)의 슬리브별 보유 수량 합계를 일대일로 대조합니다. - 단 1주라도 숫자가 다르면 그 즉시 모든 주문 전송을 중단합니다. 10월 21일 아침 시스템을 구한 것이 바로 이 두 번째 관문이었습니다.
- Gate 03:
notional_cap(주문 금액 상한선 검사) - 외부 시세 데이터(Yahoo Finance 등)가 일시적으로 오염되어 주가가 0.01달러로 들어오거나 수식 버그로 인해 계좌 순자산(NAV)을 초과하는 비정상적 거대 주문이 생성되었을 때 이를 가로막습니다.
- Gate 04:
stopped(수동 긴급 킬스위치 검사) - 운용자가 S3 상태 파일이나 파라미터 스토어에 설정해 둔 긴급 정지(
stopped: true) 플래그를 확인합니다. 시장에 극단적인 시스템 리스크가 발생했을 때 코드 수정 없이 봇을 묶어두는 브레이크입니다.
네 개의 관문 중 단 하나라도 False를 반환하면, 코드는 KIS 주문 전송 함수를 아예 호출하지 않고 곧바로 ALERT M3 슬랙 경보를 쏜 뒤 안전하게 프로세스를 종료합니다.
6. 24시간 무인 파이프라인과 ’12시간의 인간 거부권(Human Veto)’
ARCH-FINX-001 아키텍처의 또 다른 핵심 설계는 ‘낮 10시 05분 자동 접수와 밤 22시 20분 인간 거부권의 결합’입니다.
처음 시스템을 구상할 때는 밤 22시 30분 미국장이 열리는 순간에 맞춰 봇을 깨워 실시간 시장가 주문을 넣을지 고민했습니다. 하지만 그 방식은 두 가지 치명적인 단점이 있었습니다:
- 밤 22시 30분 개장 직후에는 전 세계 주문이 몰리며 증권사 API 지연이나 호가 공백이 가장 심하게 발생합니다.
- 무엇보다 내가 잠든 새벽에 봇이 이상 주문을 넣더라도 사람이 개입해 막을 시간적 여유가 전혀 없습니다.
그래서 발상을 바꾸어 한국 시간 오전 10시 05분에 예약주문을 넣는 시퀀스를 설계했습니다:

도식 원본 보기
sequenceDiagram
autonumber
actor User as 운용자 (Human)
participant Cron as EventBridge (10:05 KST)
participant Lambda as AWS Lambda (dipx-daily)
participant S3 as Amazon S3 (State Store)
participant KIS as 한국투자증권 (KIS API)
participant Slack as Slack (#dipx-ops)
Cron->>Lambda: 1. 오전 10:05 일일 실행 트리거
Lambda->>S3: 2. 가상 장부 로드 (shadow_multi.json, fills.json)
Lambda->>KIS: 3. 전일 야간 체결 내역 및 현재 실잔고 조회
Lambda->>Lambda: 4. 전일 체결 대사(Reconciliation) 및 슬리피지 산출
Lambda->>Lambda: 5. 미국장 확정 종가 수집 및 신호(RSI/레짐) 계산
Lambda->>Lambda: 6. 다중 슬리브(E/C2/SOXX) 목표 비중 및 순주문안 산출
Lambda->>Lambda: 7. 4대 Fail-Closed 안전 게이트 직렬 검증
alt 4대 관문 중 1개라도 불합격 (예: 10/21 position_mismatch)
Lambda->>Slack: 8A. ALERT M3 발송 (주문 전면 차단 및 불일치 내역 보고)
Lambda->>S3: 9A. 차단 상태 기록 및 안전 종료
else 4대 관문 모두 통과
Lambda->>KIS: 8B. 해외주식 예약주문 접수 (매도 MOO, 매수 지정가 x 1.10)
KIS-->>Lambda: 9B. 예약주문 접수번호 반환
Lambda->>Slack: 10B. REPORT M1 발송 (당일 예약주문 내역 브리핑)
Lambda->>S3: 11B. 최신 장부 상태 Push
end
User->>KIS: 12. (인간 거부권 구간) 10:05 ~ 22:20 사이 이상 징후 시 앱에서 취소 가능
이 구조가 주는 실용적 이점은 분명합니다:
- 낮 시간의 여유로운 사전 감시: 오전 10시 05분에 커피를 마시며 슬랙으로 날아온
M1(접수 완료) 또는M3(차단 경보) 메시지를 확인합니다. - 12시간의 인간 거부권(Human Veto Window): 주문이 실제로 거래소로 전송되는 밤 22시 30분까지 약 12시간의 완충 시간이 존재합니다. 만약 저녁에 나스닥 선물(NQ)이 비정상적으로 폭락하거나 매크로 블랙스완이 터지면, 언제든 스마트폰 KIS 앱을 열어 접수된 예약주문을 터치 한 번으로 취소할 수 있습니다.
완전 무인 자동화를 지향하되, 결정적인 순간에는 인간이 브레이크를 밟을 수 있는 비상벨을 남겨둔 것입니다.
7. 10/21 장애 복구와 실전 고도화를 향한 5대 리워크(Rework) 과제
다시 10월 21일의 멈춰 선 시스템으로 돌아와 보겠습니다. position_mismatch로 굳게 닫힌 게이트를 어떻게 열었을까요?
가장 피해야 할 행동은 빨리 주문을 넣겠다는 조급함에 게이트 조건문을 주석 처리하거나 장부 숫자를 주먹구구식으로 덮어쓰는 것이었습니다. 그 대신 정석적인 대사 복구 절차를 밟았습니다:
- 실계좌 스냅샷 강제 동기화:
scripts/sync_account.py를 실행해 KIS 계좌의 실제 보유 수량과 예수금을 정확히 덤프했습니다. - 누락 체결 행 복원: 전일 체결 내역과 대조하여
data/fills.json에서 누락되었던 체결 레코드를 찾아 정합성을 맞추어 기록했습니다. - 슬리브 비중 강제 정렬 (
rebalance: force): 단일 계좌 안에서 어긋났던E(30%) / C2(30%) / SOXX(40%)세 슬리브의 가상 보유량을 실제 잔고 기준으로 재분배하고, 일회성rebalance: "force"플래그를 통해 4대 안전 게이트가 정상적으로 초록불(PASS)을 켜는 것을 확인했습니다.
그리고 이 사건을 단순한 해프닝으로 넘기지 않고, 시스템을 한 단계 더 단단하게 만들기 위한 5대 엔지니어링 리워크(Rework) 과제로 명문화했습니다:
| 과제 코드 | 리워크 과제 명칭 | 현행 문제점 (AS-IS) | 아키텍처 개선 방향 (TO-BE) |
|---|---|---|---|
AR-01 |
원자적 잔고 대사기 고도화 | KIS 체결 조회 일시 지연이나 부분체결 시 수동 복구 전까지 게이트 영구 락 발생 | 지수 백오프 기반 체결 재조회 및 부분체결(Partial Fill) 자동 반영 트랜잭션 구현 |
AR-02 |
다중 슬리브 드리프트 보정기 | 단일 계좌 내 3개 슬리브(E/C2/SOXX) 운용 시 가격 변동에 따른 비중 괴리 수동 해소 | 현금 유보금(cash_reserve 2%) 유지 및 허용 오차 초과 시 자동 리밸런싱 동기화 |
QA-03 |
실시간 슬리피지 가드레일 | 백테스트 가정(편도 17.5bp) 대비 실제 시초가 체결 슬리피지 편차 상시 감시 필요 | 매일 아침 전일 체결가와 이론 시초가를 비교해 슬리피지 중앙값($le 20text{ bps}$) 실측, 25bp 초과 시 경보 |
AR-03 |
원격 킬스위치 & 선물 서킷브레이커 | 밤 22:20 전 KIS 앱 수동 취소에 의존하여 심야 돌발 악재 대응에 한계 존재 | 슬랙/텔레그램 웹훅 원격 킬스위치 및 개장 전 나스닥 선물(NQ) 급락 시 자동 주문 취소 연동 |
AUDIT-01 |
2차 독립 감사 & 백테스터 이관 | 초기 단일 스크립트(multi_shadow.py)에 의존하여 다변량 검증 및 교차 감사 한계 |
자체 구축한 quant-backtester 3-Plane 엔진(EVAL-QB-002 100점 헌법) 및 Deep Research 2차 독립 감사 수행 |
특히 다섯 번째 과제인 ‘2차 독립 감사(Independent Audit)’는 앞으로의 여정에서 매우 중요한 이정표입니다.
과거 Claude와 함께 만들었던 dipx의 백테스트 성과(모델 E 기준 연복리 29.9%)를 그대로 믿고 실전 자금을 늘리는 대신, 우리가 Track 02에서 밑바닥부터 직접 설계한 quant-backtester 엔진과 7대 Hard Veto 평가 헌법(EVAL-QB-002) 위에 이 전략을 올려놓고 원점에서 다시 검증하기로 결정한 것입니다.
8. 에필로그: 수익률보다 먼저 만들어야 하는 것은 브레이크다
자동매매 시스템을 처음 만들 때는 온통 ‘어떻게 하면 더 높은 수익률(CAGR)을 뽑아낼까’, ‘어떤 보조지표를 조합해야 타율을 높일까’에만 시선이 쏠리기 쉽습니다.
저 역시 출발선에서는 그랬습니다.
하지만 2022년의 40분할 원금 소진을 겪고(Lap 01), 301개의 TDD 테스트와 토큰 번의 시행착오를 지나(Lap 02), 10월 21일의 체결 대사 불일치 경보까지 마주하고 나니 생각이 완전히 달라졌습니다.
“실전 시장에서 내 계좌를 파산으로부터 지키는 것은 화려한 매수 공식이 아니라, 장부가 단 1주라도 어긋났을 때 주저 없이 스스로 멈춰 서는 차가운 브레이크(Fail-Closed Gate)다.”
브레이크가 고장 난 스포츠카는 서킷 위를 달리는 흉기에 불과합니다. 10월 21일 아침, 봇이 스스로 주문을 멈추고 보낸 붉은색 ALERT M3 경보는 실패의 기록이 아니라, 제가 만든 안전장치가 실전에서 제 몫을 해냈음을 알리는 가장 반가운 신호였습니다.
이제 멈춰 섰던 장부를 단단하게 정비했으니, 다음 단계에서는 이 dipx 레버리지 딥 매수 전략을 우리의 공식 백테스터와 2차 독립 감사 심판대 위에 올려놓고 그 진짜 실력을 낱낱이 파헤쳐 보겠습니다.
본 포스트는 실전 자동매매 시스템 dipx를 개발하고 운영하며 겪은 엔지니어링 시행착오와 아키텍처 설계 과정을 기록한 기술 일지입니다. 특정 종목이나 투자 기법에 대한 매수/매도 추천이 아니며, 모든 투자의 최종 책임은 투자자 본인에게 있습니다.