[2026.11.12] Cloud Run 워드프레스 OOM 장애 역추적 및 인프라 최적화 (취약점 스캐너 봇과 404 메모리 폭주 대응)

BUILD LOG · 2026.11.12 · ⏱️ 11 min read

엔지니어링 일지 요약: 새벽 시간대 GCP 알림 메일로 촉발된 Cloud Run 워드프레스 OOM(Out of Memory) 장애를 GCP Logging 텔레메트리로 정밀 역추적하여, 취약점 스캐너 봇의 404 난타와 워드프레스 풀 템플릿 렌더링, 그리고 Apache prefork 동시성 설정 간의 연쇄 충돌 메커니즘을 규명하고, Cloud Run 스펙 최적화(Memory 1GiB & Concurrency 20) 및 Cloudflare WAF 엣지 방어선을 확립한 아홉째 날의 기록입니다.


1. 장애 감지와 역추적 (Telemetry & Root Cause Analysis)

1.1 사건의 발단: GCP 긴급 시스템 메일

평온하던 새벽 시간대, GCP 시스템으로부터 인스턴스 비정상 상태 관련 이메일 알림이 수신되었습니다. 에이전트 관제탑(ai-profit-master)에서 즉시 GCP Logging(wordpres-...)을 조회한 결과, 다음과 같은 심각도 ERROR 이벤트가 불과 몇 분 간격으로 연쇄 발생하고 있었습니다:

TIMESTAMP: 2026-11-12T03:11:05.943602Z
SEVERITY: ERROR
TEXT_PAYLOAD: Memory limit of 512 MiB exceeded with 513 MiB used. 
Consider increasing the memory limit, see https://cloud.google.com/run/docs/configuring/memory-limits

TIMESTAMP: 2026-11-12T03:11:06.291875Z
TEXT_PAYLOAD: [mpm_prefork:notice] [pid 1:tid 1] AH00169: caught SIGTERM, shutting down

인스턴스 할당 메모리였던 512 MiB를 미세하게 초과(513~526 MiB)하면서 cgroup에 의해 컨테이너가 즉시 강제 종료(SIGTERM)되고, 콜드스타트 복구가 반복되는 전형적인 OOM CrashLoop 징후였습니다.

1.2 타임라인 역추적: 스캐너 봇의 404 퍼징(Fuzzing) 공격

03:07부터 03:11까지의 HTTP 접근 로그(run.googleapis.com/requests)를 초 단위로 정렬해 역추적하자, 명확한 트리거가 포착되었습니다. 불특정 외부 IP에서 다음과 같은 민감 설정 파일과 취약점 경로를 초당 수 회씩 연속으로 찌르는 자동화 스캐너 봇의 공격이 진행되고 있었습니다:

  • GET /phpinfo.php (404)
  • GET /info.php, GET /php.php, GET /pinfo.php (404)
  • GET /test.php (404)
  • GET /firebase-adminsdk.json (404)
  • GET /firebase-key.json (404)

2. 장애 발생 메커니즘 (Why It Happened)

서버리스 환경에서 단순한 404 Not Found 요청이 왜 컨테이너 사망으로 이어졌는가? 세 가지 기술적 요인이 결합된 결과였습니다:

취약점 스캐너 404 퍼징 공격과 Apache Prefork OOM 장애 연쇄 메커니즘
취약점 스캐너 404 퍼징 공격과 Apache Prefork OOM 장애 연쇄 메커니즘
도식 원본 보기
flowchart TD
    subgraph Incident_Mechanism["OOM 장애 발생 연쇄 메커니즘"]
        A["외부 해커 취약점 스캐너 봇<br/>(/firebase-adminsdk.json, /phpinfo.php 등)"] 
        -->|"초당 다중 요청 폭주"| B["Cloud Run 단일 컨테이너 인입<br/>(기존 Concurrency: 80 허용)"]
        
        B -->|"동시 인입마다 프로세스 Fork"| C["Apache mpm_prefork 워커 급증<br/>(프로세스당 60~80 MiB RAM 소모)"]
        
        C -->|"존재하지 않는 파일 처리"| D["WordPress 코어 동적 404 렌더링<br/>(PHP + Kadence 테마 + DB 쿼리 구동)"]
        
        D -->|"요청 1건당 143 KB 풀 HTML 생성"| E["순간 총 메모리 513~526 MiB 돌파"]
        
        E -->|"cgroup 한도(512 MiB) 초과"| F["🚨 Cloud Run SIGTERM 강제 킬<br/>(OOM Outage & 재부팅)"]
    end
  1. 워드프레스의 무거운 404 동적 렌더링:

정적 웹서버(Nginx 등)는 존재하지 않는 파일 요청 시 몇 바이트의 경량 에러 헤더만 반환합니다. 하지만 워드프레스는 404 처리 시에도 코어 엔진, 활성화된 테마(Kadence), 플러그인, 헤더/푸터 위젯을 전부 실행하여 무려 143,684 바이트(약 143 KB)에 달하는 완전한 HTML 페이지를 매번 동적으로 연산합니다.

  1. Apache MPM Prefork와 동시성(Concurrency) 불균형:

Cloud Run의 기본 동시성 설정은 단일 컨테이너당 최대 80개(containerConcurrency: 80)로 설정되어 있었습니다. 그러나 Apache의 mpm_prefork 아키텍처는 동시 요청마다 별도의 자식 프로세스를 생성합니다. 워드프레스 프로세스가 1개당 약 70MB를 소모하므로, 스캐너 봇에 의해 7개 이상의 워커만 동시에 포크되어도 500MB를 넘어 512MB 한도를 즉시 초과하게 됩니다.


3. 인프라 최적화 및 엣지 방어 전략 (Solutions & Implementation)

3.1 Cloud Run 인프라 스펙 최적화 (배포 완료)

단일 컨테이너가 무리하게 동시 요청을 떠안다 폭사하는 구조를 원천 차단하기 위해, 컨테이너 스펙을 즉시 재조정하여 배포를 완료했습니다:

gcloud run services update wordpress 
  --project=<GCP_PROJECT_ID> 
  --region=us-west1 
  --memory=1Gi 
  --concurrency=20
설정 항목 기존 (AS-IS) 변경 후 (TO-BE) 기술적 효과
메모리 한도 512MiB 1GiB 워커 프로세스 복수 구동 시 안전 마진 2배 확보 (GCP 무료 티어 범위 내 비용 0원)
컨테이너 동시성 80 20 동시 요청이 20개를 넘으면 컨테이너가 죽지 않고 안전하게 새 인스턴스로 수평 확장(오토스케일)
배포 리비전 wordpress-00165-rgd wordpress-00166-82v 100% 트래픽 무중단 전환 완료
Cloudflare 2중 방어선과 Cloud Run 리소스 최적화 매트릭스
Cloudflare 2중 방어선과 Cloud Run 리소스 최적화 매트릭스
도식 원본 보기
flowchart LR
    subgraph TO_BE_Architecture["최적화된 2중 방어선 아키텍처"]
        R1["정상 독자 / SEO 크롤러"] -->|"정상 URL"| CF["Cloudflare 엣지 WAF"]
        R2["악성 스캐너 봇 (.env, .json 등)"] -->|"공격 시도"| CF
        
        CF -->|"Custom WAF Rule: 0ms 차단"| Drop["❌ 403 Forbidden<br/>(백엔드 도달 0%)"]
        CF -->|"정상 트래픽 안전 통과"| CR["Cloud Run (1GiB / Concurrency 20)"]
        
        CR -->|"안정적 PHP 서빙"| WP["WordPress 쾌속 응답 (200 OK)"]
    end

3.2 Cloudflare 방화벽(WAF)과 LLM 검색 봇에 관한 심층 고찰

봇 트래픽을 제어할 때 흔히 고려하는 Bot Fight Mode와 관련하여, 아키텍처 관점에서 중요한 2가지 의문과 해법을 정리했습니다:

Q1. Bot Fight Mode는 비용이 드는가?

  • 완전 무료(Free Plan 포함)입니다. 유료 플랜에 제공되는 고급 설정(Super Bot Fight Mode)과 달리, 기본 토글형 Bot Fight Mode는 Cloudflare 무료 계정에서도 영구 무료로 제공됩니다.

Q2. Bot Fight Mode를 켜면 LLM(ChatGPT, Perplexity 등)에서 내 블로그를 탐색/인용하지 못하나?

  • 기본 검색 봇은 안전하며, 최신 Cloudflare AI 접근 정책 3분류(Search / Agents / Training)를 통해 정밀 제어할 수 있습니다.
  • 구글봇(Googlebot), 빙(Bingbot) 등 메이저 검색엔진은 Cloudflare의 ‘검증된 봇(Verified Bots)’ 화이트리스트에 등록되어 있어 기본적으로 통과됩니다.
  • 또한 Cloudflare는 최근 단순 차단 스위치에서 한 단계 더 나아가 AI Crawler and Agent access policies 체계를 도입했습니다:
  • Search (권장: disabled / 허용): Googlebot, Bingbot, PerplexityBot 등 검색 색인 및 AI 실시간 답변 생성을 위한 봇. 차단 시 검색 엔진 및 AI 인용 기회가 상실되므로 반드시 차단 해제 상태를 유지합니다.
  • Agents (권장: disabled / 허용): 독자가 ChatGPT, Claude 등 대화형 AI 어시스턴트에 블로그 글 링크를 주었을 때 대신 방문하여 읽어오는 대리 봇.
  • Training (선택: disabled 또는 Block): 사전학습용 대규모 수집 크롤러. 모델의 자체 지식 풀에 포함되길 원하면 허용, 무단 크롤링 방지를 원하면 차단합니다.

💡 채택한 2중 엣지 방어 전략: Bot Fight Mode(ON) + WAF Rule(Block) + AI Policies(Search/Agents 허용)

다각도의 검토 끝에 2가지 조치를 결합한 ‘하이브리드 2중 방어선’을 구축했습니다:

  1. 무료 Bot Fight Mode 활성화 (ON) 및 AI 정책 최적화:
    • 대시보드 Security > Bots > Bot Fight Mode를 활성화하여 대규모 자동화 악성 스크립트를 1차 스크리닝합니다.
    • AI Crawler and Agent access policies: Search와 Agents는 disabled (허용)로 유지하여, Google/Bing은 물론 ChatGPT, Perplexity 등 차세대 AI 검색 엔진의 인덱싱과 독자 대리 방문을 100% 보존합니다.
  2. 정밀 Custom WAF Rule (Block Vulnerability Scanners) 등록:
    • 규칙 명: Block Vulnerability Scanners
    • 표현식 (Expression):
     (http.request.uri.path contains "firebase" or 
      http.request.uri.path contains ".env" or 
      http.request.uri.path contains "phpinfo" or 
      http.request.uri.path contains "pinfo.php" or 
      http.request.uri.path contains "test.php")
  • 동작 (Action): Block (403 Forbidden)
  • 효과: 정상 독자와 검색엔진/LLM 크롤러는 100% 정상 열람되며, 해커 스캐너 봇의 무차별 404 시도만 Cloudflare 엣지에서 0ms로 즉시 차단되어 Cloud Run 서버에는 단 1건의 부하도 전달되지 않습니다.

📌 Track 01 공식 인프라 포스트 연동:
오늘 검증된 GCP Cloud Run 스펙 최적화(1GiB/Concurrency 20)와 Cloudflare 2중 보안(WAF 3종 + Bot Fight Mode) 설정은 공식 인프라 구축기인 Track 01 [Lap 04] Cloudflare WAF와 컨테이너 PHP 5중 보안 설계 및 전용 장애 복기 포스트인 [[Track 01 / 1차 Pit-In] 취약점 스캐너 봇과 Cloud Run OOM 장애 복기](/2026/11/12/track-01-pit-in-01-cloud-run-oom-and-bot-defense/)에도 즉시 영구 반영되었습니다.


4. 완료 산출물 및 인프라 상태

  • 인프라 패치 배포 완료:
  • Cloud Run wordpress: Memory 1GiB, Concurrency 20 적용 (wordpress-00166-82v)
  • 실서버 상태: 정상 서빙 중 (100% Traffic serving)
  • Track 01 연동 반영:
  • docs/track-01-posts/lap-4-cloudflare-waf-and-ai-security.md: WAF 3종 및 Cloud Run 스펙 최적화 섹션 통합 완료
  • 기록 및 자산 동기화:
  • 관제탑 일일 구축 브리프: logs/daily_briefs/2026-11-12_day-08_part-01_brief.md
  • 블로그 문서 동기화: wordpress/docs/build-log-briefs/2026-11-12_day-08_part-01_brief.md
  • 블로그 발행 포스트 원고: wordpress/docs/build-log-posts/day-08-cloud-run-oom-postmortem-and-bot-defense.md

Similar Posts

Leave a Reply

Your email address will not be published. Required fields are marked *