[1차 Pit-In] 취약점 스캐너 봇 공격과 Cloud Run OOM 장애 복기

“월 유지비 0원을 목표로 정밀하게 설계했던 서버리스 인프라가 운영 2주 만에 첫 번째 긴급 점검 신호를 보냈습니다.”
평온하던 새벽 시간대, Google Cloud 시스템으로부터 인스턴스 비정상 종료를 알리는 경보 이메일이 수신되었습니다. Lap 01에서 무과금 한도를 유지하기 위해 다소 타이트하게 설정해 두었던 Cloud Run 메모리(512MiB)가 외부 취약점 스캐너 봇의 무차별 404 퍼징(Fuzzing) 공격을 받아 한도를 미세하게 초과(513~526MiB)하면서 컨테이너가 강제 종료(SIGTERM)된 것입니다.

이번 글에서는 새벽 시간대 발생한 OOM 장애의 근본 원인을 GCP Logging 텔레메트리로 정밀 역추적한 분석 과정과, Cloud Run 스펙 최적화(Memory 1GiB & Concurrency 20) 및 Cloudflare 2중 방어선(Bot Fight Mode + Custom WAF Rule)을 통해 AI 검색엔진(LLM) 크롤러의 인덱싱을 100% 보존하면서 악성 트래픽을 엣지에서 0ms로 소멸시킨 첫 실전 피트인(Pit-In) 점검 기록을 정리합니다.


1. 긴급 경보: 단 1MB 차이로 쓰러진 서버리스 컨테이너

사건의 시작은 이메일 한 통이었습니다. Google Cloud 시스템 알림을 확인하고 곧바로 Cloud Logging 콘솔을 조회하자, 불과 몇 분 간격으로 심각도 ERROR 이벤트가 연속으로 기록되어 있었습니다.

TIMESTAMP: 2026-11-12T03:11:05.943602Z
SEVERITY: ERROR
TEXT_PAYLOAD: Memory limit of 512 MiB exceeded with 513 MiB used. 
Consider increasing the memory limit, see https://cloud.google.com/run/docs/configuring/memory-limits

TIMESTAMP: 2026-11-12T03:11:06.291875Z
TEXT_PAYLOAD: [mpm_prefork:notice] [pid 1:tid 1] AH00169: caught SIGTERM, shutting down

TIMESTAMP: 2026-11-12T03:11:06.255110Z
SEVERITY: INFO
TEXT_PAYLOAD: Starting new instance. Reason: AUTOSCALING - Instance started due to configured scaling factors...

로그에 찍힌 숫자는 당혹스러울 정도로 명확했습니다. 당시 할당되어 있던 메모리 한도 512 MiB를 불과 1MB 넘긴 513 MiB가 사용되면서 리눅스 커널의 cgroup OOM(Out of Memory) 킬러가 작동했고, Cloud Run 런타임이 즉시 컨테이너에 SIGTERM 신호를 보내 프로세스를 강제 종료시킨 것입니다.

그 직후 오토스케일링이 새 인스턴스를 콜드스타트로 기동했지만, 취약점 스캐너의 공격이 이어지면서 몇 분 뒤 동일한 에러가 2차, 3차로 반복 발생하며 서비스 순단이 일어났습니다.


2. 장애 역추적: 왜 단순한 404 요청이 메모리 폭탄이 되었을까?

03:07부터 03:11까지의 HTTP 접근 로그(run.googleapis.com/requests)를 초 단위로 정렬해 역추적하자, 외부에서 발생한 비정상적인 트래픽 흐름이 명확히 드러났습니다.

발생 시각 (UTC) 요청 경로 (URI) HTTP 상태 응답 용량 원인 분석
03:07:55 GET /phpinfo.php 404 143,684 B 해외 취약점 탐색 봇 공격 시작
03:08:03 ~ 03:08:25 GET /info.php, /php.php, /pi.php, /test.php 404 143,684 B 초당 2~3회 연속적인 설정 파일 스캔
03:08:53 🚨 1차 OOM Crash ERROR – Memory limit of 512 MiB exceeded with 512 MiB used
03:10:24 🚨 2차 OOM Crash ERROR – Memory limit of 512 MiB exceeded with 514 MiB used
03:11:05 GET /firebase-adminsdk.json 404 143,684 B Firebase 서비스 계정 키 탐색 공격
03:11:05.94 🚨 3차 OOM Crash & 강제 종료 ERROR – Memory limit of 512 MiB exceeded with 513 MiB used

해외 IP 대역에서 널리 알려진 PHP 관리자 설정 파일과 Firebase 서비스 계정 비밀키 등을 무차별로 찔러보는 자동화 퍼징(Fuzzing) 공격이었습니다. 그런데 서버에 존재하지도 않는 정적 경로를 요청했으니 당연히 404 Not Found 에러가 반환되었는데, 왜 이것이 서버 메모리를 전부 집어삼켰을까요?

원인 1: 워드프레스의 무거운 404 풀 템플릿 연산

Nginx 같은 순수 경량 웹서버는 존재하지 않는 파일 요청이 오면 1KB 미만의 간단한 헤더만 반환하고 즉시 연결을 닫습니다.

하지만 워드프레스는 구조가 다릅니다. 존재하지 않는 정적 파일 요청도 웹서버를 거쳐 워드프레스 코어로 인입되면, 코어 엔진(wp-load.php) 부트스트랩, 활성화된 테마(Kadence), 플러그인, 헤더/푸터 위젯을 전부 실행하여 무려 143KB(143,684 바이트)에 달하는 완전한 HTML 페이지를 매번 PHP 런타임에서 새로 연산합니다. 공격 봇의 404 요청 1건이 일반 게시글 조회 1건보다 더 많은 CPU와 RAM을 소모했던 것입니다.

원인 2: Apache MPM Prefork와 Concurrency 80의 구조적 불균형

Lap 01에서 설정했던 Cloud Run의 기본 동시성은 단일 컨테이너당 최대 80개(containerConcurrency: 80)였습니다.

그러나 워드프레스 공식 도커 이미지의 웹서버인 Apache는 요청마다 프로세스를 복제하는 mpm_prefork 방식을 사용합니다. 워드프레스 PHP 프로세스 1개는 기본적으로 약 65~80MB의 RAM을 점유합니다.

공격 봇이 초당 여러 개의 요청을 동시에 쏟아붓자, Apache는 이를 처리하기 위해 순식간에 6~7개의 자식 프로세스를 띄웠습니다. 70MB x 7개 = 490MB로 이미 메모리가 임계치에 도달한 상태에서 다음 요청이 들어오는 순간 513MB를 넘어서며 커널 cgroup에 의해 강제 종료된 것입니다. 단일 컨테이너가 무리하게 80개까지 동시 요청을 소화하려다, 수평 확장(오토스케일)이 제때 이루어지기도 전에 먼저 쓰러지는 병목이 발생했습니다.


3. 핵심 아키텍처 도식: 장애 메커니즘 역추적 청사진

취약점 스캐너 404 퍼징 공격과 Apache Prefork OOM 장애 연쇄 메커니즘
취약점 스캐너 404 퍼징 공격과 Apache Prefork OOM 장애 연쇄 메커니즘
도식 원본 보기
flowchart TD
    subgraph Incident_Flow["1. 장애 발생 흐름 (AS-IS)"]
        A["해외 취약점 스캐너 봇<br/>(/firebase-adminsdk.json, /phpinfo.php)"] -->|"초당 다중 퍼징 공격"| B["Cloud Run 컨테이너 인입<br/>(동시성 한도 80 허용)"]
        B -->|"동시 요청마다 워커 Fork"| C["Apache mpm_prefork 프로세스 급증<br/>(프로세스당 70 MiB 소모)"]
        C -->|"404 동적 연산"| D["WordPress 풀 404 HTML 생성<br/>(요청당 143 KB 동적 렌더링)"]
        D -->|"메모리 513~526 MiB 폭주"| E["🚨 cgroup OOM 강제 킬<br/>AH00169: caught SIGTERM"]
    end

    subgraph Defense_Flow["2. 최적화된 방어 아키텍처 (TO-BE)"]
        F["해외 취약점 스캐너 봇"] -->|"민감 경로 탐색 시도"| G["Cloudflare Custom WAF Rule<br/>(URI: .env, .json, phpinfo 등)"]
        G -->|"0ms 엣지 차단 (403 Block)"| H["❌ 백엔드 인입 0% (차단 완료)"]
        
        I["정상 독자 & LLM 크롤러<br/>(Google, GPTBot, Perplexity)"] -->|"정상 콘텐츠 접근"| J["Cloudflare 엣지 통과"]
        J -->|"동시성 20 제한 분산 인입"| K["Cloud Run 인스턴스 (1 GiB)"]
        K -->|"안정적 PHP 서빙 & 자동 오토스케일"| L["✅ 200 OK 무중단 쾌속 응답"]
    end

4. 인프라 처방: Cloud Run 리소스 스펙 최적화

원인이 확인된 즉시, 단일 컨테이너가 무리하게 부하를 떠안지 않고 수평 확장이 자연스럽게 일어나도록 Google Cloud Run 메모리 한도 가이드와 동시성(Concurrency) 가이드에 맞춰 핵심 리소스 스펙을 재조정했습니다.

gcloud run services update wordpress 
  --project=<GCP_PROJECT_ID> 
  --region=us-west1 
  --memory=1Gi 
  --concurrency=20
설정 파라미터 기존 설정 (AS-IS) 최적화 설정 (TO-BE) 변경 근거 및 기술적 기대효과
메모리 한도 (Memory) 512MiB 1GiB 워커 프로세스가 10개 이상 포크되어도 넉넉한 안전 마진 확보 (GCP 무료 할당량 내 무과금)
동시성 (Concurrency) 80 20 동시 요청 20개 초과 시 컨테이너가 다운되지 않고 즉시 새 인스턴스로 안전하게 오토스케일링 유도
CPU 한도 (vCPU) 1 vCPU 1 vCPU 유지 (CPU 병목 없음 확인)
배포 리비전 wordpress-00165-rgd wordpress-00166-82v 무중단 100% 트래픽 안전 전환 완료

Cloud Run은 매월 2백만 회의 무료 요청과 360,000 GiB-초의 vCPU/메모리 무료 할당량을 제공합니다. 현재 블로그 트래픽 규모에서 메모리를 1GiB로 올리더라도 무료 티어 한도 안에 넉넉히 머무르므로, 추가 과금 없이 안정성을 극대화할 수 있었습니다.


5. 엣지 방어선 확립: Cloudflare 2중 방어와 LLM 검색봇 공존 전략

인프라 스펙을 올렸더라도, 악성 스캐너의 404 트래픽이 백엔드 Cloud Run까지 도달하게 두는 것은 자원 낭비입니다. 공격 트래픽은 오리진에 닿기 전 Cloudflare WAF 엣지에서 정리해야 합니다.

여기서 한 가지 중요한 기술적 고민이 있었습니다:

“봇을 막겠다고 무턱대고 방화벽 차단 강도를 올렸다가, 최근 중요한 유입 경로가 된 ChatGPT, Perplexity 같은 AI 검색엔진의 크롤러까지 차단되면 어쩌지?”

이 문제를 해결하기 위해 무료 Bot Fight Mode와 정밀 Custom WAF Rule을 결합한 2중 방어 체계를 세웠습니다.

Cloudflare 2중 방어선과 Cloud Run 리소스 최적화 매트릭스
Cloudflare 2중 방어선과 Cloud Run 리소스 최적화 매트릭스
도식 원본 보기
flowchart LR
    subgraph Edge_Defense["Cloudflare 엣지 2중 방어선"]
        T1["정상 방문자 & AI Search/Agent 봇"] -->|"통과"| WP["Cloud Run (1GiB)"]
        T2["대규모 악성 스크립트 봇"] -->|"1차 스크리닝"| BFM["Bot Fight Mode (ON)<br/>(Search / Agents: disabled 허용 유지)"]
        T3["취약점 스캐너 (.env, .json 등)"] -->|"2차 핀포인트 저격"| WAF["Custom WAF Rule<br/>(Block 403 Forbidden)"]
        
        BFM -->|"자동화 봇 챌린지"| DROP1["❌ 접근 차단"]
        WAF -->|"0ms 즉시 차단"| DROP2["❌ 백엔드 도달 차단"]
    end

① 1차 방어선: 무료 Bot Fight Mode 및 최신 AI 정책 3분류 체계

  • 설정 위치: Cloudflare 대시보드 > Security > Bots (또는 Security > Settings의 AI Crawler and Agent access policies)
  • 비용: 무료 플랜(Free Plan) 포함 완전 무료 ($0.00)
  • 핵심 불변 원칙: Cloudflare는 단순한 일괄 차단에서 진화하여, 최근 AI 자동화 트래픽을 3대 행동 양식(Search, Agents, Training)으로 정밀 분리 제어하는 AI Crawler and Agent access policies를 제공합니다. 각각의 의미와 최적 설정은 다음과 같습니다:
AI 정책 분류 공식 정의 및 대상 봇 권장 설정 기술적 설정 근거 및 아키텍처 효과
1. Search Bots that scan your site to help it appear in search engine results.
(Googlebot, Bingbot, PerplexityBot, SearchGPT 등)
disabled
(차단 해제 / Allow)
[필수] 전통적 검색 엔진 색인은 물론, 차세대 AI 답변 엔진(GEO)에서 내 글이 추천·인용될 기회를 100% 보존합니다.
2. Agents Agents that access your site on behalf of a person.
(ChatGPT Web Browsing, Claude Web Fetch 등)
disabled
(차단 해제 / Allow)
[필수] 독자가 AI 챗봇에 블로그 URL을 공유하며 요약이나 해설을 요청할 때, 대리 봇의 접근이 거부되지 않고 정상 동작하도록 보장합니다.
3. Training Crawlers that crawl content to train AI models.
(Common Crawl, CCBot 등 모델 사전학습 수집 봇)
disabled 또는 Block
(선택 사항)
블로그 콘텐츠가 파운데이션 모델에 더 깊이 학습되길 원하면 disabled(허용)를 유지하고, 무단 데이터셋 수집 방지와 대규모 크롤링 트래픽 절감을 원하면 Block/Disallow를 선택합니다.

전통적인 검색엔진과 유익한 AI 검색봇은 안전하게 통과시키되, 순수 악성 스크립트와 취약점 공격만 2차 방어선에서 정밀 격리하는 것이 핵심입니다.

② 2차 방어선: Custom WAF Rule 핀포인트 저격

공격 봇이 자주 노리는 파일 경로를 Cloudflare 엣지에서 정밀 타격하여 0ms 만에 403으로 차단하는 방화벽 규칙을 배포했습니다:

  • 규칙 명: Block Vulnerability Scanners
  • 표현식 (Expression):
  (http.request.uri.path contains "firebase" or 
   http.request.uri.path contains ".env" or 
   http.request.uri.path contains "phpinfo" or 
   http.request.uri.path contains "pinfo.php" or 
   http.request.uri.path contains "test.php")
  • 동작 (Action): Block (403 Forbidden)

이제 스캐너 봇이 /firebase-adminsdk.json을 찌르면 Cloudflare 서울 엣지에서 즉시 403 에러로 차단되며, Cloud Run 백엔드 컨테이너에는 단 1바이트의 트래픽도 도달하지 않습니다.


6. 첫 피트인을 마치며: 서버리스 워드프레스가 남긴 교훈

시스템을 직접 구축하고 운영하다 보면 책이나 공식 문서에서는 미처 다루지 않는 현실적인 변수들과 마주하게 됩니다. 이번 1차 피트인을 통해 얻은 교훈은 크게 세 가지입니다:

  1. 서버리스 워드프레스에서 404는 단순한 에러가 아니라 ‘고비용 연산’이다:

정적 웹서버와 달리 워드프레스 코어로 떨어지는 404 요청은 143KB 풀 HTML을 렌더링하며 일반 페이지보다 더 많은 메모리를 소모합니다. 404 탐색 공격을 앞단에서 끊어내지 못하면 서버리스 백엔드는 쉽게 무너집니다.

  1. 동시성(Concurrency) 수치는 런타임의 성격에 맞춰야 한다:

Node.js나 Go의 가벼운 이벤트 루프에서는 동시성 80이 가볍지만, 무거운 프로세스를 복제하는 Apache prefork + PHP 환경에서 동시성 80은 병목의 원인이 됩니다. Concurrency를 20으로 낮추자 비로소 컨테이너가 죽지 않고 안전하게 오토스케일링을 수행할 수 있게 되었습니다.

  1. 보안과 SEO/AI 인덱싱의 균형 잡기:

봇을 막겠다고 무분별하게 차단 스위치를 누르면 최신 검색 트래픽의 핵심인 LLM 크롤러까지 차단되는 부작용이 생깁니다. Bot Fight Mode와 정밀 WAF 규칙을 분리해 운용하는 하이브리드 전략이 필수적입니다.

인프라는 한 번 구축하고 끝나는 고정된 구조물이 아니라, 운영 과정에서 관측되는 데이터를 바탕으로 세밀하게 조율해 나가는 살아있는 시스템이라는 점을 깊이 실감한 첫 피트인이었습니다.


🔗 관련 인프라 엔지니어링 기록 포스트

Similar Posts

Leave a Reply

Your email address will not be published. Required fields are marked *