Baseline — 정상 상태 기준 지표 측정
목적: 장애 주입 실험과 비교할 기준(baseline) 지표를 확정한다.
1. 개요
baseline은 이후 모든 장애 실험(Network Loss, Network Delay, Pod Failure, CPU Stress, Complex)의 비교 기준이 되는 정상 상태 지표다. 적절한 baseline 조건을 정하기 위해 동일/유사 조건으로 세 차례 측정을 진행했고, 그 결과를 비교해 최종 baseline을 선정했다.
2. 측정 시도
시도 | Rate | Duration | VUs | 비고 |
1차 | 20 req/s | 10m | 2 | HPA 고정 |
2차 | 20 req/s | 10m | 2 | HPA 스케일링 발생 |
3차 | 15 req/s | 10m | — | 최종 baseline |
결과 비교
지표 | 1차 (RPS20) | 2차 (RPS20) | 3차 (RPS15) |
총 요청 수 | 11,974 | 11,973 | 8,985 |
실패율 | 0.26% | 0.26% | 0.28% |
p50 latency | 2.80ms | 6.39ms | 1.98ms |
p90 latency | 17.72ms | 74.95ms | 8.37ms |
p95 latency | 45.20ms | 160.67ms | 21.66ms |
p99 latency | 173.06ms | 610.32ms | 65.61ms |
max latency | 1,511ms | 1,954ms | 337ms |
checks 통과율 | 99.46% | 97.83% | 99.83% |
HPA replica | 3 (고정) | 3 → 5 → 6 (스케일링 발생) | 3 (고정) |
p(95) < 200 | PASS | PASS | PASS |
p(99) < 500 | PASS | FAIL | PASS |
checks rate > 0.99 | PASS | FAIL | PASS |
Grafana 대시보드
baseline 1
baseline 2
baseline 3
3. 동일 조건 재현 실패 — RPS 20의 불안정성
1차와 2차는 동일한 20 RPS, 10분 조건으로 실행했지만 결과가 크게 달랐다. 1차는 모든 threshold를 통과했지만, 2차는 p99 latency와 checks rate threshold를 위반했다.
2차 실행의 Grafana 대시보드에서는 HPA replica가 3 → 5 → 6으로 증가하는 스케일링 이벤트가 관찰되었다. 같은 구간에서 CFS Throttling도 일시적으로 증가했고, k6 summary 기준 p99 latency는 610.32ms까지 상승했다.
이는 20 RPS 수준의 부하가 이 클러스터 환경에서 HPA 스케일링 경계에 걸쳐 있음을 보여준다. 같은 부하를 주더라도 실행 시점의 리소스 상태나 스케일링 타이밍에 따라 결과가 달라질 수 있으므로, 20 RPS는 장애 실험의 기준선으로 사용하기에 재현성이 낮다고 판단했다.
Baseline은 "장애가 없는 상태에서 시스템이 어떻게 동작하는가"를 고정된 기준점으로 잡는 것이 목적이므로, 실행마다 결과가 크게 달라지는 조건은 기준값으로 적합하지 않다고 판단했다.
4. Baseline 선정
위 관찰을 바탕으로 3차 측정(RPS 15) 을 baseline으로 채택했다.
지표 | 값 |
총 요청 수 | 8,985 건 |
실패율 | 0.28% (25건) |
p50 latency | 1.98ms |
p90 latency | 8.37ms |
p95 latency | 21.66ms  (< 200ms) |
p99 latency | 65.61ms (< 500ms) |
avg latency | 5.23ms |
max latency | 337ms |
checks 통과율 | 99.83% |
HPA replica | 3 (스케일링 없음) |
선정 이유는 다음과 같다.
•
모든 threshold(p95, p99, checks rate)를 안정적으로 통과했다.
•
HPA 스케일링이 발생하지 않아, 순수하게 정상 처리 능력만을 반영하는 지표다.
•
이후 진행한 Network Loss, Network Delay 등 장애 실험이 모두 RPS 15 조건으로 진행되었으므로, 부하 조건이 일치해 직접 비교가 가능하다.