2023 년 9 월, 프로덕션 서버의 모니터링 대시보드가 수직으로 뚝뚝 올라갔다. 평소보다 3 배나 급증한 입출력량 신호는 예상치 못한 버전 업그레이드 이후였다. 특히 Apache Superset 2.0 릴리스 직전 PyPI 에서 사라진 RC3 빌드를 테스트했을 때, 그 차이가 가장 극명하게 드러났다.
`superset`, `dashboard`, `monitoring-graph`, `disk-io-spike`, `redis-oom-risk`, `sre-engineering`, `production-alert`, `version-upgrade-issue`, `2023-fall`, `k8s-pod-health`
우리가 그때 가장 궁금했던 건 왜 빌드가 삭제되었는지였다. 보안 취약점 때문일지, 아니면 단순한 성능 누수였는지를 구분해야 했다. 결과적으로 메타데이터 노드에서 발생하는 비효율적인 캐시 충돌이 주요 원인이라는 걸 알 수 있었다. 단순히 코드만 고치는 게 아니라 인프라 리소스 할당에 대한 재검토가 필요했다.
다음으로 중요한 건 업그레이드 전 확인 체크포인트였다. 데이터베이스 백엔드를 어떻게 설정하느냐에 따라 부하 분산 결과가 완전히 달라졌다. 특히 자주 쿼리되는 테이블에 대한 인덱싱 상태를 먼저 파악하지 않으면, 예상치 못한 메모리 오버헤드가 발생할 수 있다.
`version-comparison`, `performance-metrics`, `pre-check-list`, `query-optimization`, `in-memory-cache`, `load-testing-results`, `infrastructure-cost`, `data-visualization-tools`, `rc-build-analysis`, `stability-test`
결론적으로 단기적으로는 패치 적용으로 안정성을 되찾을 수 있었다. 하지만 장기적으로는 특정 마이너 버전 업그레이드 시 발생할 수 있는 리소스 과부하를 미리 예측하는 프로세스가 정착되어야 했다. 이번 경험을 통해 알게 된 건, 오픈소스 도구를 도입할 때 기능보다 내부 동작 원리를 더 잘 이해해야 한다는 점이다.
다음 버전에서도 같은 패턴이 반복되지 않도록, 모니터링 지표와 성능 테스트 시나리오를 구체화했다. 결국 팀원들과 공유한 건 단순한 코드 수정이 아니라, 시스템의 숨겨진 비용을 줄이는 방법론이었다.