관계자

@bichi kim , @bichi kim

시간 분석(Timeline)

Copy of Untitled

입은 피해 (Impact)

1/2 일 동안 서비스 동작 멈춤

근본 원인 (Root Causes)

외부 데이터 이상이 프로덕션 오류를 불렀다.

상황 요약 (Overview)

예기치 못한 외부 데이터 연결 부분에서 커넥션이 해지 되어 서버 루프를 나와 에러로 서버가 종료 되었습니다

잘된점

1. 롤백으로 문제 지점을 돌릴 수 있었다.

잘 못된 전

1. 외부 데이터에 대한 의존이 높고 완충 책이 없어 서비스가 꺼지는 사태를 발생 시켰다.

2. 1/2 일 동안 서비스 동작 멈추는 중 3시간동안 아무런 공지를 사용자들에게 하지 않았다.

배운점

1. 배포 전에 충분히 테스트 기간 필요.
2. 외부 데이터는 문제가 생길 경우가 높다.

개선 방법