[Redis] "org.redisson.client.RedisException: MOVED redirection loop detected."

상황

 

• 갑자기 결제 관련된 부분에서 간헐적으로 500 에러가 뜨기 시작했다.
• 분명 추가로 배포한 사항도 없는데 무수한 에러를 뱉어내고 있었다.
• 에러 로그는 결제가 실패했다고만 뜨고있어서, 결제가 실패한 시간대의 로그를 살펴보니 아래와 같은 에러를 뱉어냈다. 

 

 

구글링을 해보아도 특별히 해결 방법이 많이 나오지 않는다. Redis 버전이 문제가 있을 수 있다고 이야기 한다. 

 

 

추측

 

• 결제시 마이그레이션 된 유무를 파악하기위해 Redis를 쓰고 있었다.  
• 해당 시점은 마이그레이션이 끝나고 난 이후기 때문에 우선 Redis를 사용하고있는 모든 로직을 걷어내기 시작했다. 

 

 

원인

 

• aws > 샤드 및 노드가 1개 추가되어 있었다. aws > 이벤트 또한 수정되어 있었다. 
• 타 회사와 협업을 하면서 aws 계정을 공유하는데 수정 권한이 있었는지 우리 Redis 관련 설정을 실수로 건들였다. 
• 수정해주신 이후에는 해당 에러를 뱉지 않았다. (모니터링 더 해봐야 알겠지만)

 

 

회고

 

• Redis 관련 로직을 모두 걷어내면 에러를 뱉지는 않았을 것이라고 추측된다. 
• 배운점은 500에러가 오면 해당 로직에 대한 에러로그만 보는것이 아니라, 그 시간대에 발생한 로그를 살펴봄으로써 문제에 대한 가능성을 넓게 보는것이 중요한 것 같다.
• 추가로 aws 관련 설정이 변경됨으로써 라이브 서비스에 이렇게 큰 영향이 올 줄은 몰랐다. 배포내역이 없는데 갑자기 서비스에 이상이 생긴다면 AWS 내에 이벤트를 살펴보는 것도 좋은 방법이겠다.