seon99il

Spring

트러블슈팅: HikariCP 데드락 탈출하기

3분 소요

HikariConnection Pool ERROR · Issue #144 · JeongSeonggil/SubMarket

1. 문제 정의

프로젝트를 서버에 배포했을 때, 특정 작업이 실행되는 데 너무 오래 걸리는 문제가 발생했습니다. 로컬 환경에서는 잘 동작했지만 서버에서 실행하면 문제가 생겼습니다.

2. 사실 수집

문제가 항상 발생하는 것은 아니지만, 가끔 발생한다는 것을 확인했습니다. 같은 로직을 실행해도 간헐적으로 발생합니다.

서버 로그를 확인해 보니 DB 커넥션이 타임아웃된 것을 발견했습니다.

Server Log

3. 원인 추론

DB 성능 문제

AWS 프리 티어 RDS의 스토리지를 SSD에서 Magnetic으로 변경하여 발생한 문제

JPA 무한 참조 문제

무한 참조로 인해 요청이 대기하는 문제

서버 간 네트워크 문제

서로 다른 서버 (Azure와 GCP)에 배포했기 때문에 발생하는 서버 간 네트워크 문제

커넥션 풀 문제

이슈를 찾아보던 중 발견

4. 해결책 작성 및 해결

DB 성능 문제에 대하여

처음에는 이것이 문제라고 확신했습니다. 하지만 SSD로 변경한 후에도 문제가 계속 발생했습니다.

JPA 무한 참조 문제에 대하여

각 서비스에 직접 요청해서 값을 확인한 결과, 무한 참조는 발생하지 않는 것을 확인했습니다.

서버 간 네트워크 문제에 대하여

컨트롤러에 로그를 남겨서 확인했습니다.

요청 직후 바로 로그가 출력되었으므로 서버 간에는 문제가 없었습니다.

커넥션 풀 문제에 대하여

확인해 보니, 일정 시간 동안 DB에 요청이 없으면 커넥션이 끊어졌습니다.

따라서 커넥션이 유효하다면 문제가 없었습니다. 또한 application.yml에 커넥션 풀 설정을 추가했습니다.

spring:
  datasource:
    url: jdbc:mariadb://{DB Path}?autoReconnect=true
    hikari:
      # 커넥션 최대 수명
      max-lifetime: 40000
      read-only: false
      connection-timeout: 9000
      # DB 커넥션 풀 최대 크기 : 8
      maximum-pool-size: 8
      # SQL 커넥션 테스트
      connection-init-sql: SELECT 1
      # 기본 커넥션 크기 : 4
      minimum-idle: 4
    dbcp2:
      # 커넥션을 가져올 때 검사
      test-on-borrow: true
      # 검증 쿼리
      validation-query: SELECT 1
      # 유휴 상태에서 검사
      test-while-idle: true

hikari

HikariCP는 가볍고 빠른 JDBC 커넥션 풀 프레임워크입니다. Spring Boot를 사용해 보셨다면 한 번쯤 들어보셨을 이름입니다. Spring Boot는 커넥션 풀 관리에 HikariCP를 사용합니다.

  • spring.datasource.hikari.max-lifetime=40000 커넥션의 최대 수명을 설정합니다
  • spring.datasource.hikari.maximum-pool-size: 10 유휴 커넥션과 사용 중인 커넥션을 포함하여 풀에 유지할 수 있는 최대 커넥션 수를 설정합니다.
  • spring.datasource.hikari.minimum-idle: 4 CP(Connection Pool)의 최소 커넥션 수
  • spring.datasource.hikari.connection-timeout: 9000 풀에서 커넥션을 얻기 위해 대기하는 최대 시간

Dbcp2

  • spring.datasource.dbcp2.test-on-borrow=true 풀에서 커넥션을 가져오기 전에 검증합니다
  • spring.datasource.dbcp2.validation-query=SELECT 1 유효한 커넥션인지 확인할 때 사용할 쿼리 가장 가벼운 SELECT 1을 사용합니다
  • spring.datasource.dbcp2.test-while-idle=true 유휴 상태에서 검증합니다

커넥션 풀 크기와 성능

“커넥션 풀이 클수록 좋을까?” 얼핏 보면 많을수록 유리해 보입니다. 하지만 커넥션 풀의 크기가 커넥션을 사용하는 스레드 수보다 크면, 사용되지 않는 커넥션이 생성되어 메모리가 낭비됩니다.

MySQL 공식 문서에서는 600명의 사용자를 처리하는 데 15~20개의 커넥션 풀이면 충분하다고 언급합니다. MySQL은 최대 커넥션 수를 무제한으로 설정한 뒤 부하 테스트를 수행하여 최적의 값을 찾을 것을 권장합니다.

풀 크기 설정 공식

pool size = Tn * (Cm - 1) + 1 Tn: 전체 스레드 수 Cm: 하나의 작업에서 동시에 필요한 커넥션 수

커넥션 풀의 크기와 성능에 대해 더 알고 싶다면 다음을 참고하세요. Number Of Database Connections

이전 글

전체 글 보기 →

댓글