Table Of Contents

0. 서론

1. Connection Pool이 무엇인가

2. Connection Pool이 왜 필요한가?

3. HikariCP의 주요 파라미터

4. 문제 분석

5. 후기 및 조치

6. 참고 문헌

 

클릭하시면 해당 content로 넘어갑니다.

 


 

 

0. 서론

 

지난주, 플랫폼 각 내부의 엔드포인트를 호출하여 각 서비스 및 데이터베이스가 살아있는지에 대해 모니터링 하는 Spring Boot Application에서 다음과 같은 에러 메시지를 보았다.

[WARN ] 2020-07-30 16:43:39 299545737 [PoolBase.java][isConnectionAlive](184) : HikariPool-1 - Failed to validate connection org.mariadb.jdbc.MariaDbConnection@23d06b10
(Connection.setNetworkTimeout cannot be called on a closed connection). Possibly consider using a shorter maxLifetime value.

[WARN ] 2020-07-30 16:43:39 299545737 [PoolBase.java][isConnectionAlive](184) : HikariPool-1 - Failed to validate connection org.mariadb.jdbc.MariaDbConnection@17387ed0
(Connection.setNetworkTimeout cannot be called on a closed connection). Possibly consider using a shorter maxLifetime value.

[WARN ] 2020-07-30 16:43:39 299545737 [PoolBase.java][isConnectionAlive](184) : HikariPool-1 - Failed to validate connection org.mariadb.jdbc.MariaDbConnection@709f57f6
(Connection.setNetworkTimeout cannot be called on a closed connection). Possibly consider using a shorter maxLifetime value.

[WARN ] 2020-07-30 16:43:39 299545737 [PoolBase.java][isConnectionAlive](184) : HikariPool-1 - Failed to validate connection org.mariadb.jdbc.MariaDbConnection@5b2ab008
(Connection.setNetworkTimeout cannot be called on a closed connection). Possibly consider using a shorter maxLifetime value.

 

 

 

위 에러 메시지를 의역하면 다음과 같다.

 

Failed to validate connection MariaDbConnection
MariaDB Connection의 유효성을 검증하는데 실패하였습니다.

(Connection setNetworkTimeout cannot be called on a closed connection)
(Connection setNetworkTimeout은 닫힌 connection에서 호출할 수 없습니다.)

Possibly consider usdig shorter maxLifetime value.
현재보다 더 짧은 maxLifetime 값을 사용하는 것을 고려해보시기 바랍니다.

 

사실, 위 메시지대로 maxLifetime값만 바꿔주면 뜨지 않을 warning message였지만, 내가 코드를 작성하였기 때문에, 끝까지 책임지고 고도화를 하고 싶었다.

 

위 warning이 왜 일어났는지에 대해 알기 앞서 Connection Pool이 무엇인지부터 알아보려고 한다.

 

 

 

 

1. Connection Pool이 무엇인가

Connection Pool은 Application(WAS, Container 등)이 실행되면서, DB와 Connection에 대해 정의된 객체를 여러개 저장하고 있다. Application이 DB와 Connection이 필요할 때, Connection Pool은 Connection 객체를 제공하며 DB Connection을 이용한 작업이 끝나게 되면 Connection 객체를 다시 회수받아 다른 작업시 Connection 객체를 사용할 수 있도록 수명 관리를 하게된다.

 

 

 

 

2. Connection Pool이 왜 필요한가?

 

다음 코드는 DB와 connection부터 시작해서 query실행, connection 종료까지의 샘플 코드이다.

try {
    sql = "SELECT * FROM SOME_TABLE";

    connection = DriverManager.getConnection(DB_URL, DB_USER, DB_PASSWORD);

    resultSet = connection.createStatement();

    resultSet = statement.executeQuery(sql);
    } catch (Exception e) {
    	logger.info(e.getMessage())
    } finally {
        connection.close();
        statement.close();
        resultSet.close();
    }
}

 

 

샘플 코드를 절차적으로 정리하면 다음과 같다.

1. DB Connection을 맺기 위해 JDBC Driver를 Load한다.
2. DB Connection Parameter를 이용하여 DB Connection 객체를 생성한다.
3. Connection 객체로부터 쿼리를 수행하기 위한 statement를 생성한다.
4. 쿼리를 수행하여 결과로 ResultSet 객체를 받아 필요한 데이터를 파싱하여 처리한다.
5. 처리가 끝나면 사용된 리소스를 반환한다.

 

위 절차 중 시간적인 cost가 가장 높은 부분은 connection 객체를 생성하는 부분이다. Connection을 생성할 시, DB와 파라미터 교환 뿐만 아니라 각 시스템에서 체크해야할 요소들이 많기 때문이다. 또한, 웹 어플리케이션은 클라이언트의 요청에 따라 스레드를 생성한다. 스레드를 생성할 때 마다 Connection 객체를 생성한다는 것은 물리적으로 계속하여 DB에 접근을 해야하는 것과 같으며 이는 곧 요청 수에 따라 Connection을 생성하게 되므로 서버에 과부하가 걸리기 쉽다.

 

이러한 상황을 방지하기 위해 미리 여유분의 Connection 객체를 만들어 Pool에 저장해놓았다가 클라이언트 요청이 생기면 Connection객체를 지원하주고, 작업 종료시 Connection 객체를 다시 반환하여 보관하는 방식으로 과도한 수의 Connection 객체가 생기는 것을 방지한다. 한번 맺은 DB Connection 객체를 작업이 끝나자마자 close하지 않고, Pool에 저장한 뒤, 다음 번에 동일한 Connection을 요청하면 바로 Pool에서 꺼내 제공을 함으로써 보다 개선된 Connection Time Cost를 보장해준다.

 

 

 

3. HikariCP의 주요 파라미터

서론의 에러메시지에서 문제가 된 파라미터의 기본값을 가장 먼저 찾아보기로 하였다. 이왕 이렇게 된 김에 HikariPool의 주요 파라미터들을 공부해보기로 했다.

HikariPool의 주요 파라미터는 다음과 같다.

 

  • autoCommit
    • 풀에서 반환된 connection의 자동 커밋을 설정한다.
  • connectionTimeout
    • 클라이언트가 connection으로부터 최대 대기할 수 있는 시간, 시간초과시 SQLException이 발생한다. 밀리세컨드 단위이며 최소 250ms, 디폴트 30000이다.
  • idleTimeout
    • Pool 안의 유휴 connection의 최대 유효기간을 설정한다. 이 설정은 minimumIdle이 maximumPoolSize보다 작을때만 적용되며, minimumIdle 값보다 pool안의 connection object의 개수가 작거나 같으면 유휴 연결이 폐기되지 않는다.
    • connection이 유휴상태로 전환되기까지 일반적으로 평균 15초에서 최대 30초까지의 시간이 추가로 걸린다. 이 시간이 초과되기 전까지는 connection이 유휴상태로 전환되지 않는다.
    • 최소 10000ms 값은 적용되어야 하며, 기본적으로 600000ms(10분)이 적용되어있다.
  • maxLifetime
    • Pool의 Connection의 최대수명을 제어한다. 현재 사용중인 connection은 폐기되지 않으며, connection이 closed상태일 때만 제거된다. Pool안에 존재하는 connection의 순간적인 대량 삭제를 방지하기 위해 약간의 음감쇠가 적용된다.
    • 의 공식문서를 보게되면, 이 파라미터를 데이터베이스 또는 인프라가 권고하는 connection time limit보다 짧게 잡을 것을 권장하고 있다.
    • idleTimeout에 따라 다르지만, 파라미터에 0을 setting하면 최대 생명주기는 infinite로 적용된다.
    • 최소 30000ms(30초) 값은 적용되어야 하며, 기본값으로 1800000(30분)이 적용되어 있다

 

  • minimumIdle
    • Connection Pool에서 유지하는 최소 유휴 Connection의 개수를 설정한다. 유휴 Connection이 minimumIdle 값보다 작을 시, HikariPool은 추가 connection을 만들어 채워넣는다.
    • HikariCP의 공식문서에서는 급격한 수요에 대해서 최상의 퍼포먼스와 반응성을 위해서 이 값을 수정하지 않고 사용하는 것을 권장하고 있다.
    • 기본 값은 maximumPoolSize와 같은 값으로 설정되어있다.
  • maximumPoolSize
    • Pool에서 유지할 유휴 connection, 사용중인 connection을 합친 최대의 connection 개수를 설정한다. 기본적으로 이 값은 실제 DB 벡엔드와의 연결 최대수를 결정한다.
    • Pool이 최대 사이즈에 도달했고, 유휴 Connection이 없을때 getConnection을 호출하면 connectionTimeout설정 값 전까지 getConnection이 지연되며, connectionTimeout을 초과시, SQLException이 발생한다.
    • 최적의 maximumPoolSize를 설정하는 것은 HikariPool을 적용한 환경에 대해 맞추는 것이 가장 좋으며, 이에 대해서는 다음 링크를 참고한다.

 

 

 

 

 

4. 문제 분석

 

위 주요 파라미터 중 우리가 주목해야 할 것은 HikarikPool의 maxLifetime과 DB 설정값 중의 wait_timeout이다. 

HikariPool이 적용된 환경은 따로 별도의 설정이 없었으며, connection을 맺고있는 DB의 설정은 다음과 같이 wait_timeout이 1200(20분)으로 설정되어 있었다.

 

 

 

서론에서의 로그는 HikariPool의 로그를 찍지 않고 있었기 때문에, HikariPool의 로그가 찍힌 화면을 다시 캡처해보았다.

 

 

위 로그를 보고 추측한 warning 원인은 다음과 같다.


  1. 위 로그에서는 보이지 않지만, 같은 MariaDbConnection 객체를 이용하여 commit을 하고 있었으며, 아래와 같이 Wrapping하고 있는 Proxy객체는 같지만, 본질적인 MariaDBConnection의 객체는 같은 것을 쓰고있었다.
    • [DEBUG] 2020-08-11 12:02:23 613936563 [DataSourceTransactionManager.java][doCommit](326) : Committing JDBC transaction on Connection [HikariProxyConnection@861338066 wrapping org.mariadb.jdbc.MariaDbConnection@17b01e2a]
    • [DEBUG] 2020-08-11 12:02:08 390098262 [DataSourceTransactionManager.java][doCommit](326) : Committing JDBC transaction on Connection [HikariProxyConnection@205121260 wrapping org.mariadb.jdbc.MariaDbConnection@17b01e2a]
  2. Spring Boot의 HikariCP 설정 프로퍼티 중, maxLifetime으로 인해, 사용하던 모든 Connection은 30분 주기로 위 사진과 같이 connection을 closing 후, 다시 새로운 connection을 생성하고 있었다.
  3. 사용하고 있던 connection도 closing 하면서 새로운 connection이 필요하여 HikariCP에 새로운 connection 객체를 요청한 것으로 보인다.
  4. 비교적 가장 오래전에 만들어진 객체를 HikariPool에서 발급 받은 후, HikariPool의 정책에 따라 이 connection이 유효한지를 검사한다.
  5. 이미 DB에서는 20분이 지나 닫힌 connection에 대해 validate하게 되므로 위와 같이 닫힌 connection에 대해서 아무것도 할수 없다고 로그가 찍혔다.

 

 

위 추측이 맞는지에 대해 직접 HikariCP의 코드를 뜯어보기로 하였다.

HikariPool.class

 /**
    * Get a connection from the pool, or timeout after the specified number of milliseconds.
    *
    * @param hardTimeout the maximum time to wait for a connection from the pool
    * @return a java.sql.Connection instance
    * @throws SQLException thrown if a timeout occurs trying to obtain a connection
    */
   public Connection getConnection(final long hardTimeout) throws SQLException
   {
      suspendResumeLock.acquire();
      final long startTime = currentTime();

      try {
         long timeout = hardTimeout;
         do {
            PoolEntry poolEntry = connectionBag.borrow(timeout, MILLISECONDS);
            if (poolEntry == null) {
               break; // We timed out... break and throw exception
            }

            final long now = currentTime();
            if (poolEntry.isMarkedEvicted() || (elapsedMillis(poolEntry.lastAccessed, now) > aliveBypassWindowMs && !isConnectionAlive(poolEntry.connection))) {
               closeConnection(poolEntry, poolEntry.isMarkedEvicted() ? EVICTED_CONNECTION_MESSAGE : DEAD_CONNECTION_MESSAGE);
               timeout = hardTimeout - elapsedMillis(startTime);
            }
            else {
               metricsTracker.recordBorrowStats(poolEntry, startTime);
               return poolEntry.createProxyConnection(leakTaskFactory.schedule(poolEntry), now);
            }
         } while (timeout > 0L);

         metricsTracker.recordBorrowTimeoutStats(startTime);
         throw createTimeoutException(startTime);
      }
      catch (InterruptedException e) {
         Thread.currentThread().interrupt();
         throw new SQLException(poolName + " - Interrupted during connection acquisition", e);
      }
      finally {
         suspendResumeLock.release();
      }
   }

 

위 HikariPool.class의 코드를 보면, 중간에 closeConnection을 할지에 대해 판단하는 로직이 포함되어 있었다. 해당 로직에서 검사하는 것을 정리하면 다음과 같다.

  • 해당 connection이 HikariCP에서 evict(직역하면 축출하다라고 함)되기로 한 객체인가?
  • Connection이 살아있는지 Bypass할 수 있는 시간보다 최근 접근 시간이 더 크고, connection이 아직 살아있는가?

 

 

로그 상에서 connection이 evict하다고 하지 않았으므로, 두번째 검사 조건에서 true를 반환하였기 때문에  closeConnection을 하도록 하였을 것이다.

두번째 조건을 warning이 발생한 조건에 맞추에 분석해보면 다음과 같다.

  • 하나의 connection 객체만 사용하고 있었으므로, 500ms보다는 훨씬 더 크기 때문에 true를 출력하였을 것이다.
  • DB에서 wait_timeout 값이 20분이므로, getConnection하였을 때, false를 출력하였을 것이다.

 

 

다음, isConnectionAlive의 코드를 살펴보면 문제가 된 상황을 한눈에 볼 수 있을 것이다.

PoolBase.class

boolean isConnectionAlive(final Connection connection)
   {
      try {
         try {
            setNetworkTimeout(connection, validationTimeout);

            final int validationSeconds = (int) Math.max(1000L, validationTimeout) / 1000;

            if (isUseJdbc4Validation) {
               return connection.isValid(validationSeconds);
            }

            try (Statement statement = connection.createStatement()) {
               if (isNetworkTimeoutSupported != TRUE) {
                  setQueryTimeout(statement, validationSeconds);
               }

               statement.execute(config.getConnectionTestQuery());
            }
         }
         finally {
            setNetworkTimeout(connection, networkTimeout);

            if (isIsolateInternalQueries && !isAutoCommit) {
               connection.rollback();
            }
         }

         return true;
      }
      catch (Exception e) {
         lastConnectionFailure.set(e);
         logger.warn("{} - Failed to validate connection {} ({}). Possibly consider using a shorter maxLifetime value.",
                     poolName, connection, e.getMessage());
         return false;
      }
   }

위 코드를 보면, try문 첫번째에서 setNetworkTimeout을 실행하고 있다. 그러나 connection은 DB측에서 이미 close한 상태이기 때문에, close된 connection에서 작업을 할 수 없기 때문에 catch문의 로직이 실행 되었을것이다.

catch문을 보면 우리가 보았던 해당 로그가 보일 것이다.

 

위 분석을 통해 내가 예측한 추측한 결과와 실제 코드의 로직이 일치하는 것을 볼 수 있었다.

 

 

5. 후기 및 조치

HikariCP의 공식문서에서 maxLifeTime을 데이터베이스 또는 인프라가 권고하는 connection time limit보다 짧게 잡을 것을 권장하여 maxLifeTime을 기존 30분에서 15분으로 변경하고 jenkins를 통해 deploy한 결과, 그 이후로는 warning이 발생하지 않았다.

그러나 30분 내내 HikariCP에서 처음 받은 단 하나의 connection을 사용하는 현상은 아직 내가 이해를 하지 못하여 이에 대해서는 조금 더 보충하여 새로 글을 작성할 계획이다. 이번 기회를 통해 Connection관리가 App안에서 어떻게 이루어 지는지에 대한 개론을 파악할 수 있었다.

 

 

 

6. 참고 문헌

  • https://github.com/brettwooldridge/HikariCP

0. Table Of Content

 

 

 

 

1. 서론

배치 프로세스에 대한 공통 프레임워크를 담당하여 작업을 진행하고 있었다. Spring Batch Starter를 사용하여 작업을 진행하는 것이 가장 효율적이었지만,

기존 만들어진 테이블에 맞춰야 했기 때문에 해당 테이블에 맞게 배치 프레임워크를 새로 개발하게 되었다. 

프레임워크에서 build된 결과물인 jar파일은 crontab에 등록이 되어 jar 실행 시 입력받은 augument값으로 해당 batch job이 실행되어야 하기 때문에, 

입력 argument에 따라서 분기되는 프로세스가 필요하였다. 이에 해당하는 코드는 아래와 같다.

@Component
public class BatchArgumentListener implements ApplicationListener<ApplicationReadyEvent>{
 
    @Autowired
    private ApplicationArguments applicationArgument;
 
    @Autowired
    private ConfigurableApplicationContext context;
 
    @Autowired
    private DBEncKeyProperties dbProps;
 
    @Autowired
    private MemberActionLogService memberLogService;
 
    @Autowired
    private EdiDailyTxScheduler ediDailyTxScheduler;
 
    @Autowired
    private EdiDailySettleScheduler dailySettleScheduler;
 
    @Autowired
    private EdiMonthlyTxScheduler ediMonthlyTxScheduler;
 
    @Autowired
    private EdiVbankIncomeScheduler ediVbankIncomeScheduler;
 
    @Autowired
    private MemberDormantService memberDormantService;
 
    @Autowired
    private MemberStatisticsService memberStatisticsService;
 
    @Autowired
    private MemberUseService memberUseService;
 
 
    private final Logger logger = LoggerFactory.getLogger(this.getClass());
 
 
    @Override
    public void onApplicationEvent(ApplicationReadyEvent event) {
        String publicKey = this.argumentListValidator(applicationArgument, BatchArgumentConstant.ARG_PUBLIC_KEY);
        dbProps.setPublicKey(publicKey);
 
        String batchType = this.argumentListValidator(applicationArgument, BatchArgumentConstant.ARG_TYPE);
 
        String targetDate = this.dateValidator(applicationArgument);
 
        logger.info("batchType : " + batchType);
        logger.info("targetDate : " + targetDate);
 
        try {
            switch(batchType) {
                case BatchArgumentConstant.BATCH_MEMBER_ACTION:
                        memberLogService.memberActionTask(targetDate);
                        memberLogService.memberLastActionTask(targetDate);
                break;
 
                case BatchArgumentConstant.BATCH_DAILY_SETTLE:
                    dailySettleScheduler.getDailySettle();
                    break;
 
                case BatchArgumentConstant.BATCH_DAILY_TX:
                    ediDailyTxScheduler.getDailyTxNormal();
                    break;
 
                case BatchArgumentConstant.BATCH_MONTHLY_TX:
                    ediMonthlyTxScheduler.getMonthlyTxNormal();
                    break;
 
                case BatchArgumentConstant.BATCH_VBANK_INCOME:
                    ediVbankIncomeScheduler.getVbankIncomeDate();
                    break;
 
                case BatchArgumentConstant.BATCH_MEMBER_DORMANT:
                    memberDormantService.memberDormantMailTask(targetDate);
                    memberDormantService.memberDormantTask(targetDate);
                    break;
 
                case BatchArgumentConstant.BATCH_STATISTICS:
                    memberStatisticsService.memberStatisticsTask();
                    break;
                case BatchArgumentConstant.BATCH_MEMBER_USE:
                    memberUseService.memberUseMailTask();
                    break;
 
                default:
                    logger.info(BatchArgumentConstant.MESSAGE_INVALID_ARG);
                }
        }catch (Exception e) {
            logger.info("Process is not completed.");
        } finally {
            System.exit(SpringApplication.exit(context));
        }
    }
}

 

개인적인 회고시, 나는 내가 짠 프레임워크를 보고 참 더럽다고 생각이 들었으며 더많은 코드가 내가 작성한 프레임워크에 올라가기 전에 더러운 코드를 청소하고 싶었다.

우선 위 코드의 문제점을 정리하면 다음과 같았다.

  • 새로운 배치 프로세스가 프레임워크에 올라갈 때 마다 case문을 추가하여 분기시켜주는 귀찮음이 있다.
  • case문을 추가하기 위해서는 같은 파일에 여러명이 작업을 하게 되고, 그에 대한 결과로 git repository merge가 어려워진다.
  • static 변수가 프레임워크 내부에 많이 있었기 때문에 이를 조금이라도 줄이고 싶었다.
  • 여러개의 배치 프로세스가 모여 하나의 job형태로 이루어질 수 있었기 때문에 통합하여 관리하고 싶었다.

 

또한 작성된 모든 프로세스는 BatchJob이라는 공통점을 가지고 있었기 때문에, BatchJob이라는 키워드 하나로 통합할 수 있다고 생각을 하게 되었다.

 

위 문제점들을 해결하기 위해, Spring Design Pattern을 공부하다가 구글링을 통해 SpringFramework Guru에서 디자인 패턴에 관한 글을 보게 되었으며

디자인 패턴 중 프레임워크에 가장 적합한 Factory Method Design Pattern을 적용시켜보기로 하였다.

 

 

 

 

2. Factory Pattern이란 무엇인가

자바 어플리케이션을 보면 new 연산자를 이용하여 객체를 자주 생성한다. 작은 규모의 어플리케이션에서는 문제가 되는 것이 없지만, 큰규모의 코드를 작성하게 되면 Object의 개수가 자연스럽게 증가하며 Object들에 대한 관리 복잡도 역시 증가한다.

이러한 상황을 핸들링하기 위해서 팩토리 패턴을 적용할 수 있다. 이름에서 알 수 있듯이 펙토리 메소드 패턴은 펙토리 역할을 하는 객체를 생성하는 클래스를 사용한다.

팩토리 패턴은 직접 생성자를 이용하여 객체를 생성하는 대신 메소드를 통해 객체를 생성하는 것을 원칙으로 한다. 

펙토리 메소드 패턴에서 당신은 클래스를 생성하기 위해 Java interface 또는 abstract class 같은 인터페이스를 제공하여 인터페이스의 

인터페이스의 펙토리 메소드는 하나 이상의 서브클래스에 대한 오브젝트의 생성을 연기시킨다. 서브클래스는 어떤 객체가 만들어질지에 대해 선택하기 위해 팩토리를 implement하여야 한다.

 

 

 

2.1. Factory Parrern 예제 

글로만 이해하면 이해가 잘 가지 않으니, 코드로 표현하면서 이해를 해보자. 먼저 작성될 클래스 및 인터페이스 구조는 다음과 같다.

 

 

가장 처음 해야 할 일은 C++, Python, Java의 공통점을 찾는 것이다. 수많은 공통점 중 사용할 공통점은 다음과 같다.

  • 모두 프로그래밍 언어이다
  • 컴파일을 한다.
  • HTML은 프로그래밍 언어가 아닙니다.

 

위 요구사항을 담은 interface를 작성하면 다음과 같다.

Language.java

package com.jeonghyeong.sample;
 
public interface Language {
 
    public void compile();
 
    public String getLanguageType();
}

 

 

위 인터페이스를  생성한 다음, implement 받은 CPP, Java, Python 클래스를 구분해 줄 String 식별자를 담고 있는 class를 작성한다.

package com.jeonghyeong.sample;
 
public class LanguageType {
 
    public static final String CPP = "cpp";
 
    public static final String JAVA = "java";
 
    public static final String PYTHON = "python";
 
}

 

 

 

위 식별자를 이용하여 getLanguageType() 메소드에는 본인임을 나타내는 String을 반환하도록 하자.

C++, Java, Python에 대한 정의는 다음과 같다.

 

CPP.java

package com.jeonghyeong.sample;
 
public class CPP implements Language{
 
    @Override
    public void compile() {
        System.out.println("CPP Compile");
    }
 
    @Override
    public String getLanguageType() {
        return LanguageType.CPP;
    }
}

Java.java

package com.jeonghyeong.sample;
 
public class Java implements Language{
 
    @Override
    public void compile() {
        System.out.println("Java Compile");
    }
 
    @Override
    public String getLanguageType() {
        return LanguageType.JAVA;
    }
}

 

Python.java

package com.jeonghyeong.sample;
 
public class Python implements Language{
 
    @Override
    public void compile() {
        System.out.println("Python Compile");
    }
 
    @Override
    public String getLanguageType() {
        return LanguageType.PYTHON;
    }
}




간단하게 Language에 대한 여러개의 파생 클래스를 생성할 수 있었다. 위와 같은 패턴으로 일단 interface를 통해 각기 다른 언어들의 Object를 Language의 개념으로 묶을 수 있었다.


그런데, 이렇게 설계 해놓고, 객체를 생성할 때, new Python()이런 식으로 객체를 생성하면 논리적으로만 Language으로 묶은것과 다름이 없다. 파라미터에 따라 상황에 맞는 객체를 받아올 수 있도록 Factory클래스를 작성해보자.

LanguageFactory

package com.jeonghyeong.sample;
 
import java.util.List;
 
import org.springframework.beans.factory.annotation.Autowired;
 
 
@Component
public class LanguageFactory {
 
    
    public Language getLanguage(String languageType) {
        if(languageType.equal(LanguageType.JAVA)){
            return new Java();
        }else if(languageType.equal(LanguageType.Python)){
            return new Python();
        }else if(languageType.equal(LanguageType.CPP)){
            return new CPP();
        }else
            return null;
    }
 
 
}

 

위와 같이 LanguageFactory를 이용해 getLanguage 메소드를 이용해 상황에 맞는 Language를 상속받은 객체를 가져올 수 있게 되었다.

 

그러나 위 코드 역시 if - else if - else문을 사용하기 때문에, Language interface를 상속받은 class가 생겨날 때 마다 수작업으로 else if를 이용해 코드를 작성해주어야 한다.

 

위 코드를 개선하는 방법으로 나는 Spring의 Bean을 생각하게 되었다.

 

위 Language interface를 상속받은 클래스를 모두 @Component annotation을 이용하여 Bean을 만들게 되면, @Autowired를 이용하여 Language를 상속받은 모든 Bean을 가져올 수 있게 된다.

 

개선된 Factory코드는 다음과 같다.

 

package com.jeonghyeong.sample;
 
import java.util.List;
 
import org.springframework.beans.factory.annotation.Autowired;
 
 
public class LanguageFactory {
 
    @Autowired
    private List<Language> languageList;
 
    public Language getLanguage(String languageType) {
        for(Language language : languageList) {
            if(languageType.equals(language.getLanguageType()))
                return language;
        }
        return null;
    }
 
}

 

 

이제 Factory를 이용하여 메소드를 이용하여 상황에 맞는 객체를 얻어보자. 간단하게 ApplicationListener를 상속받은 클래스를 하나 생성하여 테스트해보았다.

package com.jeonghyeong.sample;
 
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.context.event.ApplicationReadyEvent;
import org.springframework.context.ApplicationListener;
import org.springframework.stereotype.Service;
 
@Service
public class TestFactory  implements ApplicationListener<ApplicationReadyEvent>{
 
    @Autowired
    private LanguageFactory factory;
 
 
    @Override
    public void onApplicationEvent(ApplicationReadyEvent event) {
        Language cpp = factory.getLanguage(LanguageType.CPP);
        Language java = factory.getLanguage(LanguageType.JAVA);
        Language python = factory.getLanguage(LanguageType.PYTHON);
 
        cpp.compile();
        System.out.println(cpp.getClass());
 
        java.compile();
        System.out.println(java.getClass());
 
        python.compile();
        System.out.println(python.getClass());
 
    }
 
}

 

위 코드의 결과는 다음과 같으며, 정상적으로 잘 받아오는 것을 확인하였다.

 

 

 

 

3. Factory Pattern 사용으로 얻을 수 있는 기대 효과

  • 비슷한 성격의 객체를 인터페이스를 통해 하나로 관리할 수 있다.
  • 어떤 유형의 객체인지 판별하는 if-else문이 줄어들기 때문에 코드의 가독성이 증가한다.
  • 협업시, 공통코드를 건드리는 일이 없이 업무를 진행할 수 있기 때문에 효율성이 증가한다.
  • 추후 비슷한 유형의 객체가 새로 생성되어도 implement를 통해 쉽게 추가할 수 있다.

 

 

 

 

 

4. 실무에서 적용한 코드 일부

 

서론에 switch문으로 분기하던 더러운 코드를 다음과 같이 개선하여 가독성을 높였으며, 더이상 이 부분에 대해서 작업이 없어지게 되어 코드 관리가 용이해졌다.

또한, 무수히 많은 autowired가 사라졌으며 batchJob에 대한 로직을 각 job 패키지별로 따로 관리하게 되었다. 

개선된 BatchAgumentListener

@Component
public class BatchArgumentListener implements ApplicationListener<ApplicationReadyEvent>{
 
    @Autowired
    private ApplicationArguments applicationArgument;
 
    @Autowired
    private ConfigurableApplicationContext context;
 
    @Autowired
    private DBEncKeyProperties dbProps;
 
 
    private final Logger logger = LoggerFactory.getLogger(this.getClass());
 
 
    @Autowired
    private BatchJobFactory batchJobFactory;
 
 
    @Override
    public void onApplicationEvent(ApplicationReadyEvent event) {
 
 
 
 
        String batchType = this.argumentListValidator(applicationArgument, BatchArgumentConstant.ARG_TYPE);
 
 
        logger.info("batchType : " + batchType);
 
 
        /*
         * DB암호화키를 얻기 위한 public key를 ApplicationArgument에서 가져온다
         */
        if(applicationArgument.containsOption(BatchArgumentConstant.ARG_PUBLIC_KEY)){
            String publicKey = applicationArgument.getOptionValues(BatchArgumentConstant.ARG_PUBLIC_KEY).get(0);
            dbProps.setPublicKey(publicKey);
        }
 
 
        /*
         * ApplicationArgument에서 type parameter의 value값을 가져온다.
         */
        if(applicationArgument.containsOption(BatchArgumentConstant.ARG_TYPE)) {
            batchType = applicationArgument.getOptionValues(BatchArgumentConstant.ARG_TYPE).get(0);
        }else {
            logger.info("Type parameter should be required.");
            System.exit(SpringApplication.exit(context));
        }
 
 
        /*
         * 가져온 type에 맞는 batchJob을 생성하여 프로세스를 실행시킨다.
         */
        try {
            BatchJob batchJob = batchJobFactory.getService(batchType);
            logger.info(batchJob.getBatchType());
            if(batchJob!=null) {
                batchJob.run();
            }
 
 
        }catch (Exception e) {
            logger.info(e.getMessage());
        }
 
 
    }
 
 
    /*
     * argument가 null인 상태에 대해 예외처리하는 메소드
     */
    private String argumentListValidator(ApplicationArguments arg, String argumentType) {
 
        String argValue = null;
        try {
            argValue = arg.getOptionValues(argumentType).get(0);
            return argValue;
        }catch (Exception e) {
            logger.info(BatchArgumentConstant.MESSAGE_NO_ARG_TYPE);
            System.exit(SpringApplication.exit(context));
        }
 
        return argValue;
    }
}

 

패키지별로 흩어져 있던 배치 job을 interface와 factory 패턴을 적용하여 관리가 용이하게 하였다. 

BatchJob

public interface BatchJob {
 
    public void run();
 
    public String getBatchType();
}

BatchJobFactory

@Component
public class BatchJobFactory {
 
    @Autowired
    private List<BatchJob> batchJobList;
 
 
 
    public BatchJob getService(String batchType) {
        for(BatchJob job : batchJobList) {
            if(batchType.equals(job.getBatchType()))
                return job;
        }
 
        return null;
    }
}

 

 

기존 BatchArgumentListener에서 볼 수 있었던 배치 job의 flow를 각 역할에 맞는 패키지의 implement된 BatchJob을 implement받은 객체에 작성함으로써 코드의 가독성과 관리의 용이성이 증가하였다.

또한 BatchArgumentListener에서 작업을 하지 않아도 되므로 여러사람이 협업시 git repo가 confilct날 일이 줄어들었다.

@BatchProcess
public class MemberActionLogJob implements BatchJob{
 
    @Autowired
    private MemberActionCollectService memberActionCollectService;
 
    @Autowired
    private MemberLastActionService memberLastActionService;
 
 
    @Override
    public void run() {
        /*
         * service 패키지에서 작성한 하나 이상의 프로세스가 올 수 있다.
         */
        memberActionCollectService.startBatch();
        memberLastActionService.startBatch();
    }
 
    @Override
    public String getBatchType() {
        /*
         * command line으로 받는 배치 type을 반환시켜준다.
         * BatchArgumentConstant에서 이를 추가 해주어야 한다.
         */
        return BatchArgumentConstant.BATCH_MEMBER_ACTION;
    }
}

 

 

 

 

5. 후기

처음 작성한 프레임워크인 만큼 열심히 하였으나, 여기저기서 git conflict가 발생하였고 코드가 너무 가독성이 떨어지며 쓰기 어렵다고 주변에서 컴플레인이 들어왔다.

이미 프레임워크에 여러 사람이 코드를 작성하고 있었고, 향후 더 많은 코드가 작성될 예정이라고 하였다.

먼저 코드를 작성한 분들께는 죄송하지만, 다음 작업을 더 편하게 하기 위해 프레임워크 개선을 진행하였고 관리 및 개인 업무가 더욱 용이하도록 factory 패턴을 적용하여 많은 개선을 할 수 있었으며 코드를 추가하기 쉬워졌다고 피드백을 받았다.

다음 프레임워크 또는 코드를 작성하기 전에 이러한 디자인 패턴을 적용 할 수 있는지도 고려를 해야겠다.

함께 일하는 직업인 만큼 모두가 웃을 수 있는 업무를 위해 많이 노력해야겠다.

 

1. 상황

휴면회원에 대한 기록을 쌓는 배치 프로세스에 대하여 쿼리를 작성 중이었다. 프로세스 흐름도는 다음과 같다.

 

 

2. 문제점

    - 연관성이 없는 각 select에 대해 단일 스레드를 통해서 순차적으로 쿼리를 실행하였기 때문에, 현재 상황보다 더 많은 테이블에 대해 작 

       업을 할 경우, 많은 시간이 소모된다.

    - @Transactional이 동작하는 사이클에 대해서 제대로 알고 쓰지 못하였기 때문에, rollback이 제대로 되지 않고 있다.

    - Spring Boot Batch Starter가 있음에도 불구하고 일반 절차 함수를 작성하듯이 프로그램을 작성하였다.

    - 후에 내가 작성한 프레임워크에 다른 배치 프로세스가 추가적으로 작성하는 것을 잘 몰랐기 때문에, 확장성이 덜 고려된 공통 코드를            작성하였다.

    - 작성한 프레임워크는 jar파일로 build되어 

   

 

 

 

3. 개선(해야할)점

    - 상호 관련이 없고, 연계성이 없는 쿼리의 경우는 단일 스레드에서 작업하지 않고, 복수개의 스레드에서 작업하여 속도를 향상시킨다.

    - 자체 코드 리뷰 결과, @Transactional을 사용한 @Service 내부의 method에서 catch문에서 exception을 던지고 있지 않기 때문에, 

       Spring에서는 exception을 감지하지 못하고, rollback를 시키지 않는 점이 발견되었다. 각 catch 문에 대해서 마지막에 exception을

       던져서 rollback이 가능하게 한다.

    - AOP에서 배치프로세스에 대한 로그를 작성할 때, @Transactional 어노테이션 걸린 서비스에 대해 동작하도록 되어있는데, 이를 조금 

      더 적절한 방법으로 대체할 수 있으면 대체를 하는 것이 좋다.

    - 불필요하게 Embadded Tomcat과 서버가 실행되는 것을 disable하여 jar 파일이 실행되기 전 준비단계를 줄였다.

    - JVM이 running 되기 전 단계에서 프로세스를 처리하도록 ApplicationListener를 이용하여 ContextRefreshedEvent에 대해 핸들링   

       하였다. 그러나, ContextRefreshedEvent의 경우는 Context가 바뀌는 상황마다 ApplicationListener가 호출되므로, spring이 시작할 

       때, 단발성으로 호출되도록 ApplicationStartingEvent같은 것을 사용하는 것이 더 좋을 듯하다.

    - 실행파일 형태로 cron에 걸수 있도록 설계하라하여 지금 상황과 같이 설계하였다. 그러나, 현행방법과 데몬이 계속 떠있는 방식 중 어   

       떤것이 더 효율적일까를 따져봐야 할 것이다.

'회고' 카테고리의 다른 글

20200624 회고 - 배치 프로세스 및 데이터베이스  (0) 2020.07.28
2019 회고  (2) 2020.02.01
20191126 회고 - 프로그래밍 패턴  (0) 2019.11.26

+ Recent posts