한 개의 프로젝트에서 하나의 Database에만 접속하는 경우가 대부분이지만, 2개 이상의 데이터 베이스에 접속하는 경우도 발생하게 된다.

이럴 경우 어떻게 셋팅을 해야 하는지 정리한다.

 

application.yml 설정파일

spring:
    profiles:
        active: local
    application:
        name: usercms

application-local.yml

server:
    port: 9090
spring:
    profiles: local
    domain: localhost
    datasource-a-write:
        driverClassName: com.mysql.cj.jdbc.Driver
        jdbcUrl: jdbc:mysql://a-db-url:3306/a?autoReconnect=true&useSSL=false
        username: id
        password: password
    datasource-a-read:
        driverClassName: com.mysql.cj.jdbc.Driver
        jdbcUrl: jdbc:mysql://a-db-url:3306/a?autoReconnect=true&useSSL=false
        username: id
        password: password
    datasource-b-write:
        driverClassName: com.mysql.cj.jdbc.Driver
        jdbcUrl: jdbc:mysql://b-db-url:3306/b?autoReconnect=true&useSSL=false
        username: id
        password: password
    datasource-b-read:
        driverClassName: com.mysql.cj.jdbc.Driver
        jdbcUrl: jdbc:mysql://b-db-url:3306/b?autoReconnect=true&useSSL=false
        username: id
        password: password

 

Database의 read, write 구분을 위한 설정

import lombok.extern.slf4j.Slf4j;
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
import org.springframework.transaction.support.TransactionSynchronizationManager;

@Slf4j
public class ReplicationRoutingDataSource extends AbstractRoutingDataSource {
    @Override
    protected Object determineCurrentLookupKey() {
        String dataSourceType = TransactionSynchronizationManager.isCurrentTransactionReadOnly() ? "read" : "write";
        return dataSourceType;
    }
}

 

a 서버에 접속하기 위한 DataSource

import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.jdbc.DataSourceBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Primary;
import org.springframework.jdbc.datasource.LazyConnectionDataSourceProxy;

import javax.sql.DataSource;
import java.util.HashMap;
import java.util.Map;

@Slf4j
@Configuration
public class ADataSourceConfig {
    @Bean
    @ConfigurationProperties(prefix = "spring.datasource-a-read")
    public DataSource aReadDataSource() {
        return DataSourceBuilder.create().build();
    }

    @Bean
    @ConfigurationProperties(prefix = "spring.datasource-a-write")
    public DataSource aWriteDataSource() {
        return DataSourceBuilder.create().build();
    }
    
    @Bean
    public DataSource aRoutingDataSource(@Qualifier("aWriteDataSource") DataSource writeDataSource, @Qualifier("aReadDataSource") DataSource readDataSource) {
        ReplicationRoutingDataSource aRoutingDataSource = new ReplicationRoutingDataSource();
        Map<Object, Object> dataSourceMap = new HashMap<Object, Object>();
        dataSourceMap.put("write", writeDataSource);
        dataSourceMap.put("read", readDataSource);
        aRoutingDataSource.setTargetDataSources(dataSourceMap);
        aRoutingDataSource.setDefaultTargetDataSource(aReadDataSource());

        return aRoutingDataSource;
    }

    @Primary
    @Bean
    public DataSource aDataSource(@Qualifier("aRoutingDataSource") DataSource routingDataSource) {
        log.debug("#### DATA SOURCE");
        return new LazyConnectionDataSourceProxy(routingDataSource);
    }
}

 

a entity에 a DataSource를 맵핑하기 위한 소스. a를 메인으로 사용하기 위해 @Primary 어노테이션 사용

import org.hibernate.jpa.HibernatePersistenceProvider;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Primary;
import org.springframework.dao.annotation.PersistenceExceptionTranslationPostProcessor;
import org.springframework.data.jpa.repository.config.EnableJpaRepositories;
import org.springframework.orm.jpa.JpaTransactionManager;
import org.springframework.orm.jpa.LocalContainerEntityManagerFactoryBean;
import org.springframework.orm.jpa.vendor.HibernateJpaVendorAdapter;
import org.springframework.transaction.PlatformTransactionManager;
import org.springframework.transaction.annotation.EnableTransactionManagement;

import javax.persistence.EntityManagerFactory;
import javax.sql.DataSource;

@Configuration
//@ComponentScan
@EnableTransactionManagement
@EnableJpaRepositories(
        basePackages = {
                "a DataSource를 이용하는 도메인의 entity가 위치한 패키지"
        },
        entityManagerFactoryRef = "aEntityManagerFactory",
        transactionManagerRef = "aTransactionManager"
)
public class ADataManagerConfig {
    @Primary
    @Bean
    public LocalContainerEntityManagerFactoryBean aEntityManagerFactory(@Qualifier("aDataSource") DataSource dataSource) {
        LocalContainerEntityManagerFactoryBean emfb = new LocalContainerEntityManagerFactoryBean();
        emfb.setDataSource(dataSource);
        emfb.setPersistenceProvider(new HibernatePersistenceProvider());
        emfb.setPersistenceUnitName("aEntityManager");
        emfb.setPackagesToScan(
                "a DataSource를 이용하는 도메인의 entity가 위치한 패키지"
        );
        HibernateJpaVendorAdapter jpaVendorAdapter = new HibernateJpaVendorAdapter();
        jpaVendorAdapter.setShowSql(true);
        jpaVendorAdapter.setGenerateDdl(false);
//        //properties.setProperty(“hibernate.hbm2ddl.auto”, “none”);
//        Properties properties = new Properties();
//        properties.setProperty("show_sql", "true");
//        emfb.setJpaProperties(properties);
        emfb.setJpaVendorAdapter(jpaVendorAdapter);

        return emfb;
    }

    @Primary
    @Bean
    public PlatformTransactionManager aTransactionManager(EntityManagerFactory entityManagerFactory) {
        JpaTransactionManager transactionManager = new JpaTransactionManager();
        transactionManager.setEntityManagerFactory(entityManagerFactory);
        return transactionManager;
    }

    @Bean
    public PersistenceExceptionTranslationPostProcessor aExceptionTranslationPostProcessor() {
        return new PersistenceExceptionTranslationPostProcessor();
    }
}

 

b 서버에 접속하기 위한 DataSource

import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.jdbc.DataSourceBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Primary;
import org.springframework.jdbc.datasource.LazyConnectionDataSourceProxy;

import javax.sql.DataSource;
import java.util.HashMap;
import java.util.Map;

@Slf4j
@Configuration
public class BDataSourceConfig {
    @Bean
    @ConfigurationProperties(prefix = "spring.datasource-b-read")
    public DataSource bReadDataSource() {
        return DataSourceBuilder.create().build();
    }

    @Bean
    @ConfigurationProperties(prefix = "spring.datasource-b-write")
    public DataSource bWriteDataSource() {
        return DataSourceBuilder.create().build();
    }
    
    @Bean
    public DataSource bRoutingDataSource(@Qualifier("bWriteDataSource") DataSource writeDataSource, @Qualifier("bReadDataSource") DataSource readDataSource) {
        ReplicationRoutingDataSource bRoutingDataSource = new ReplicationRoutingDataSource();
        Map<Object, Object> dataSourceMap = new HashMap<Object, Object>();
        dataSourceMap.put("write", writeDataSource);
        dataSourceMap.put("read", readDataSource);
        bRoutingDataSource.setTargetDataSources(dataSourceMap);
        bRoutingDataSource.setDefaultTargetDataSource(bReadDataSource());

        return bRoutingDataSource;
    }

    @Primary
    @Bean
    public DataSource bDataSource(@Qualifier("bRoutingDataSource") DataSource routingDataSource) {
        log.debug("#### DATA SOURCE");
        return new LazyConnectionDataSourceProxy(routingDataSource);
    }
}

 

b entity에 b DataSource를 맵핑하기 위한 소스

import org.hibernate.jpa.HibernatePersistenceProvider;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.dao.annotation.PersistenceExceptionTranslationPostProcessor;
import org.springframework.data.jpa.repository.config.EnableJpaRepositories;
import org.springframework.orm.jpa.JpaTransactionManager;
import org.springframework.orm.jpa.LocalContainerEntityManagerFactoryBean;
import org.springframework.orm.jpa.vendor.HibernateJpaVendorAdapter;
import org.springframework.transaction.PlatformTransactionManager;
import org.springframework.transaction.annotation.EnableTransactionManagement;

import javax.persistence.EntityManagerFactory;
import javax.sql.DataSource;

@Configuration
//@ComponentScan
@EnableTransactionManagement
@EnableJpaRepositories(
        basePackages = {
                "b DataSource를 이용하는 도메인의 entity가 위치한 패키지"
        },
        entityManagerFactoryRef = "bEntityManagerFactory",
        transactionManagerRef = "bTransactionManager"
)
public class BDataManagerConfig {
    @Bean
    public LocalContainerEntityManagerFactoryBean bEntityManagerFactory(@Qualifier("bDataSource") DataSource dataSource) {
        LocalContainerEntityManagerFactoryBean emfb = new LocalContainerEntityManagerFactoryBean();
        emfb.setDataSource(dataSource);
        emfb.setPersistenceProvider(new HibernatePersistenceProvider());
        emfb.setPersistenceUnitName("bEntityManager");
        emfb.setPackagesToScan(
                "b DataSource를 이용하는 도메인의 entity가 위치한 패키지"
        );
        HibernateJpaVendorAdapter jpaVendorAdapter = new HibernateJpaVendorAdapter();
        jpaVendorAdapter.setShowSql(true);
        jpaVendorAdapter.setGenerateDdl(false);
//        //properties.setProperty(“hibernate.hbm2ddl.auto”, “none”);
//        Properties properties = new Properties();
//        properties.setProperty("show_sql", "true");
//        emfb.setJpaProperties(properties);
        emfb.setJpaVendorAdapter(jpaVendorAdapter);

        return emfb;
    }

    @Bean
    public PlatformTransactionManager bTransactionManager(EntityManagerFactory entityManagerFactory) {
        JpaTransactionManager transactionManager = new JpaTransactionManager();
        transactionManager.setEntityManagerFactory(entityManagerFactory);
        return transactionManager;
    }

    @Bean
    public PersistenceExceptionTranslationPostProcessor bExceptionTranslationPostProcessor() {
        return new PersistenceExceptionTranslationPostProcessor();
    }
}

 

이와 같이 하게 되면 2개의 별도 DB에 접속할 수 있다.

다만 QueryDSL을 사용하게 될 경우 기존에는 QuerydslRepositorySupport을 상속받아 사용했는데, 이렇게 되면 2개 중 어떤 것을 사용해야 할지 몰라 에러를 내게 된다.

따라서 다음과 같이 QuerydslRepositorySupport을 상속받아 특정 메소드를 OverRide 한 클래스를 만들어야 한다.

그리고 QueryDSL을 사용하는 곳에서는 새롭게 상속받아 작성한 클래스를 상속받아 사용하면 된다.

 

a QuerydslRepositorySupport

import org.springframework.data.jpa.repository.support.QuerydslRepositorySupport;
import org.springframework.stereotype.Repository;

import javax.persistence.EntityManager;
import javax.persistence.PersistenceContext;

@Repository
public abstract class AQueryDslRepositorySupport extends QuerydslRepositorySupport {
    public AQueryDslRepositorySupport(Class<?> domainClass) {
        super(domainClass);
    }

    @Override
    @PersistenceContext(unitName = "aEntityManager")
    public void setEntityManager(EntityManager entityManager) {
        super.setEntityManager(entityManager);
    }
}

 

b QuerydslRepositorySupport

import org.springframework.data.jpa.repository.support.QuerydslRepositorySupport;
import org.springframework.stereotype.Repository;

import javax.persistence.EntityManager;
import javax.persistence.PersistenceContext;

@Repository
public abstract class BQueryDslRepositorySupport extends QuerydslRepositorySupport {
    public BQueryDslRepositorySupport(Class<?> domainClass) {
        super(domainClass);
    }

    @Override
    @PersistenceContext(unitName = "bEntityManager")
    public void setEntityManager(EntityManager entityManager) {
        super.setEntityManager(entityManager);
    }
}

 

각 entityManger에 맞게 QueryDSL을 사용하게 되는 경우...

import kr.co.within.cms.user.api.infrastructure.config.AQueryDslRepositorySupport;

public class AQueryRepositoryImpl extends AQueryDslRepositorySupport implements AQueryRepositoryCustom {
    public AQueryRepositoryImpl() {
        super(A.class);
    }
}
import kr.co.within.cms.user.api.infrastructure.config.BQueryDslRepositorySupport;

public class BQueryRepositoryImpl extends BQueryDslRepositorySupport implements BQueryRepositoryCustom {
    public BQueryRepositoryImpl() {
        super(B.class);
    }
}

 

기억이 짧아 자꾸 까먹는 나를 위하여 기록한다.

 

참고. 멀티 DataSource에서 트랜잭션을 처리하기 위해서는 아래 포스팅 참조.

https://supawer0728.github.io/2018/03/22/spring-multi-transaction/

 

(Spring)다중 DataSource 처리

서론Spring Application을 만들면서 여러 DataSource와 transaction이 존재하고 하나의 transaction 내에 commit과 rollback이 잘 동작하도록 하려면 어떻게 설정해야 할까? 실제로 구현을 해본 적은 없지만 세 가지 방법이 머릿속에 떠올랐다. @Transactional의 propagation을 이용 spring-

supawer0728.github.io

 

 




WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret


회사에서 진행하는 새로운 프로젝트를 위해서 회원 정보 1,000만건에 가까운 데이터를 마이그레이션 해야 하는 작업이 필요 했다.

회원 정보만 1,000만건이고 기타 회원이 가지고 있는 부가적인 정보들을 포함하자면 거의 1억건에 가까운 데이터로 보여졌는데 이를 어떻게 마이그레이션 해야 하나 고민이 깊었다.

기존 레거시 시스템에서 새로운 시스템으로 이전을 해야 해서 내부적으로 새로운 데이터 베이스 시스템에 맞게 구조를 변경하고 적절한 로직을 가미해서 옮겨야 했기 때문에 단순 데이터 이전은 아니였다.

할줄 아는 거라고는 별로 없으니 Spring Batch를 사용할 수 밖에...

 

한동안 JPA를 편하게 써 와서  JPA를 사용하고 싶었지만...

Bulk Insert가 없어서 저 많은 Insert문을 날리느니 안하느니만 못하여 오랜만에 MyBatis를 이용하게 되었다.

MyBatis를 사용하여 로직을 구성하고 돌려보니 회원정보 기준 200만건이 넘어가면서부터 슬슬 느려지기 시작하더니 230만건 쯤에 OOM을 내면서 배치 시스템이 죽었다.

 

결론적으로 보자면 느려진 것의 원인과 OOM의 원인이 조금 달라 따로 따로 기록해 둔다.

우선 배치와 관련된 기본적인 정보는 아래의 블로그를 참고하였다.

 

https://jojoldu.tistory.com/324

 

1. Spring Batch 가이드 - 배치 어플리케이션이란?

Spring Batch In Action이 2011년 이후 개정판이 나오지도 않고, 한글 번역판도 없고, 국내 Spring Batch 글 대부분이 튜토리얼이거나 공식 문서 중 일부분을 짧게 번역한 내용들이라 대용량 시스템에서 사용할때..

jojoldu.tistory.com

위에서 배치 가이드를 시리즈 별로 2, 3, 4... 죽 이거가면서 보면 어느정도 배치에 대해 알게 될 수 있다.

나도 뭐 많이 해 보지 않고 이제 2개의 배치만 만들어 봤기에 제대로 만든 것인지도 모르겠다.

 

우선 application.yml 의 내용이다.

spring:
    profiles:
      active: local
    application:
      name: ferrari

spring.batch.job.names: ${job.name:NONE}

job.name:NONE은 job name이 파라미터로 들어오지 않을 경우 실행하지 않는다는 의미이며, 위에 참고한 블로그네 나와 있다.

 

다음은 ativie local을 반영한 application-local.yml 의 환경 구성 파일이다.

spring:
    profiles: local
    domain: localhost
    datasource-user:
        datasource-write:
            driverClassName: com.mysql.cj.jdbc.Driver
            jdbcUrl: jdbc:mysql://dburl:3306/yeogi_user?autoReconnect=true&useSSL=false
            username: id
            password: password
            maximumPoolSize: 30
            minimumIdle: 5
            poolName: write
            readOnly: false
        datasource-read:
            driverClassName: com.mysql.cj.jdbc.Driver
            jdbcUrl: jdbc:mysql://dburl:3306/yeogi_user?autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
            username: id
            password: password
            maximumPoolSize: 30
            minimumIdle: 5
            poolName: read
            readOnly: true
        legacy-datasource-write:
            driverClassName: com.mysql.cj.jdbc.Driver
            jdbcUrl: jdbc:mysql://dburl:3306/yeogi?autoReconnect=true&useSSL=false
            username: id
            password: password
            maximumPoolSize: 30
            minimumIdle: 5
            poolName: write
            readOnly: false
        legacy-datasource-read:
            driverClassName: com.mysql.cj.jdbc.Driver
            jdbcUrl: jdbc:mysql://dburl:3306/yeogi?autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull
            username: id
            password: password
            maximumPoolSize: 30
            minimumIdle: 5
            poolName: read
            readOnly: true
logging:
  level:
    kr.co.within.batch.ferrari: DEBUG
    jpa:
        show-sql: true
        hibernate:
            ddl-auto: none
        properties:
            hibernate:
                show_sql: true
                use_sql_comments: true
                format_sql: true
                type: trace
                dialect: org.hibernate.dialect.MySQL55Dialect
                hbm2ddl:
                  auto: none

 

다음은 위 환경 구성을 반영한 infrastructure 단의 ReplicationRoutingDataSource.java, UserDataSourceConfig.java 소스이다.

import lombok.extern.slf4j.Slf4j;
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
import org.springframework.transaction.support.TransactionSynchronizationManager;

@Slf4j
public class ReplicationRoutingDataSource extends AbstractRoutingDataSource {
    @Override
    protected Object determineCurrentLookupKey() {
        String dataSourceType = TransactionSynchronizationManager.isCurrentTransactionReadOnly() ? "read" : "write";
        log.info("### batch current dataSourceType : {}", dataSourceType);
        return dataSourceType;
    }
}
import kr.co.within.batch.ferrari.infrastructure.config.ReplicationRoutingDataSource;
import org.apache.ibatis.session.SqlSessionFactory;
import org.mybatis.spring.SqlSessionFactoryBean;
import org.mybatis.spring.SqlSessionTemplate;
import org.mybatis.spring.annotation.MapperScan;
import org.mybatis.spring.boot.autoconfigure.SpringBootVFS;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.jdbc.DataSourceBuilder;
import org.springframework.context.ApplicationContext;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.jdbc.datasource.DataSourceTransactionManager;
import org.springframework.jdbc.datasource.LazyConnectionDataSourceProxy;
import org.springframework.transaction.annotation.EnableTransactionManagement;

import javax.sql.DataSource;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;

@Configuration
@EnableTransactionManagement
@MapperScan(basePackages = "kr.co.within.batch.ferrari.domain.user.repository", sqlSessionFactoryRef = "userSqlSessionFactory")
public class UserDataSourceConfig {

    @Bean
    @ConfigurationProperties(prefix = "spring.datasource-user.datasource-read")
    public DataSource readUserDataSource() {
        return DataSourceBuilder.create().build();
    }

    @Bean
    @ConfigurationProperties(prefix = "spring.datasource-user.datasource-write")
    public DataSource writeUserDataSource() {
        return DataSourceBuilder.create().build();
    }

    @Bean
    public DataSource routingUserDataSource(@Qualifier("writeUserDataSource") DataSource writeUserDataSource, @Qualifier("readUserDataSource") DataSource readUserDataSource) {
        ReplicationRoutingDataSource routingDataSource = new ReplicationRoutingDataSource();

        Map<Object, Object> dataSourceMap = new HashMap<>();
        dataSourceMap.put("write", writeUserDataSource);
        dataSourceMap.put("read", readUserDataSource);
        routingDataSource.setTargetDataSources(dataSourceMap);
        routingDataSource.setDefaultTargetDataSource(readUserDataSource());

        return routingDataSource;
    }

    @Bean
    public DataSource userDataSource(@Qualifier("routingUserDataSource") DataSource routingUserDataSource) {
        return new LazyConnectionDataSourceProxy(routingUserDataSource);
    }


    @Bean(name = "userSqlSessionFactory")
    public SqlSessionFactory userSqlSessionFactory(@Qualifier("userDataSource") DataSource userDataSource,
                                                   ApplicationContext applicationContext)
            throws Exception {
        SqlSessionFactoryBean factory = new SqlSessionFactoryBean();
        factory.setDataSource(userDataSource);
        factory.setVfs(SpringBootVFS.class);
        factory.setTypeAliasesPackage("kr.co.within.batch.ferrari.domain.user");
        factory.setMapperLocations(applicationContext.getResources("classpath*:mapper/user/*Mapper.xml"));
        factory.setConfigurationProperties(getMyBatisProperties());
        return factory.getObject();
    }

    private Properties getMyBatisProperties() {
        Properties properties = new Properties();
        properties.put("cacheEnabled", false);
        properties.put("lazyLoadingEnabled", true);
        properties.put("localCacheScope", "STATEMENT");
        properties.put("defaultExecutorType", "BATCH");
        return properties;
    }

    @Bean(name = "userSqlSession", destroyMethod = "clearCache")
    public SqlSessionTemplate userSqlSessionTemplate(@Qualifier("userSqlSessionFactory") SqlSessionFactory userSessionFactory) {
        return new SqlSessionTemplate(userSessionFactory);
    }

    @Bean(name = "userTransactionManager")
    public DataSourceTransactionManager userTransactionManager(@Qualifier("userDataSource") DataSource userDataSource) {
        return new DataSourceTransactionManager(userDataSource);
    }
}

 

실제 배치 소스

@Configuration
public class Migration5BatchConfig {
    @Autowired
    public JobBuilderFactory jobBuilderFactory;

    @Autowired
    public StepBuilderFactory stepBuilderFactory;

    @Bean
    public Step0CommonTasklet step0CommonTasklet() {
        return new Step0CommonTasklet();
    }

    @Bean
    public Step1UserTasklet step1UserTasklet() {
        return new Step1UserTasklet();
    }
    
    ...

    @Bean
    public Job migration5JobForUser(Step step0Common, Step step1User) {
        return jobBuilderFactory.get("migration5JobForUser")
                .flow(step0Common)
                .next(step1User)
                .end()
                .build();
    }

    @Bean
    public Job migration5ForDevice(Step step2Device) {
        return jobBuilderFactory.get("migration5ForDevice")
                .flow(step2Device)
                .end()
                .build();
    }
    
    ...

    @Bean
    public Job migration5ForNicknameHistory(Step step9NicknameHistory, Step step10NicknamePool) {
        return jobBuilderFactory.get("migration5ForNicknameHistory")
                .flow(step9NicknameHistory)
                .next(step10NicknamePool)
                .end()
                .build();
    }

    /**
     * 공통 정보 미리 셋팅
     * @param step0CommonTasklet
     * @return
     */
    @Bean
    public Step step0Common(Step0CommonTasklet step0CommonTasklet) {
        return stepBuilderFactory.get("step0Common")
                .tasklet(step0CommonTasklet)
                .build();
    }

    /**
     * Step1 회원 정보 이관
     * @param step1UserTasklet
     * @return
     */
    @Bean
    public Step step1User(Step1UserTasklet step1UserTasklet) {
        return stepBuilderFactory.get("step1User")
                .tasklet(step1UserTasklet)
                .build();
    }
    
    ...
}
@Slf4j
@Component
public class Migration5NotificationListener extends JobExecutionListenerSupport {
    @Override
    public void beforeJob(JobExecution jobExecution) {
        log.info("### beforeJob() ###");
    }

    @Override
    public void afterJob(JobExecution jobExecution) {
        log.info("### afterJob() ###");

        if( jobExecution.getStatus() == BatchStatus.COMPLETED ){
            log.info("Batch Job Completed.");
        }
        else if(jobExecution.getStatus() == BatchStatus.FAILED){
            log.error("Batch Job Failed.");

        }
    }
}

 

각 Tasklet

@Slf4j
public class Step0CommonTasklet implements Tasklet {
    @Autowired
    private Migration5Service migration5Service;

    @Override
    public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) throws Exception {
        log.info("=================== Step0CommonTasklet Start ===================");

        migration5Service.makeAgreementMeta();

        migration5Service.makeGroupMeta();

        log.info("=================== Step0CommonTasklet End ===================");
        return RepeatStatus.FINISHED;
    }
}
@Slf4j
public class Step1UserTasklet implements Tasklet {
    @Autowired
    private Migration5Service migration5Service;

    @Override
    public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) throws Exception {
        log.info("=================== Step1UserTasklet Start ===================");

        // TODO 1. 유저 마이그레이션
        migration5Service.migrationUser();

        log.info("=================== Step1UserTasklet End ===================");
        return RepeatStatus.FINISHED;
    }
}

 

위와 같이 해 둔 상태에서 각 Job을 실행하게 되면 OOM이 발생 하게 되었다.

증상은 위에서 설명 했듯이 200만건이 넘게 되면 점점 느려지게 되었고 230만건 정도에 어김없이 OOM이 발생하게 되었다.

일단 느려지게 된 이유는 MySQL에서 Limit의 사용이 원인이였다.

limit를 사용하게 될 경우 페이지가 뒤로 갈 수록 느려지게 되는데 이게 200만건 부터 기하 급수적으로 느려지기 시작했기에 이대로라면 마이그레이션을 할 수 없는 수준이였다.

따라서 앱에서 무한스크롤로 다음 페이지를 가져오는 방식과 비슷하게 Primary Key를 가지고 페이징을 하게 되었다.

가령 100번까지 가지고 왔다면 다음 페이지는 Primary Key가 100보다 크면서 1,000개 가지고 오기 식으로...

 

이렇게 해서 속도문제는 개선이 되었지만 여전히 OOM이 발생하였다.

실제 로직을 구현하는 소스 단에서 다음과 같은 부분을 튜닝 하였다.

    private List<UserVo> userVoList = new ArrayList<>();
    private List<FriendRecommendHistoryVo> friendRecommendHistoryVoList = new ArrayList<>();
    private List<AgreementInstanceVo> agreementInstanceVoList = new ArrayList<>();
    private List<GroupInstanceVo> groupInstanceVoList = new ArrayList<>();
    private List<BlockVo> blockVoList = new ArrayList<>();

    /**
     * 회원정보 마이그레이션, 친구 추천 목록까지 이관
     */
    public void migrationUser() {
        int page = 1;
        long start = 0;
        
        ...
        
        while (true) {
            legacyCommonPagingParam.setPage(page);
            legacyCommonPagingParam.setStart(start);
            legacyCommonPagingParam.setOffset(5000);

            log.info("======================= start ======================= : {}", start);
            List<LegacyUserVo> legacyUserVoList = legacyUserService.selectMigrationTargetUser(legacyCommonPagingParam);

            userVoList.clear();
            friendRecommendHistoryVoList.clear();
            agreementInstanceVoList.clear();
            groupInstanceVoList.clear();
            blockVoList.clear();

            for ( LegacyUserVo legacyUserVo:legacyUserVoList) {
                // TODO. 각 비즈니스 로직 처리...

                start = legacyUserVo.getUno();
            }
            legacyCommonPagingParam.setStart(start);

            // 회원 목록과 친구추천 이력을 저장
            userService.bulkInsert(userVoList);
            userCount += userVoList.size();

            log.info("Heap : {}", ManagementFactory.getMemoryMXBean().getHeapMemoryUsage());
            log.info("NonHeap : {}", ManagementFactory.getMemoryMXBean().getNonHeapMemoryUsage());

            page++;
            if(Optional.ofNullable(legacyUserVoList).orElse(new ArrayList<>()).size() == 0) {
                break;
            }

            try {
                Thread.sleep(100);
            } catch (InterruptedException e) {
            }
        }

        snsAgreementMetaVo = null;
        pushAgreementMetaVo = null;
        recentAdAgreementMetaVo = null;
        groupMetaVoList = null;
        groupMetaVoMap = null;
    }

유의해 보아야 할 부분은 멤버 변수로 마이그레이션 해야 할 내용들을 빼 놓고 재사용한 점이다.

보통의 경우 instance를 재생성 하게 되는 비용이 크기 때문에 위에 처럼 만들어 놓고 한번 사용 했다면 clear로 메모리를 비워 줬다.

메모리를 null 처리 하는 경우에는 메모리 주소까지 없애는 것이기에 loop를 돌 때마다 instance를 새롭게 생성해야 하지만 clear로 비워주는 경우에는 instance 생성 비용을 아낄 수 있게 된다.

 

이러한 아이디어는 꽤 괜찮아 보이긴 했는데 실제 이 부분이 원인은 아니였다.

역시나 비슷한 부분에서 OOM이 발생 하였다.

그래서 사용하게 된 MyBatis의 문제는 아닐까란 생각에 해당 부분을 검색하고 찾아 보았다.

 

그래서 Service 부분에서 MyBatis를 사용하는 부분에 다음과 같이 수정 하였다.

@Slf4j
@Service
public class UserService {
    @Autowired
    private UserQueryMapper userQueryMapper;

    @Autowired
    private DormancyUserQueryMapper dormancyUserQueryMapper;

    public void bulkInsert(List<UserVo> userVoList) {
        if(userVoList.size() == 0) {
            return;
        }

        userQueryMapper.bulkInsert(userVoList);
        userQueryMapper.flush();
    }
    
    ...
}

userQueryMapper.flush()를 통해 MyBatis 내부적으로 가지고 있는 캐쉬 데이터를 플러싱 해 주었다.

또한 SQL문을 작성한 xml문에도 다음과 같이 해 주었다.

 

    <insert id="bulkInsert" parameterType="list" flushCache="true">
        INSERT INTO `User`
          (
            ...
          )
        VALUES
        <foreach collection="list" item="userVo" separator=",">
          (
            ...
          )
        </foreach>
    </insert>

flushCache="true" 부분을 추가해 주었다.

 

이렇게 해 둔 상태로 마이그레이션을 돌리니 1,000만건 정도 되는 회원 데이터가 큰 무리없이 잘 마이그레이션 됨을 볼 수 있었다.

 

결과론적으로 보자면 크게 어려운 부분은 없지만, 이 내용을 찾고 알게 되기까지 많은 삽질이 있었다.

추후 다른 분들은 삽질하지 않도록 글로 남겨 둔다.

 

 

 

 

 

 

 

 

 

 




WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret


JPA를 사용하면서 QueryDSL을 셋팅하고 사용하는 부분에 있어서 매번 헷깔려 정리한다.

 

QueryDSL을 사용하기 위해서 build.gradle 파일에 아래의 내용을 추가 해 준다.

plugins {
	...
    
    id 'idea'
    id 'com.ewerk.gradle.plugins.querydsl' version '1.0.10'
    
    ...
}

dependencies {
	...
    
    implementation 'com.querydsl:querydsl-apt:4.1.4'
    implementation 'com.querydsl:querydsl-jpa:4.1.4'
    
    ...
}

ext {
    querydslSrcDir = 'src/main/generated'
    queryDslVersion = '4.1.4'
}

configurations {
    querydsl.extendsFrom compileClasspath
}

querydsl {
    library = "com.querydsl:querydsl-apt"
    querydslSourcesDir = 'src/main/generated'
    jpa = true
    querydslDefault = true
}

sourceSets {
    main {
        java {
            srcDirs += file(querydslSrcDir)
        }
    }
}

idea {
    module {
        generatedSourceDirs += file(querydslSrcDir)
    }
}

 

Entity 작성

@Builder
@AllArgsConstructor
@NoArgsConstructor
@Entity
@EntityListeners(value = { AuditingEntityListener.class })
@Table(name = "user")
@Getter
@Setter
public class YeogiUser {
    @Id
    @Column(name="uno")
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long userId;
    
    ....
    
    @UpdateTimestamp
    @Column(name = "uedit")
    private LocalDateTime updatedAt;

    @CreationTimestamp
    @Column(name="ureg", updatable = false)
    private LocalDateTime createdAt;
    
    ....
    
    @QueryProjection
    public YeogiUser(long userId, LocalDateTime updatedAt, LocalDateTime createdAt) {
        this.userId = userId;
        this.updatedAt = updatedAt;
        this.createdAt = createdAt;
    }
}

 

기본 JPA Interface 작성

public interface YeogiUserQueryRepository extends JpaRepository<YeogiUser, Long>, YeogiUserQueryRepositoryCustom {
    ...
}

 

Custom으로 QueryDSL을 사용할 interface 작성

import org.springframework.data.domain.Page;
import org.springframework.data.domain.Pageable;

public interface YeogiUserQueryRepositoryCustom {
    Page<YeogiUser> findByUserParamForIpcc(Pageable pageable, UserParamForIpcc userParamForIpcc);
}

 

Custom interface 구현 클래스 작성

import com.querydsl.core.QueryResults;
import com.querydsl.core.types.ConstructorExpression;
import com.querydsl.core.types.Order;
import com.querydsl.core.types.OrderSpecifier;
import com.querydsl.core.types.Projections;
import com.querydsl.jpa.impl.JPAQuery;
import com.querydsl.jpa.impl.JPAQueryFactory;
import kr.co.within.cms.user.api.application.params.UserParamForIpcc;
import kr.co.within.cms.user.api.domain.yeogi.user.entity.QYeogiUser;
import kr.co.within.cms.user.api.domain.yeogi.user.entity.YeogiUser;
import org.apache.commons.lang3.StringUtils;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageImpl;
import org.springframework.data.domain.Pageable;
import org.springframework.data.jpa.repository.support.QuerydslRepositorySupport;

public class YeogiUserQueryRepositoryImpl extends QuerydslRepositorySupport implements YeogiUserQueryRepositoryCustom {
    public YeogiUserQueryRepositoryImpl() {
        super(YeogiUser.class);
    }

    @Override
    public Page<YeogiUser> findByUserParamForIpcc(Pageable pageable, UserParamForIpcc userParamForIpcc) {
        JPAQueryFactory query = new JPAQueryFactory(this.getEntityManager());
        QYeogiUser yegiUser = QYeogiUser.yeogiUser;

        JPAQuery<YeogiUser> jpaQuery = query
                .select(getYeogiUserProjection())
                .from(yegiUser);

        if (CollectionUtils.isEmpty(userParamForIpcc.getUserIdList()) == false) {
            jpaQuery = jpaQuery.where(yegiUser.userId.in(userParamForIpcc.getUserIdList()));
        }

        if (StringUtils.isNotEmpty(userParamForIpcc.getLoginId())) {
            jpaQuery = jpaQuery.where(yegiUser.loginId.eq(userParamForIpcc.getLoginId()));
        }

        if (StringUtils.isNotEmpty(userParamForIpcc.getNickname())) {
            jpaQuery = jpaQuery.where(yegiUser.nickname.eq(userParamForIpcc.getNickname()));
        }

        if (StringUtils.isNotEmpty(userParamForIpcc.getPhone())) {
            jpaQuery = jpaQuery.where(yegiUser.phone.eq(userParamForIpcc.getPhone()));
        }

        QueryResults<YeogiUser> list = jpaQuery
                .offset(pageable.getOffset())
                .limit(pageable.getPageSize())
                .orderBy(new OrderSpecifier(Order.ASC, yegiUser.userId))
                .fetchResults();

        return new PageImpl<>(list.getResults(), pageable, list.getTotal());
    }

    private ConstructorExpression<YeogiUser> getYeogiUserProjection() {
        QYeogiUser yegiUser = QYeogiUser.yeogiUser;

        return Projections.constructor(YeogiUser.class,
                yegiUser.userId, yegiUser.userStatus, yegiUser.userType, yegiUser.ano, yegiUser.loginId, yegiUser.loginPassword,
                yegiUser.nickname, yegiUser.name, yegiUser.facebookId, yegiUser.updatedAt, yegiUser.createdAt,
                yegiUser.deviceId, yegiUser.myRecommendationCode, yegiUser.friendRecommendationCode, yegiUser.recommededCount,
                yegiUser.snsAgree, yegiUser.uaname, yegiUser.group, yegiUser.alarmStatus, yegiUser.latestLodging,
                yegiUser.alarmAgreeDate, yegiUser.phone, yegiUser.lastLoginAt);
    }
}

 

사용

    @Autowired
    private YeogiUserQueryRepository yeogiUserQueryRepository;

    public Page<YeogiUser> getUserList(Pageable pageable, UserParamForIpcc userParamForIpcc) {
        return yeogiUserQueryRepository.findByUserParamForIpcc(pageable, userParamForIpcc);
    }

 

자세한 설명은 생략한다.

 




WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret


Java로 Entity를 만들고 멤버 변수로 1 ~ 31일을 만들어 둔 다음 넘오는 날짜에 따라 특정 날짜 변수에 값을 담는 작업을 하다 알게 된 내용이다.

역시 새롭게 알게 된 내용이라 정리 차원으로 올린다.

 

MontTimeTable Entity는 아래와 같다.

@Entity
@EntityListeners(value = {AuditingEntityListener.class})
@Data
@Table(name = "month_timetable")
public class MonthTimetable {
    @Id
    @Column
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;

    @Column
    private Integer policy_instance_id;

    @Column
    private Integer year;

    @Column
    private Integer month;

    @Column
    private Integer d1;
    @Column
    private Integer d2;
    @Column
    private Integer d3;
    @Column
    private Integer d4;
    @Column
    private Integer d5;
    @Column
    private Integer d6;
    @Column
    private Integer d7;
    @Column
    private Integer d8;
    @Column
    private Integer d9;
    @Column
    private Integer d10;
    @Column
    private Integer d11;
    @Column
    private Integer d12;
    @Column
    private Integer d13;
    @Column
    private Integer d14;
    @Column
    private Integer d15;
    @Column
    private Integer d16;
    @Column
    private Integer d17;
    @Column
    private Integer d18;
    @Column
    private Integer d19;
    @Column
    private Integer d20;
    @Column
    private Integer d21;
    @Column
    private Integer d22;
    @Column
    private Integer d23;
    @Column
    private Integer d24;
    @Column
    private Integer d25;
    @Column
    private Integer d26;
    @Column
    private Integer d27;
    @Column
    private Integer d28;
    @Column
    private Integer d29;
    @Column
    private Integer d30;
    @Column
    private Integer d31;

    @CreatedDate
    @Column(updatable = false, name = "created_at")
    private Date createdAt;

    @LastModifiedDate
    @Column(name = "updated_at")
    @Temporal(TemporalType.TIMESTAMP)
    private Date updatedAt;
}

 

그리고 넘어온 날짜 기반으로 각 필요한 날짜 변수에 값을 셋팅을 해야 하는데 아래와 같은 방법으로 Set 하게 된다.

@Service
@Slf4j
public class MonthTimetableService {
    public void createTimeTable(Long id, List<Date> timetableList) {
        Map<String, MonthTimetable> monthTimetableMap = new HashMap<>();

        for (Date date:timetableList) {
            LocalDate localDate = date.toInstant().atZone(ZoneId.systemDefault()).toLocalDate();
            int year  = localDate.getYear();
            int month = localDate.getMonthValue();
            int day   = localDate.getDayOfMonth();

            MonthTimetable monthTimetable = monthTimetableMap.get(year+""+month);
            if(monthTimetable == null) {
                monthTimetable = new MonthTimetable();
                monthTimetable.setYear(year);
                monthTimetable.setMonth(month);

                monthTimetableMap.put(year+""+month, monthTimetable);
            }

            this.setDay(monthTimetable, day);
        }
    }

    private void setDay(MonthTimetable monthTimetable, int day) {
        try {
            String setterMethodName = "d" + day;
            Field field = MonthTimetable.class.getDeclaredField(setterMethodName);
            field.setAccessible(true);
            field.set(monthTimetable, 1);
        } catch (IllegalAccessException | NoSuchFieldException e) {
            throw new PolicyException(ErrorMessage.FAIL_POLICY_ADD);
        }
    }
}

 

 

이렇게 하게 될 경우 동적으로 필요한 변수를 찾아 값을 Set 할 수 있게 된다.

 

참고 : https://stackoverflow.com/questions/11652598/how-to-instantiate-and-call-methods-dynamically-of-a-class-member-in-java




WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret


JPA, QueryDsl 쓰기 참 힘들다.

그래도 하나 하나 어렵게 해 나가고 있는데 오늘은 또 Group By한 Count 개수를 반환하는 것을 만든 삽질 내용을 올린다.

 

리파지토리 단 소스는 아래와 같다.

@Override
public QueryResults<Tuple> getBusinessTotalCount() {
    QUser user = QUser.user;

    return from(user).where(user.userType.eq(UserType.B2B)).groupBy(user.platform).select(user.platform, user.platform.count()).fetchResults();
}

 

 

그리고 가지고 온 내용을 가지고 맵으로 이쁘게 정렬해서 반환해 주면 된다.

public Map<String,Integer> getBusinessTotalCount() {
	QueryResults<Tuple> queryResults = userQueryRepository.getBusinessTotalCount();

	Map<String,Integer> returnMap = new HashMap<>();
	List<Tuple> list = queryResults.getResults();
	for (Tuple tuple : list) {
		returnMap.put(tuple.get(0, String.class), tuple.get(1, Integer.class));
	}

	return returnMap;
}

 

 

코드만 놓고 보자면 별거 아닌데, 모르는 상태에서 찾아서 할려니 진도가 더디다. ㅠㅠ

 

 




WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret


http로 값을 전송 하면서 보통 GET, POST를 많이 쓰고 PUT 으로는 전송을 잘 안하게 되는데, PUT으로 받아야 하는 API를 만들다가 값이 잘 전송이 안된다는 것을 알게 되었고, 이럴 때 어떻게 값을 전송해야 하는지 삽질의 결과물을 남겨 둔다.

 

보통 postman을 사용하여 값을 전송하는데 POST일 경우에는 body의 Typ을 form-data 또는 raw를 하게 된다.

PUT일 경우에도 form-data 로 전송하니 값을 받을 수 없어서 이리 저리 확인해 보니

PUT일 경우에는 다음과 같이 전송 해야 한다.

 

 

 

이와 마찬가지로 Spring에서 RestTemplate를 이용하여 PUT 파라미터를 전송하게 될 경우 아래와 같이 하여야 한다.

MultiValueMap<String, String> body = new LinkedMultiValueMap<>();
body.add("reservePhone", phoneNumber);

HttpHeaders httpHeaders = new HttpHeaders();
httpHeaders.setContentType(MediaType.APPLICATION_FORM_URLENCODED);

HttpEntity<?> httpEntity = new HttpEntity<>(body, httpHeaders);

ResponseEntity<String> responseEntity = restTemplate.exchange(apiUrl, HttpMethod.PUT, httpEntity, String.class);

 

 

위와 같이 header에 MediaType.APPLICATION_FORM_URLENCODED 를 추가해야지만 값이 전송 된다.




WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret


API 통신을 하면 보통 데이터 외에 Code나 Message가 같이 오고, 필요한 데이터는 한번 가공해서 받아야 한다.

그런데 이렇게 받게 되는 경우 안의 데이터가 무조건 HashMap으로 받아지게 된다.

이런 경우에 원하는 Object로 받기 위해 제네릭을 사용해 보았지만 역시 맵으로만 받아지게 되어서 구글링을 통해 해결하였다.

 

다음과 같은 방법으로 사용하면 된다.

import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.web.client.RestTemplate;
import com.fasterxml.jackson.core.type.TypeReference;

String response = restTemplate.postForObject(apiUrl, userDto, String.class);
ApiResponseDto<UserDto> apiResponseDto = jsonMapper.readValue(response, new TypeReference<ApiResponseDto<UserDto>>() {});

 

 

참고한 스택오버 플로우 : https://stackoverflow.com/questions/11664894/jackson-deserialize-using-generic-class




WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret


WebSocket을 이용하여 특정 내용을 처리하는 로직을 개발 중에 삽질한 내용을 정리 차원에서 올린다.

클라이언트는 SockJS와 stompClient를 이용하였고, 서버는 Spring에서 기본적으로 정리한 내용을 크게 바꾸지 않은 상태로 코딩 하였다.

전반적으로 코드의 내용은 https://spring.io/guides/gs/messaging-stomp-websocket/ 에서 나오는 내용과 거의 다르지 않다.

다만 해당 내용을 코딩 중에 sockjs에서 websocket 서버의 "endpoint/info?timestamp" 와 같은 주소를 찾지 못하는 경우가 발생 했다.

이로 인해 서버의 특정 모듈 Dependency가 잘못 되던가, 알지 못하는 문제로 인해 발생 하는 것인줄 알고 프로젝트를 Spring Boot로 싹 다 새로 만들게 되었다.

 

스프링 부트로 만든 상태에서 테스트 해 보니 이상 없이 돌아 갔는데, 해당 내용을 실제 개발 플랫폼에 적용하려고 보니 다시 info 페이지가 404 에러를 내 뿜는게 아닌가 ㅠㅠ

https와 http 문제라고 생각해서 프로토콜도 맞추었지만 현상은 해결 되지 않았다.

 

그런데 크롬의 개발자 도구를 자세히 살펴 보니 info 호출 시 response에 "Invalid CORS request" 라고 response가 뜨는 것을 발견 ㅠㅠ

도메인 문제인 것 같은데...

그렇다면 서버에서 어떻게 설정을 해 주어야 다른 도메인에서도 접근 가능하도록 해 줄 수 있는것일까? 하고 다시 구글링 돌입...

 

결국 https://spring.io/guides/gs/messaging-stomp-websocket/#_configure_spring_for_stomp_messaging 부분에서 보이는 것 처럼 endpoint 설정 시 접근할 수 있는 도메인을 추가로 정해 주면 되는 것이었다.

내가 찾은 stackoverflow의 좌표는 https://stackoverflow.com/questions/30502943/spring-websocket-connecting-with-sockjs-to-a-different-domain

 

이전 코드

@Override
public void registerStompEndpoints(StompEndpointRegistry registry) {
	// WebSocketMessageBrokerConfigurer.super.registerStompEndpoints(registry);
	registry.addEndpoint("/stork-websocket").withSockJS();
}

 

수정 된 코드

@Override
public void registerStompEndpoints(StompEndpointRegistry registry) {
	// WebSocketMessageBrokerConfigurer.super.registerStompEndpoints(registry);
	registry.addEndpoint("/stork-websocket").setAllowedOrigins("*").withSockJS();
}

 

 

결국 setAllowedOrigins("*") 하나를 위해서 2주 정도 삽질을 하게 된 ㅠㅠ

물론 이것 뿐 아니라... 현재 웹 소켓에 동시 접속된 유저 수를 구하기 위해 프로젝트를 새롭게 구성할 필요가 있긴 했다.

 

동접자 구하는 소스는 참고로 아래와 같다.

다만... 공식적인 소스가 아니라 그냥 디버깅 해 가면서 만든 소스라서 정확하게 동작 안 할 수 도 있다.

 

Websocket Config 정의하는 Class 내에 아래와 같이 inbound interceptor를 정의 한다.

@Override
public void configureClientInboundChannel(ChannelRegistration registration) {
	registration.interceptors(new WebSocketInterceptor());
}

 

 

그리고 나서 인터셉터에서 세션을 Set에 담아 size를 구해와서 사용하면 된다.

package com.auctionblue.bluemessenger.interceptor;

import java.util.HashSet;
import java.util.Set;

import org.apache.commons.lang3.StringUtils;
import org.springframework.messaging.Message;
import org.springframework.messaging.MessageChannel;
import org.springframework.messaging.support.ChannelInterceptorAdapter;

public class WebSocketInterceptor extends ChannelInterceptorAdapter {
	Set<String> sessionSet = new HashSet<>();

	@Override
	public Message<?> preSend(Message<?> message, MessageChannel channel) {
		String simpMessageType = String.valueOf(message.getHeaders().get("simpMessageType"));
		
		if(StringUtils.equals(simpMessageType, "CONNECT")) {
			String simpSessionId = String.valueOf(message.getHeaders().get("simpSessionId"));
			sessionSet.add(simpSessionId);
		} else if(StringUtils.equals(simpMessageType, "DISCONNECT")) {
			String simpSessionId = String.valueOf(message.getHeaders().get("simpSessionId"));
			sessionSet.remove(simpSessionId);
		}
		
		int uniqueJoinSessionCount = sessionSet.size();
		System.out.println(uniqueJoinSessionCount);
		
		return super.preSend(message, channel);
	}
}

 




WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  4개가 달렸습니다.
  1. 비밀댓글입니다
    • boot랑 spring이랑 차이 없지 않나요?
      maven pom.xml에서 의존성만 설정하고 필요한 라이브러리만 가지고 오면 상관 없을 것으로 보입니다.

      다만 주의 하실 것은 위 내용처럼 도메인 크로스 체크 부분인 것으로 보입니다.

      설정 역시 예제 스프링 소스가 있는 링크에 다 있는 것으로 압니다. ^^
  2. 감사감사 2018.11.28 13:45
    내가 찾던 내용
secret


구매후기 이미지 업로드에서 오류가 나고 있어서 해당 내용을 검토 중에 알게 된 내용을 정리합니다.

기본적으로 아래와 같은 방식으로 업로드가 되고 있습니다.

 

브라우저 -> php -> Java

 

그런데 문제는 어느 한쪽의 문제가 아니라 php, Java 둘다 문제가 발생...

그리고 문제의 원인은 둘다 Version Up이였습니다.

 

1. 먼저 Java

Error Message가 "Required MultipartFile parameter 'file' is not present" 라고 발생.

구글링 하니 http://stackoverflow.com/questions/25830503/spring-mvc-http-status-400-required-multipartfile-parameter-file-is-not-pre 가 검색 됨.

 

아래와 같은 방식으로 수정

 

AS-IS

<bean id="multipartResolver" class="**org.springframework.web.multipart.commons.CommonsMultipartResolver**" />

TO-BE

<bean id="multipartResolver" class="org.springframework.web.multipart.support.StandardServletMultipartResolver" />

 

2. 다음으로 PHP

 

PHP에서 Java 쪽으로 파일을 올릴 때는 CURL을 사용했는데 기존에 /tmp에 올라온 임시 파일을 읽어 들일 때는 @를 사용해서 리소스를 읽어 들였음.

php 5.5.0 기준 Deprecated 된 기능이라서 다른 방법으로 수정

if (!function_exists('curl_file_create')) {
	$data = array(
		'Filedata' => '@'.$file['tmp_name'].';filename='.$file['name'].';type='.$file['type']
	);
	$ch = curl_init();
} else {
	$ch = curl_init($api_url.$uri);
	$cfile = curl_file_create($file['tmp_name'], $file['type'], $file['name']);

	$data = array(
		'Filedata' => $cfile
	);
}

 

 




WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret


Spring Batch를 그닦 많이 써본 경험이 없지만, 특정 요구 사항이 있어서 개발하게 되었습니다.

작업을 하면서 겪은 오류를 어떻게 해결 했는지 History 및 Backup을 위해 적어 둡니다.


보통 배치는 Reader와 Writer로 구분합니다.

특정 정보를 Reader에서 읽어 들여서 필요한 내용을 가공하고 Writer에서 필요한 행동을 합니다.


그런데 Reader에서 정보를 읽어 들이고 가공하는 시간이 오래 걸리면서 Writer에서 DB Connection을 못 찾게 되고, Writer 작업을 수행하지 못하게 되는 경우가 발생했습니다.


구글링을 한 결과 "autoReconnect 값을 true로 해라", "validationQuery를 날려라" 등등이 나왔지만 유효하지 않은 해결책이였습니다.


결국 찾아낸 해결 방법은 applicationContext.xml에서 database 관련 다음의 옵션을 수정하는 거였습니다.


testOnBorrow : true


이 옵션은 커넥션 풀에서 커넥션을 가져올 경우 유효한지 검사하는 것인데

일반적인 웹서비스에서는 커넥션이 자주 맺고 끊어져서 이 옵션과 상관없이 잘 동작 하는데

배치와 같이 특별한 경우에는 기존 커넥션을 사용하려다가 연결 해제된 커넥션을 검증 안하고 쓰면서 발생한 문제였습니다.

즉 testOnBorrow가 false인 경우에는 유효하지 않은 커넥션을 사용할 수 있으므로, Writer에서 에러가 종종 발생하게 된 것입니다.





WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret


다국어 사용을 위해서 그동안 Struts2 기반 MessageUtil만 사용하다가 Spring 기반으로 변경하기 위해 구글링, 작업한 내용을 정리 차원에서 올립니다.

 

1. applicationContext.xml에 다음 내용을 추가

 

<!-- for MessageUtil -->
<bean id="messageSource" class="org.springframework.context.support.ReloadableResourceBundleMessageSource">
	<property name="basenames">
		<list>
			<value>/WEB-INF/messages/messages</value>
		</list>
	</property>
	<property name="cacheSeconds" value="100000" />
	<property name="defaultEncoding" value="UTF-8" />
</bean>
<bean id="messageSourceAccessor" class="org.springframework.context.support.MessageSourceAccessor">
	<constructor-arg ref="messageSource"/>
</bean>
<bean id="messageUtil" class="package.path.MessageUtil">
	<property name="messageSourceAccessor" ref="messageSourceAccessor"/>
</bean>

 

2. MessageUtil

import java.util.Locale;

import javax.servlet.http.HttpServletRequest;

import org.apache.commons.lang.StringUtils;
import org.springframework.context.support.MessageSourceAccessor;
import org.springframework.web.context.request.RequestContextHolder;
import org.springframework.web.context.request.ServletRequestAttributes;

public class MessageUtil {
	private static MessageSourceAccessor messageSourceAccessor = null;
     
    public void setMessageSourceAccessor(MessageSourceAccessor msAcc) {
		this.messageSourceAccessor = msAcc;
	}

	public static Locale getLocale() {

		Locale defaultLocale = Locale.ENGLISH;

		HttpServletRequest request = ((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getRequest();
		String headerLocale = request.getHeader("Accept-Language");

		if (StringUtils.isNotBlank(headerLocale)) {
			if (headerLocale.indexOf(Locale.JAPAN.getLanguage()) != -1) {
				defaultLocale = Locale.JAPAN;
			} else if (headerLocale.indexOf(Locale.KOREA.getLanguage()) != -1) {
				defaultLocale = Locale.KOREA;
			}
		}

		return defaultLocale;
	}

	public static String getMessage(String key) {
		return messageSourceAccessor.getMessage(key, getLocale());
	}

	public static String getMessage(String key, Object... args) {
		return messageSourceAccessor.getMessage(key, args, getLocale());
	}

	public static String getMessage(Locale locale, String key, Object... args) {
		return messageSourceAccessor.getMessage(key, args, locale);
	}
}

 

 

참고 사이트

http://springsource.tistory.com/113

http://blog.naver.com/pureb612b/10120505318

http://zinlee.tistory.com/204




WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret


출처 : http://warmz.tistory.com/727


1. HttpServletRequest, HttpServletResponse


2. HttpSession


3. Local

 - java.util.Locale 지역 정보


4. InputStream, Reader

 - HttpServletRequest의 getInputStream(), Reader


5. OutputStream, Writer

 - HttpServletResponse의 getOutputStream(), Writer - 서블릿 형태로 만들때 사용한다.


6. @PathVariable

 - @RequestMapping의 URL {} 부분의 패스 변수를 받는다.

    만약 타입이 틀린 값이 들어오면 HTTP 400 - Bad Request 가 전달 된다.

1
2
@RequestMapping("/board/{id}")
public void view( @PathVariable("id") int id ) {...}
 

7. @RequestParam

 - 스프링 내장 변환기가 다룰 수 있는 모든 타입을 지원한다.

   해당 파라미터가 없다면 HTTP 400 - Bad Request 가 전달 된다.

 -  file의 경우는 <input type="file" name="file" /> 에 매핑 된다.

1
2
3
public String edit( @RequestParam("id") int id,
            @RequestParam("title") String title,
            @RequestParam("file") MultipartFile file ) {...}
 

 -  맵 형태로 받으면 모든 파라미터 이름은 맵의 키에 파라미터 값은 맵의 값에 담긴다. 

1
public String add( @RequestParam Map<String, String> params ) {...}

-  파라미터가 필수가 아니라면 required = false 로 지정하면 된다. 

   이때 파라미터가 없으면 NULL이 들어간다. default 값을 지정 할 수도 있다. 

1
2
3
public void view( @RequestParam(value = "id",
                        required = false,
                        defaultValue = "0" int id) {..}.
 

8. @CookieValue

 - @RequestParam과 동일 하며 쿠키값을 가져올 때 사용한다.

1
2
public String check( @CookieValue("check") String check,
                required = false, defaultValue = "" ) {...}
 

9. @RequestHeader

 - 헤더 정보를 메소드 파라미터에 넣어 준다. Ajax로 처리할때 $.ajax(...) 에서 head에 특정 값을 넣고 여기서 받아서 

   있으면 ajax이고 없으면 일반페이지라는 식으로 이용하면 된다.

1
public String header( @RrequestHeader("ajax") String ajax ) {...}
 

10. Map, Model, ModelMap

 - view를 String으로 리턴해 주고 Attribute를 Map, Model, ModelMap 에 담을 수 있다.

 

11. @ModelAttribute

 - 파라미터를 Object형태로 받을때 사용된다. 일반적인 파라미터 형태로 쓰인 경우 타입이 일치하지 않으면 객체에 매핑 되지 

   않으며 에러는 발생 시키지 않는다. 자동으로 ModelMap에 담기므로 modelMap.addAttribute를 해 줄 필요가 없다.

1
public void update( @ModelAttribute("board") Board board) {...}

 - 메소드에도 @ModelAttribute를 설정 할 수 있다. 리턴값이 항상 나머지 컨트롤러에 자동 추가 되며 보통 참조용 데이터 등에 

   이용된다.

1
2
@ModelAttribute("emailList")
public Map<String, String> getEmailList() { ... }
 

12. Errors, BindingResult

  - 모델의 값을 검정한다. 이때 BindingResult나 Errors의 파라미터 값의 위치는 반드시 @ModelAttribute 뒤에 위치해야 한다. 

     자신의 바로 앞에 있는 @ModelAttribute 파라미터의 검정 작업만 하기 때문이다.

1
2
@RequestMapping(value = "/board/add", method = RequestMethod.POST)
public String add( @ModelAttribute("board") Board board, BindingResult result ) {...}
 

13. SessionStatus

 - 모델 오브젝트를 세션에 저장하여 계속 사용한다. 더이상 모델 오브젝트를 사용하지 않을 때는 세션에서 제거해 줘야 한다.


14. @RequestBody

 - HTTP body 부분만 전달 한다. XML 이나 JSON 으로 출력 할 경우 사용한다.

   리턴타입의 @ResponseBody 를 참조하자.

 

15. @Value

 - 프로퍼티값이나 값을 파라미터에 적용한다.

1
2
3
4
5
6
7
8
9
public class BoardController {
    @Value("${eng.url}")
    String engUrl;
 
    @RequestMapping(..)
    public String gotoEng() {
        return this.engUrl;
    }
}
 
 - 위는 프로퍼티중 eng.url 의 값을 String engUrl에 매핑 시키고 메소드에서 사용한 케이스다. 파라미터에도 적용 된다.

1
2
3
public String gotoEng( @Value("${eng.url}") String engUrl ) {
    return engUrl;
}
 

16. @Valid

 - JSR - 303 검증기를 이용해서 @ModelAttribute를 검정하도록 한다.

1
public String add( @Valid @ModelAttribute("board") Board board, BindingResult result ) { ...}





WRITTEN BY
체리필터
프로그램 그리고 인생...

트랙백  0 , 댓글  0개가 달렸습니다.
secret