Spring Batch를 활용한 대용량 데이터 처리

🔹 개요

대량의 데이터를 효율적으로 처리하는 것은 백엔드 개발에서 중요한 과제 중 하나입니다.

Spring Batch는 이러한 요구를 충족시키기 위해 설계된 프레임워크로, 배치 작업을 안정적이고 확장 가능하게 실행할 수 있도록 도와줍니다.

본 포스팅에서는 Spring Batch의 기본 개념부터 실전 예제, 성능 최적화 기법까지 상세히 다뤄보겠습니다.

🔹 Spring Batch란?

Spring Batch는 대량의 데이터를 일정한 주기로 처리하는 데 최적화된 프레임워크입니다. 주로 다음과 같은 경우에 사용됩니다.

• 정기적인 데이터 처리: 예를 들어, 매일 새벽 특정 데이터를 가공하는 경우
• ETL(Extract, Transform, Load) 작업: 데이터를 읽고 변환 후 저장하는 과정
• 대량의 트랜잭션 처리: 금융, 물류 시스템 등에서 대량의 데이터를 한 번에 처리할 때

 

✅ Spring Batch 주요 특징

• 청크(Chunk) 기반 데이터 처리: 데이터를 일정 단위(청크)로 나누어 처리하여 메모리 효율성을 극대화
• 트랜잭션 관리: 처리 중 오류가 발생하면 롤백 지원
• 재시작 가능성: 실패한 배치 작업을 중단된 지점부터 다시 실행 가능
• 병렬 처리 지원: 멀티 스레드, 파티셔닝(Partitioning) 등 고성능 데이터 처리를 위한 기능 제공

 

🔹 Spring Batch 아키텍처 및 주요 컴포넌트

Spring Batch는 Job을 중심으로 동작하며, 그 내부에서 Step을 통해 작업이 수행됩니다. 주요 컴포넌트는 다음과 같습니다.

1. Job: 배치 작업의 실행 단위
2. Step: Job 내부에서 개별적으로 실행되는 단위
3. ItemReader: 데이터를 읽는 역할 (예: DB, CSV, API 등에서 데이터 로드)
4. ItemProcessor: 데이터를 가공하는 역할 (예: 변환, 필터링 등)
5. ItemWriter: 데이터를 저장하는 역할 (예: DB, 파일 등)

 

🔹 대용량 데이터 처리를 위한 성능 최적화 기법

대용량 데이터를 처리할 때 성능을 극대화하는 방법을 알아봅니다.

✅ 1. 청크 기반 처리 (Chunk-Oriented Processing)

• 데이터를 일정 크기로 나누어 한 번에 처리하는 방식
• 청크 단위로 트랜잭션이 적용되므로, 장애 발생 시 일부 데이터만 롤백 가능

@Bean
public Step chunkStep() {
    return stepBuilderFactory.get("chunkStep")
        .<InputData, ProcessedData>chunk(1000) // 한 번에 1000개씩 처리
        .reader(itemReader())
        .processor(itemProcessor())
        .writer(itemWriter())
        .build();
}

✅ 2. Cursor 기반 vs 페이징 기반 데이터 처리

• Cursor 기반: 데이터베이스 커서를 이용해 데이터를 순차적으로 읽음 → 메모리 절약 가능
• 페이징 기반: 데이터를 페이지 단위로 가져옴 → 대량 데이터 처리 시 성능 이점이 있음

✅ 3. 멀티 스레드 & 병렬 처리

• 멀티 스레드 스텝: Step을 여러 개의 스레드로 실행하여 성능 향상
• Partitioning: 데이터를 여러 개의 청크로 나누어 분산 처리

@Bean
public TaskExecutor taskExecutor() {
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setCorePoolSize(5);
    executor.setMaxPoolSize(10);
    executor.setQueueCapacity(25);
    executor.initialize();
    return executor;
}

🔹 Spring Batch 실전 예제: CSV → DB 저장

다음은 CSV 파일에서 데이터를 읽고, 변환한 후 데이터베이스에 저장하는 예제입니다.

✅ 1. ItemReader (CSV 파일 읽기)

@Bean
public FlatFileItemReader<MyData> itemReader() {
    return new FlatFileItemReaderBuilder<MyData>()
        .name("csvReader")
        .resource(new ClassPathResource("data.csv"))
        .delimited()
        .names("id", "name", "age")
        .targetType(MyData.class)
        .build();
}

✅ 2. ItemProcessor (데이터 변환)

@Bean
public ItemProcessor<MyData, MyData> itemProcessor() {
    return item -> {
        item.setName(item.getName().toUpperCase());
        return item;
    };
}

✅ 3. ItemWriter (DB 저장)

@Bean
public JdbcBatchItemWriter<MyData> itemWriter(DataSource dataSource) {
    return new JdbcBatchItemWriterBuilder<MyData>()
        .dataSource(dataSource)
        .sql("INSERT INTO my_table (id, name, age) VALUES (:id, :name, :age)")
        .beanMapped()
        .build();
}

 

🔹 Spring Boot에서 Batch 실행 및 배포

• CommandLineRunner를 사용한 실행
• Spring Scheduler와 연동하여 주기적 실행
• 배포 시 고려해야 할 점 (DB Lock, 배치 실행 이력 관리 등)

🔹 결론

Spring Batch를 활용하면 대용량 데이터도 안정적으로 처리할 수 있습니다.