[SpringBoot] 대규모 데이터 처리 (1) - mysql insert

Big Data회사가 AI 회사다 보니 대규모 데이터 셋을 다룰 때가 종종 있다.이번엔 문서의 본문 내용이 포함된 대략 6만건의 데이터 셋을 insert 해야되는 mission 을 받았다. 한번에 insert 할 경우 여러 문제가 발생할 가능성이 있고 이 데이터를 처리하다가 다른 본 서비스에 지장을 줄 우려가 있었기에 local 환경에서 여러 시도를 해보고 그 결과를 남긴다. 1. Batch Insert대규모 데이터 셋을 넣어야할 프로젝트는 Mybatis를 사용중이었다.mySql은 foreach를 통해 다량의 row를 한번에 insert 할 수 있도록 지원하고 있기에 이것을 먼저 시도해봤다. 부하를 얼마나 버틸지 몰라 부분부분 나눠 테스트를 진행했다.처음은 100건을 요청했다 -> Success!!다음은..

2024.12.22