Big Data회사가 AI 회사다 보니 대규모 데이터 셋을 다룰 때가 종종 있다.이번엔 문서의 본문 내용이 포함된 대략 6만건의 데이터 셋을 insert 해야되는 mission 을 받았다. 한번에 insert 할 경우 여러 문제가 발생할 가능성이 있고 이 데이터를 처리하다가 다른 본 서비스에 지장을 줄 우려가 있었기에 local 환경에서 여러 시도를 해보고 그 결과를 남긴다. 1. Batch Insert대규모 데이터 셋을 넣어야할 프로젝트는 Mybatis를 사용중이었다.mySql은 foreach를 통해 다량의 row를 한번에 insert 할 수 있도록 지원하고 있기에 이것을 먼저 시도해봤다. 부하를 얼마나 버틸지 몰라 부분부분 나눠 테스트를 진행했다.처음은 100건을 요청했다 -> Success!!다음은..

인턴 중인 회사의 회의실 예약 프로그램을 무사히 서버에 배포했고 postman으로 값이 제대로 오가는지 확인 완료! 사실 간단한 crud 개발이라 어려울 것도 없었기에 방심하고 있었는데 같이 API를 개발 하시던 분의 파트에서 문제가 발생... 예약하기 위해 데이터를 넣었는데 postman에서 값이 안들어간다고 고쳐달라라는 앱 담당자의 요청... 점심 직후에 알려주시길래 옆에 원래 담당하시던 분이 오늘중으로 해결하겠지하고 내 일을 했다. 하지만 하루가 끝나가는데도 해결을 못하고 있었던것.. 내가 분명히 컨트롤러에 어떻게 데이터 받아야하는지 다 알려줬는데 젠장... 심지어 restController에서 작업도 안하고 있었다... 알고보니 api가 뭔지도 모르는 눈치 그래서 그냥 포기하고 내가 해야겠다 싶어..