JoyJet JoyJet

Intro 대용량 빅데이터를 스크래핑 하고, 그를 정제 및 저장할 빅데이터 분석 플랫폼을 설계 및 구축해야 하는 과제가 있었습니다. 그러나 스크래핑 될 데이터의 형태, 볼륨, 종류 등이 정해지지 않은 상태에서 아키텍처를 구상하기에는 한계가 있습니다. 특히 이전 프로젝트의 아키텍처(MSA)를 참고하기에는 새로 시작하려는 플랫폼의 목적이 달랐다는 것이 큰 문제였습니다. 구축하려는 시스템의 요구 사항이 명확하지 않은 상태에서 기술 스택을 정하는 것은 사실 불가능한 일이죠. 따라서 이후 정해질 요구 사항에 맞추어 빠른 의사 결정을 내리기 위해서는 최대한 다양한 상황을 가정하고 꼼꼼하게 기술들을 리서치한 후, 장점과 단점을 각각 비교 하여 문서화 해 둘 필요가 있습니다. 트렌디한 기술도 좋지만, 실제 프로덕션 환..