[직업정보] 데이터 엔지니어

데이터 엔지니어

 

데이터 엔지니어

[목차]
- 데이터 엔지니어란
- 데이터 엔지니어가 하는 일
- 데이터 엔지니어의 필요역량
- 직업전망

 

데이터 엔지니어란

데이터 엔지니어란 데이터를 수집 관리하는 사람을 말합니다. 데이터 엔지니어는 데이터를 수집, 가공, 적재하여 데이터가 흐르는 파이프 라인을 설계하고 구축하는 역할을 합니다.

 

데이터 엔지니어가 하는 일

데이터 엔지니어는 회사의 서비스에서 파생되는 데이터들과 3rd party에서 생성되는 데이터들을 클라우드 혹은 온프레미스(On-premise) 환경에 있는 데이터 인프라에 수집하고 가공 및 관리하는 업무를 합니다. 데이터 엔지니어는 데이터 과학자와 데이터 분석가가 데이터를 활용할 수 있도록 데이터 플랫품을 구축하는 업무를 하며 이를 통해 과학자와 분석가가 이를 활용하여 비즈니스적 가치를 창출합니다. 그래서 원천 데이터의 생성 및 수집부터 데이터를 가공해 데이터 레이크(Date lake), 데이터 웨어하우스(Date warehouse)를 활용할 수 있는 각종 오픈소스들을 구축 및 관리해 데이터 인프라를 제공합니다. 만약 초기에 데이터 인프라가 구축이 안되어 있다면 구축 업무를 주로 하며 구축이 완료된 이후부터는 운영성 업무가 주로 이루게 됩니다. 또한 데이터 관련 기술이 발달되어 데이터 인프라에 대한 고도화가 필요할 경우 운영과 구축업무를 진행해 효율화를 진행합니다.

 

필요역량

데이터 엔지니어는 대규모 데이터를 처리하기 위해 분산처리에 대한 기술적 이해가 필요하며, 다른 데이터 직군보다 소프트웨어 개발 역량이 중요합니다. 4년제 컴퓨터 관련 학과, 빅데이터 관련 학과 등을 전공하면서 자료구조, 운영체제, 특정 프로그래밍 언어에 대한 깊은 이해, 네트워크, 알고리즘 등을 익히는 것이 좋습니다. 주로 빅데이터 플랫폼인 Hadoop M/R, Hive, Spark와 관련된 경험과 java, C, C++, Python 기술을 필요로 합니다.  한국데이터산업진흥원의 데이터 엔지니어링 강좌 등을 비롯해 민간아카데미에서도 빅데이터 엔지니어 관련 교육 등이 개설되어 있습니다. SQLD, DAP, DAsP 등의 자격이 관련이 있지만 자격증보다 실무 경험이 더 필요합니다.

 

데이터 엔지니어는 다른 직군과 협업할 일이 많아서 기획, 마케팅, 비즈니스에 관심이 있고 커뮤니케이션 역량이 있으면 좋습니다. 또한, 데이터 활용에 대한 이해가 있어야 더 효율적으로 데이터 파이프라인을 구성할 수 있기 때문에 AI, 데이터 분석에 관심이 있다면 업무에 도움이 됩니다.

 

직업전망

전 세계 엔지니어링 빅데이터 시장은 2025년 28억 달러 내외의 시장규모로 성장이 예상됨에 따라 국내 데이터 엔지니어에 대한 일자리 수요는 꾸준할 것이라고 합니다. 기업에서 발생하는 데이터의 양은 기하급수적으로 증가하고 있고 관련되어 사용되는 솔루션에 대한 비용, 데이터를 활용하기 위한 비용도 커지고 있으며 관련 시장도 성장하고 있는 추세입니다. AI는 이제 기업에서 필수적인 기술 혹은 다른 기업과의 경쟁력, 차별점으로 되어 가고 있습니다. 이러한 상황에서 AI의 고도화를 위해서는 데이터 활용이 필수적인 만큼 데이터 엔지니어의 역할이 중요합니다. 현재 데이터산업분야에서 데이터 엔지니어의 종사 비중은 16.1% 정도 차지하고 있다고 합니다.

 

국내는 아직 데이터를 중심으로 사업을 하는 대규모 기업이 없으나 미국 등 해외는 클라우드 기반의 데이터 저장업체 등이 기업의 데이터 가치를 높이고 데이터를 통해 기업들이 비즈니스에 필요한 인사이트를 얻도록 하는 기업이 늘어나는 추세입니다. 국내도 점차 데이터 관련 스타트업들이 늘어날 것으로 보이며, 데이터 엔지니어의 수요도 증가할 것으로 전망이 됩니다.

 

<참고: 한국고용정보원, 디지털그린 직업정보>

 

[함께 보면 좋은 글]

[직업정보] 데이터 과학자

[직업정보] 데이터 분석가

[직업정보] 데이터 엔지니어

[직업정보] 데이터 중개사

[직업정보] 인공지능전문가

[직업정보] IT 컨설턴트

[직업정보] 플랫폼 기획자

[직업정보] VR/AR 콘텐츠 기획가