하는 일
- SeaTunnel 기반 배치 수집과 DB·파일 커넥터를 구현해요
- Spark로 변환 로직과 개인정보 마스킹 처리를 구현해요
- Apache Iceberg 테이블에 데이터를 적재하고 Polaris 카탈로그에 등록되도록 구현해요
- Airflow 일정에 따라 파이프라인을 실행하고, Kubernetes 환경에서 실행 자원을 분리해요
- OpenLineage 이벤트로 데이터 흐름을 기록하고, Great Expectations로 기본 품질 규칙을 적용해요
- 화면에서 정의한 파이프라인을 실행 코드와 설정 파일로 바꾸는 기능을 만들어요
- 실행 모니터링과 역할 기반 권한(Keycloak, OPA) 연동 기능을 구현해요
지원 자격
- Python과 SQL로 데이터 파이프라인을 직접 구현하고 운영해 보신 분
- Airflow로 배치 워크플로를 설계하고 장애 대응까지 해 보신 분
- Spark로 대용량 변환 작업을 작성하고 성능 문제를 다뤄 보신 분
- Docker와 Kubernetes 환경에 데이터 서비스를 배포해 보신 분
- 원천 시스템에서 데이터를 가져오는 커넥터를 만들거나 고쳐 본 경험이 있으신 분
- 여러 사용자가 이용하는 기능인 만큼 예외 상황과 실패 처리까지 꼼꼼하게 구현하시는 분
우대 사항
- 제조업의 MES, ERP, SCM에서 데이터를 가져오는 연결 기능을 개발해 보신 분. 이 제품이 연결할 주요 원천 시스템이에요
- 원천 스키마가 예고 없이 바뀌어도 파이프라인이 중단되지 않도록 대응해 보신 분
- Apache Iceberg 등 테이블 포맷으로 스키마 진화, 파티셔닝, 컴팩션을 다뤄 보신 분
- DataHub, OpenMetadata 같은 데이터 카탈로그나 OpenLineage를 연동해 데이터 흐름을 추적해 보신 분
- Great Expectations 등으로 데이터 품질 규칙을 정의하고 운영해 보신 분
- 인터넷에 연결되지 않은 폐쇄망이나 온프레미스 환경에 오픈소스를 설치하고 운영해 보신 분
이 공고의 요구에서 이어갈 미션
공고에서 확인된 요구와 연결한 실습입니다. 아직 기록되지 않은 근거가 능력 부족을 뜻하지는 않아요.
현재 확인된 요구와 연결되는 미션이 없어요. 빠진 원문을 개인의 부족한 능력으로 해석하지 않습니다.
내 기준으로 보고 싶다면
로그인하면 이 공고의 요구사항 중 지금 근거로 보여줄 수 있는 것이 무엇인지 항목별로 확인할 수 있어요. 로그인