Vaga de Engenheiro de Dados

Estamos em busca de Engenheiros de Dados para atuar no desenvolvimento de pipelines de dados em ambiente AWS com Spark. A função envolve desde o levantamento de demandas junto às áreas de negócio, passando pelo desenho da solução, apresentação de alternativas propostas, desenvolvimento até a entrada em produção. Responsabilidades: Levantamento de requisitos junto às áreas de negócio. Desenho e implementação de soluções de pipelines de dados. Desenvolvimento de pipelines utilizando Spark e AWS (na linguagem Scala). Migração de soluções existentes em PySpark para Scala. Desenvolvimento de Fluxos no Airflow. Garantir as melhores práticas de desenvolvimento e performance. Requisitos Necessários: Spark (avançado): Profundo conhecimento no funcionamento e melhores práticas. Scala (avançado): Experiência em desenvolvimento para Spark. PySpark (intermediário): Habilidade para migração de scripts para Scala. AWS (intermediário): Experiência em ambiente de nuvem AWS. Airflow (intermediário): Conhecimento no desenvolvimento de fluxo com também criação de DAGs. Métodos ágeis: Experiência em projetos utilizando Scrum e/ou Kanban. Diferenciais: Experiência com EMR (AWS). Utilização Docker Utilização Kubernetes Usuários ferramentas Confluence e Jira.