Vaga de Engenheiro de Dados AWS Pleno (Remoto)

Papel na empresa: Construir pipeline de dados entregando modelo de dados nas camadas Bronze, Silver, Gold para o time de negócios ter capacidade de analisar dados e tomar decisoes. Responsabilidades: - Proficiência em procedimentos e ferramentas de desenvolvimento de software, como git, gitflow, pre-commit, pylint e pydocstyle. - Desenvolvimento avançado de scripts, frameworks e módulos em Python, integração com ferramentas como PySpark e Delta Lake. - Experiência em desenvolvimento de scripts SQL de qualquer complexidade e otimização de queries. - Implementação de aplicações, infraestrutura e segurança na AWS, compreendendo processos de implementação. - Habilidades e conhecimentos em processos de teste (unit, integration, end) usando ferramentas como pytest e mock de serviços AWS. - Arquitetura avançada de modelagem de dados orientada ao negócio, abordando requisitos transacionais e analíticos. - Experiência em estruturas de catalogação de dados e governança de dados. - Profundo entendimento e explicação crítica dos conceitos de Big Data e computação em nuvem. - Design e implementação de soluções de ingestão de dados utilizando ferramentas como SparkJDB, pyODBC, Sqoop, DMS. - Trabalho com ferramentas de orquestração como Step Functions, Airflow e Databricks Workflows. - Domínio avançado do Spark, incluindo configurações e arquitetura. - Projetar e implementar projetos complexos de DW, Data Lake e Data Lake House. - Implementação de soluções para gerenciamento de políticas de vida dos dados e uso eficaz de recursos para backup, restauração e versionamento. - Análise avançada de logs e aplicação de métricas nos pipelines de dados. - Implementação de soluções DevOps com CloudFormation, Terraform e CDK. - Projeto e implementação de aplicações na AWS seguindo princípios de privilégio mínimo, acesso privado a dados e política de acesso restrita a ambientes. - Conhecimento e aplicação de criptografia em repouso e em trânsito. - Gerenciamento de chaves de acesso utilizando cofres de senhas. Requisitos: - Experiência avançada em desenvolvimento com Python, incluindo a criação e manutenção de scripts, frameworks e módulos. - Conhecimento sólido em SQL, com habilidade para desenvolver scripts de complexidade mediana, formato ou estrutura. - Experiência prática em implementação de aplicações, infraestrutura e segurança na AWS. - Habilidades avançadas em testes, abrangendo testes unitários, de integração e end-to-end, utilizando ferramentas como pytest, e compreensão de processos de mock de serviços AWS. - Experiência em arquitetura de modelagem de dados orientada ao negócio, estruturas de catalogação de dados e governança de dados. - Profundo entendimento e capacidade crítica para explicar os conceitos de Big Data e computação em nuvem. - Habilidade avançada na criação de soluções de ingestão de dados usando ferramentas como SparkJDB, pyODBC, Sqoop, DMS, entre outras. - Conhecimento e utilização de ferramentas de orquestração, como Step Functions, Airflow e Databricks Workflows. - Domínio avançado do Spark, incluindo configurações e arquitetura. - Experiência na concepção e implementação de projetos complexos de DW, Data Lake e Data Lake House. - Implementação de soluções para gerenciamento de políticas de vida dos dados, backup, restauração e versionamento. - Habilidade avançada na análise de logs e aplicação de métricas nos pipelines de dados. - Implementação de soluções DevOps utilizando ferramentas como CloudFormation, Terraform e CDK. - Projeto e implementação de aplicações na AWS seguindo princípios de privilégio mínimo, acesso privado a dados e política de acesso restrita a ambientes. - Conhecimento avançado em criptografia em repouso e em trânsito. - Experiência em gerenciamento de chaves de acesso usando cofres de senhas. Nossos Incentivos: 1. Auxílio médico; 2. Gympass; 3. Auxílio terapia; 4. Teleatendimento em Nutrição; 5. Seguro de vida; 6. Day off no dia do aniversário; 7. Parceria com instituições de ensino com desconto em cursos (Anhanguera e FIAP); 8. Gameficação interna (troque ações por prêmios); 9. Acesso a nossa plataforma de cursos SideSchool; 10. English Club; 11. Reembolso Bônus por certificação. Entre outros Atuação remota. Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes .