Data Engineer - Senior Level - Banco de Talentos

Estamos contratando um(a) Data Engineer - Senior Level com vasta experiência em AWS e Databricks para desenvolver soluções de dados escaláveis que impulsionem a IA e o aprendizado de máquina de última geração. Aqui você vai colocar a mão na massa em projetos que fazem a diferença, trocar ideias com pessoas incríveis e ajudar a criar soluções que vão escalar de verdade.
Você fará parte de um time global, colaborando com pessoas incríveis no Brasil, EUA e Índia, contribuindo desde o planejamento até a entrega final. Queremos alguém com boa comunicação, organização para gerenciar suas tarefas e energia para transformar desafios em soluções criativas. Se você é movido(a) pela vontade de aprender, colaborar e entregar sempre o seu melhor, vai se sentir em casa no nosso time!

Pronto(a) para construir o futuro com a gente? Então vem fazer parte do time Novatics 💜

Sua missão por aqui: 

• Projetar, construir e gerenciar infraestruturas de dados em larga escala utilizando diversas tecnologias da AWS, como Amazon Redshift, AWS Glue, Amazon Athena, AWS Data Pipeline, Amazon Kinesis, Amazon EMR e Amazon RDS.

• Projetar, desenvolver e manter pipelines e arquiteturas de dados escaláveis no Databricks utilizando ferramentas como Delta Lake, Unity Catalog e Apache Spark (Python ou Scala) ou tecnologias similares.
• Integrar o Databricks com plataformas de nuvem como a AWS para garantir um fluxo de dados tranquilo e seguro entre os sistemas.

• Construir e automatizar pipelines de CI/CD para implantação, teste e monitoramento de fluxos de trabalho e tarefas de dados do Databricks.

• Otimizar continuamente os fluxos de trabalho de dados para desempenho, confiabilidade e segurança, aplicando as melhores práticas do Databricks em governança e qualidade de dados

• Colaborar com cientistas de dados, engenheiros de software, gerentes de produtos e outras partes interessadas importantes para desenvolver soluções e modelos baseados em dados.

• Garantir o desempenho, a disponibilidade e a segurança dos conjuntos de dados em toda a organização, utilizando o conjunto de ferramentas da AWS para gerenciamento de dados.

• Traduzir requisitos funcionais e técnicos complexos em propostas detalhadas de design e implementá-las.

• Mentorar engenheiros de dados juniores e plenos, promovendo uma cultura de aprendizado e aprimoramento contínuos na equipe.

• Identificar, solucionar e resolver problemas complexos relacionados a dados.

• Otimizar e ajustar consultas e processos de dados para melhor desempenho.

• Manter-se informado sobre as últimas tendências e tecnologias do setor para garantir que nossa infraestrutura de dados seja moderna e robusta.

• Garantir o desempenho, a disponibilidade e a segurança dos conjuntos de dados em toda a organização, utilizando o conjunto de ferramentas da AWS para gerenciamento de dados.

O que você precisa saber para brilhar com a gente:

• Inglês Avançado para conversação.

• Experiência prática com tecnologias de engenharia de dados da AWS, como Amazon Redshift, AWS Glue, AWS Data Pipeline, Amazon Kinesis, Amazon RDS e Apache Airflow.

• Experiência prática com Databricks, incluindo Delta Lake, Apache Spark (Python ou Scala) e Unity Catalog.

• Proficiência comprovada em bancos de dados SQL e NoSQL, ferramentas ETL e fluxos de trabalho de pipeline de dados.

• Experiência com Python e/ou Java.

• Aprofundamento em estruturas de dados, modelagem de dados e arquitetura de software.

• Familiaridade com ferramentas e processos de observabilidade de sistemas, alertas e resposta a incidentes.

• Disponibilidade para atuação em times de diferentes países e fusos horários em um ambiente de engenharia distribuído.

• Familiaridade com ferramentas de desenvolvimento assistido por IA (por exemplo, Cursor, GitHub Copilot, Amazon

CodeWhisperer) e grande interesse em usá-las para acelerar fluxos de trabalho de engenharia.

• Mentalidade inovadora com histórico de adoção ou teste de novas ferramentas, estruturas ou abordagens para melhorar a escalabilidade, a confiabilidade ou a eficiência do desenvolvedor da infraestrutura.

O que combina com o nosso time:

• Fortes habilidades de resolução de problemas e atenção aos detalhes.

• Capacidade de trabalhar de forma independente, com excelentes habilidades organizacionais e multitarefas.

• Excelentes habilidades de comunicação, com capacidade de explicar conceitos complexos de dados para stakeholders não técnicos.

• Bacharelado em Ciência da Computação, Sistemas de Informação ou área correlata.

Vai ser incrível se você também tiver:

• Experiência com tecnologias de IA e aprendizado de máquina.

• Mestrado na área de Dados.

Candidate-se

preenchendo o formulário abaixo: