A Maxxi é uma empresa jovem e cheia de energia. Nascemos nessa nova era representada pela diversidade de ideias e inovação contínua e por isso seguimos crescendo em ritmo acelerado e em constante transformação.

Estamos buscando um (a) Engenheiro de Dados especializado em Databricks que será responsável por criar, otimizar e manter pipelines de dados robustos, garantindo sua integração, transformação, qualidade e segurança. Construir e manter processos de ETL em Data Lakes, recebendo os requisitos e análises dos clientes para desenvolver novos processos e se certificar de que a segurança e modelagem de dados ocorrem com as melhores práticas no mercado.

Responsabilidades e atribuições

Construir e manter dados, se reportando e analisando processos para um Data Lake AWS;

Gerenciar soluções e infraestrutura AWS para dados, auxiliando em desenvolvimentos;

Desenvolver rotinas auxiliares para monitorar ambientes (trabalhos, aplicações, queries)

Ajudar nas decisões de arquitetura e construção de pipeline de dados;

Desenvolver e implantar trabalhos ETL/ELT, consumindo dados de diferentes tipos de fontes;

Desenvolver, rodar e manter testes de carga;

Consertar bugs, analisando suas causas para uma melhoria contínua;

Evolução de esquemas de dados e documentações para entregar o valor de negócio.

Desenvolver pipelines escaláveis;

Iintegrar diversas fontes de dados;

Realizar transformações usando Spark; 

Gerenciar infraestrutura de clusters;

Assegurar a governança e a conformidade dos dados; 

Colaborar com equipes multidisciplinares, implementar políticas de segurança e documentar processos. 

Requisitos e qualificações

• Experiência com Data Lake ou projetos DW
• Experiência com pipeline de dados e modelagem de dados;
• Experiência prévia com Big Data, open standards e tecnologias open source;
• Experiência prévia com SQL e RDBMS, incluindo otimização de performance;
• Conhecimento em escalabilidade e problemas de performance;
• Bom conhecimento de programação em Python;
• Inglês intermediário para leitura e escrita.