ATIVIDADES

● Projetar, desenvolver e manter pipelines de dados robustos e escaláveis para processar grandes volumes de dados;

● Implementar processos de ETL para extrair dados de várias fontes, transformá-los conforme necessário e carregá-los em data warehouses, data lakes ou outras plataformas de armazenamento;

● Projetar e implementar modelos de dados que suportem análise e relatórios eficientes;

● Definir e manter a arquitetura de dados para garantir que os dados sejam organizados, acessíveis e utilizáveis;

● Monitorar e otimizar o desempenho dos pipelines de dados para garantir eficiência e rapidez;

● Implementar soluções de escalabilidade para lidar com grandes volumes de dados e aumentar a capacidade conforme necessário;

● Utilizar técnicas de particionamento, indexação e caching para melhorar a performance dos sistemas de dados;

● Implementar e manter processos de garantia

de qualidade de dados para garantir a precisão e a integridade dos dados;

● Desenvolver e utilizar ferramentas e scripts de validação para detectar e corrigir problemas de qualidade de dados;

● Monitorar continuamente a qualidade dos dados e implementar melhorias conforme necessário;

● Implementar e manter políticas de segurança de dados para proteger informações sensíveis e garantir conformidade com regulamentações e melhores práticas;

● Utilizar técnicas de encriptação, mascaramento de dados e controle de acesso para proteger os dados;

● Apoiar na implantação dos projetos de engenharia de dados;

● Implementar aplicações para mineração de dados usando scripts em linguagens de programação ou ferramentas low code fornecidas pela contratada, ● Realizar demais atividades correlatas a serem definidas pelo CONTRATANTE.

FORMAÇÃO

Possuir diploma de conclusão de curso de graduação em nível superior em qualquer área de Tecnologia da Informação (ou área correlata), fornecido por instituição de ensino superior reconhecida pelo Ministério da Educação, ou diploma de curso de graduação de nível superior em qualquer área de formação acompanhado de especialização na área de Tecnologia da Informação.

QUALIFICAÇÃO

Certificação Microsoft Certified: Azure Data Engineer Associate;

EXPERIÊNCIA

Mínimo de 5 anos de experiência em engenharia de dados, análise de dados ou áreas relacionadas; Experiência comprovada com ferramentas e tecnologias de big data, processamento de dados e ETL (Extract, Transform, Load); Experiência no tratamento e movimentação de grandes volumes de dados (Big Data); Experiência com bancos de dados relacionais (SQL Server, PostgreSQL, Oracle) e não relacionais (MongoDB, Cassandra, Hadoop); Proficiência em linguagens de programação e scripting, como Python, .Net, Java, Scala, SQL; Experiência com frameworks de processamento de dados, como Apache Spark, Apache Flink, Hadoop, etc; Conhecimento em ferramentas de ETL; Conhecimento em arquitetura de dados, modelagem de dados e design de data warehouses e data lakes; Habilidades em ferramentas de visualização de dados, como Tableau, Power BI, ou similares; Conhecimento em bancos de dados analíticos, como IBM DB2 Colunar e SQL Server Analysis Services; Conhecimento em CI/CD e ferramentas de integração contínua. Conhecimento em técnicas e ferramentas de mineração de dados.