Para a realização deste serviço a CONTRATADA deverá alocar profissionais com o perfil de Engenheiro de Dados Pleno;
Este serviço compreende a criação e manutenção de Processos de Coleta e Armazenamento de Dados, que transformam dados brutos de várias fontes dados em um formato adequado para análise;
Manter a infraestrutura necessária para o funcionamento contínuo dos pipelines;
Garante que os dados sejam coletados no momento certo e com os níveis de segurança exigidos pela empresa, seguindo a Metodologia de Consumo de dados da SEFAZ/PE;
Disponibilização de dados em camada utilizável por diversos consumidores de dados;
A execução deste serviço deve respeitar as tecnologias, ferramentas e metodologias definidas neste edital e estar disponível 8 horas por dia, 5 dias na semana, em horário comercial;
Atividades Básicas
Projetar e implementar Pipeline de Dados que coletam, armazenam e organizam dados brutos de várias fontes;
Manter os pipelines de dados para que executem seguindo programações, prazos e qualidade dos dados;
Identificar gargalos, otimizar o desempenho e garantir que os dados estejam disponíveis quando necessário, capturados de maneira eficiente e segura;
Integrar diversas fontes de dados em camada analítica disponível para consumo;
Transformador e limpar os dados antes de disponibilizá-los para uso;
Projetar a arquitetura de sistemas distribuídos que suportam a coleta, armazenamento e análise de dados.
Escolher em conjunto com o gestor técnico, tecnologias adequadas e definir padrões para garantir escalabilidade e confiabilidade, para construir soluções eficazes;
Realizar levantamento e detalhamento das fontes de dados fonte e alvo do pipeline de dados;
Elaborar e manter atualizado os artefatos definidos na Metodologia de Consumo de Dados adotada pela SEFAZ/PE;
Realizar outras tarefas, não especificadas acima, inerentes à função;
Requisitos Básicos dos Perfis
Curso superior completo, preferencialmente na área de informática ou em área afim (tecnologia da informação);
Experiência mínima de 02 (dois) anos em Projetos de Dados, na função de Engenheiro de Dados, que comprovem a experiência prática em:
Tecnologias e ferramentas associadas a bancos de dados relacionais (Ex.: IBM DB2/SQL Server);
Desenvolvimento de processos ETL, para ingestão, transformação e consumo de dados em ambientes big data;
Sistemas de processamento distribuído com paralelismo e tolerância a falhas (Ex.: Apache Spark) de alta performance, disponibilidade e escalabilidade;
Framework de armazenamento e processamento distribuídos para grandes conjuntos de dados em cluster (Ex.: Apache Hadoop);
Ferramentas de Integração de Dados (ex.: IBM DataStage, Pentaho Data Integration, entre outras.);
Modelagem de dados Entidade e Relacionamento, Esquema Estrela ou Multidimensional;
Análise de dados estruturados e semiestruturados;
Linguagens Python, Scala, Java ou Pyspark;
Trabalho em times ágeis utilizando metodologia Scrum ou Kanban.