- Engenheiro de Dados Júnior
Qualificar TI
Nova
PCD
Brasília - Brasília - DF
Publicada há 10 horas
Regime de contratação
Não Informado
Modelo de trabalho
Não Informado
Carga horária
44 horas semanais
Descrição
Descrição Geral dos Serviços
- Para a realização deste serviço a CONTRATADA deverá alocar profissionais com o perfil de Engenheiro de Dados Júnior;
- Este serviço compreende a criação e manutenção assistida de Processos de Coleta e Armazenamento de Dados em um formato adequado para análise;
- Apoio em atividades relacionadas a manutenção da infraestrutura necessária para o funcionamento contínuo dos pipelines de dados;
- Coleta de dados com níveis de segurança exigidos pela empresa, seguindo a Metodologia de Consumo de dados da SEFAZ/PE;
- Disponibilização de dados em camada utilizável por diversos consumidores de dados;
- A execução deste serviço deve respeitar as tecnologias, ferramentas e metodologias definidas neste edital e estar disponível 8 horas por dia, 5 dias na semana, em horário comercial;
Atividades Básicas
- Implementar Pipeline de Dados previamente projetados para coleta, armazenamento e organização dos dados brutos de várias fontes;
- Manter os pipelines de dados para que executem seguindo programações, prazos e qualidade dos dados;
- Garantir que os dados estejam disponíveis quando necessário, capturados de maneira eficiente e segura;
- Integrar diversas fontes de dados em camada analítica disponível para consumo;
- Transformar e limpar os dados antes de disponibilizá-los para uso;
- Realizar levantamento e detalhamento dos dados nas bases fonte e alvo definidas para o pipeline de dados;
- Elaborar e manter atualizado os artefatos definidos na Metodologia de Consumo de Dados adotada pela SEFAZ/PE;
- Realizar outras tarefas, não especificadas acima, inerentes à função;
Requisitos Básicos dos Perfis
- Curso superior completo, preferencialmente na área de informática ou em área afim (tecnologia da informação);
- Experiência mínima de 06 (seis) meses em Projetos de Dados, na função de Engenheiro de Dados Júnior, que comprovem a experiência prática em:
- Tecnologias e ferramentas associadas a bancos de dados relacionais (Ex.: IBM DB2/SQL Server
- Desenvolvimento de processos ETL, para ingestão, transformação e consumo de dados;
- Ferramentas de Integração de Dados (ex.: IBM DataStage, Pentaho Data Integration, entre outras.);
- Modelagem de dados Entidade e Relacionamento, Esquema Estrela ou Multidimensional;
- Linguagem SQL;
- Trabalho em times ágeis utilizando metodologia Scrum ou Kanban.
- Conhecimentos desejáveis em:
- Sistemas de processamento distribuído com paralelismo e tolerância a falhas (Ex.: Apache Spark) de alta performance, disponibilidade e escalabilidade;
- Linguagens Python, Scala, Java ou Pyspark;
- Framework de armazenamento e processamento distribuídos para grandes conjuntos de dados em cluster (Ex.: Apache Hadoop);