Engenheiro de Dados
Constrói e mantém a infraestrutura que permite os dados chegarem onde precisam — limpos, organizados e prontos para análise. O encanador do mundo dos dados.
Analogia
Se os dados são água, o Engenheiro de Dados é o encanador — instala os canos (pipelines), garante que a água chega limpa (ETL) e mantém o sistema funcionando sem vazamentos.
O que essa pessoa constrói?
Constrói pipelines de ETL que coletam dados de múltiplas fontes, cria data warehouses, garante qualidade dos dados e constrói a infraestrutura que o Cientista de Dados usa.
Níveis de Senioridade
Júnior
Cria pipelines de ETL simples e trabalha com bancos de dados relacionais.
- SQL avançado
- Python com Pandas/SQLAlchemy
- Ferramentas básicas de ETL (Airflow)
- Armazenamento em nuvem básico
Pleno
Constrói pipelines complexos, gerencia data warehouse e garante qualidade.
- Apache Spark
- Apache Airflow
- Snowflake ou BigQuery
- dbt para transformações
- Streaming com Kafka
Sênior
Arquiteta a plataforma de dados da empresa, define padrões e lidera o time.
- Arquitetura de Data Mesh
- DataOps
- Governança de dados
- Otimização de custos cloud
Tecnologias utilizadas
Responsabilidades comuns
- Construir e manter pipelines de dados confiáveis
- Garantir qualidade e consistência dos dados
- Criar e manter data warehouses e data lakes
- Monitorar e alertar sobre falhas nos pipelines
- Colaborar com analistas e cientistas de dados
Tópicos típicos de entrevista
- → Diferença entre ETL e ELT
- → O que é data warehouse vs data lake
- → Como garantir qualidade de dados
- → Diferença entre processamento batch e streaming
- → Slowly Changing Dimensions (SCD)
Cargos relacionados
Cientista de Dados
Usa estatística, programação e técnicas de machine learning para extrair insights profundos dos dados e construir modelos preditivos.
Analista de Dados
Coleta, processa e analisa dados para responder perguntas de negócio. Transforma números em insights que ajudam empresas a tomar melhores decisões.
Engenheiro de Machine Learning
A ponte entre ciência de dados e engenharia de software. Pega modelos de ML criados por cientistas e os faz funcionar em produção de forma confiável e em escala.
Engenheiro DevOps
Une o desenvolvimento de software e as operações de infraestrutura. Garante que o código desenvolvido chegue ao usuário final de forma rápida, segura e confiável.