Apache Airflow
Plataforma para criar, agendar e monitorar pipelines de dados como DAGs (grafos acíclicos dirigidos) usando código Python.
Analogia
Airflow é como um maestro de orquestra para dados — define a ordem em que cada instrumento (tarefa) toca, garante que nenhuma toque antes de hora e avisa se alguém errar a nota.
Contextos de uso
Iniciante
Cria DAGs simples com BashOperator e PythonOperator para tarefas agendadas.
Intermediário
Usa hooks e connections, cria operadores customizados, configura XComs.
Avançado
Escala com CeleryExecutor ou KubernetesExecutor, cria providers para serviços.
Cargos que usam Apache Airflow
Engenheiro de Dados
Constrói e mantém a infraestrutura que permite os dados chegarem onde precisam — limpos, organizados e prontos para análise. O encanador do mundo dos dados.
Engenheiro de Machine Learning
A ponte entre ciência de dados e engenharia de software. Pega modelos de ML criados por cientistas e os faz funcionar em produção de forma confiável e em escala.
Engenheiro de Analytics
Organiza e transforma dados para análises confiáveis, criando a camada entre engenharia de dados e BI moderna.
Tecnologias relacionadas
Python
LinguagemPython é como o canivete suíço das linguagens de programação — serve para quase tudo e é fácil de usar.
Cargos relacionados
Desenvolvedor Python, Desenvolvedor Full Stack Python, Analista de Dados
dbt (data build tool)
Dadosdbt é como um Git para SQL de transformação de dados — você versionna, documenta e testa suas queries SQL como se fossem código de software profissional.
Cargos relacionados
Analista de BI Sênior, Engenheiro de Analytics
Apache Spark
DadosSpark é como ter um exército de funcionários trabalhando em paralelo — em vez de uma pessoa processar 1 bilhão de registros, mil pessoas processam 1 milhão cada uma.
Cargos relacionados
Cientista de Dados, Engenheiro de Dados, Engenheiro de Machine Learning
Docker
DevOps/InfraDocker é como uma marmita — você embala a refeição com tudo dentro (comida, talher, molho) e ela chega igual para qualquer pessoa, em qualquer lugar.
Cargos relacionados
Desenvolvedor Node.js, Desenvolvedor Python, Desenvolvedor Java
Kubernetes
DevOps/InfraKubernetes é como o gerente de uma cozinha industrial — ele decide quantos cozinheiros (contêineres) precisam trabalhar em cada momento e substitui os que ficam doentes.
Cargos relacionados
Desenvolvedor Java, Desenvolvedor Go (Golang), Engenheiro DevOps
Snowflake
Banco de DadosSnowflake é como um armazém frigorificado de supermercado — você pode ter mais câmaras frias (armazenamento) ou mais empilhadeiras (processamento) sem precisar mudar a estrutura inteira.
Cargos relacionados
Analista de BI Sênior, Engenheiro de Analytics