SECTOR 02 / DATA ENGINEERING
Engenharia de dados
Antes de analisar, é preciso tornar o dado confiável.
O CAMPO
Bases de saúde pública, pesquisa e sistemas administrativos raramente chegam prontas. Elas trazem formatos heterogêneos, registros incompletos, códigos que mudaram de significado ao longo dos anos e o mesmo município grafado de cinco maneiras diferentes.
Engenharia de dados é o trabalho de extrair, limpar, padronizar, integrar e consolidar essas fontes até que uma pergunta possa ser feita sem que a resposta dependa de qual arquivo foi aberto. É a etapa menos visível e a que determina se tudo depois dela vale alguma coisa.
- INCONSISTÊNCIA
- Duplicatas, campos vazios e categorias que se sobrepõem precisam de decisão explícita — cada escolha muda o resultado final.
- ESCALA
- Volumes que não cabem na memória exigem processamento em lote e pipelines que possam ser reexecutados sem intervenção manual.
- RASTREABILIDADE
- Toda transformação precisa ser reproduzível: sem isso, o número no painel não pode ser defendido.
O QUE A HEAT ON FAZ AQUI
- 01 Extração de dados
- 02 ETL
- 03 Limpeza de dados
- 04 Transformação de bases
- 05 Integração de fontes
- 06 Processamento em massa
- 07 Construção de pipelines
- 08 Preparação de datasets analíticos