Suggestions
Harry de Santo
Data Engineering Coordinator | Google Cloud | Airflow | SQL | Python | Data Pipelines
Harry de Santo is a 22-year-old professional with a diverse skill set in creating performance indicators, dashboards, and conducting exploratory data analysis. He excels in using data to derive strategic insights and facilitate decision-making processes. Harry is experienced in structuring and processing databases, developing update routines, and producing presentations to showcase performance metrics for various stakeholders.
Highlights
Algo que não te contam sobre Engenharia de Dados 💡
A vida de um engenheiro de dados não é um morango 🍓
Muitas vezes, vemos uma romantização da área aqui no LinkedIn: arquiteturas impecáveis no Drawio, snippets de código com interfaces bonitas feitas no Canva, certificações por todos os lados e uma nova ferramenta surgindo a cada dia.
Não me entenda mal, eu curto muito e apoio esse tipo de conteúdo! Mas a verdade é que nem tudo é tão inspirador assim hahaha.
Ninguém fala sobre:
→ Migração de legados, onde é preciso fazer engenharia reversa, destrinchar fluxos de ferramentas já depreciadas como Power Center, Data Stage, Control M (certeza que muita gente sente calafrios só de ler esses nomes 🤣)
→ Quando você precisa desenvolver em IDEs zoadas ou em VDI. Nada daquele seu VS Code mais tunado que um Golf 96 🚗
→ Ter que lidar com pipelines em linguagens antigas, como COBOL, ingerindo dados de bancos legados ou arquivos posicionais (isso aqui separa os homens dos meninos)
→ E quando esses pipelines depreciados misturam necessidades operacionais com dados? É complicado hahaha
Conta aí, esqueci de mencionar algo?
Linguagem SQL é fácil de aprender! O difícil mesmo é:
Ficar REALMENTE BOM com ela.
O SQL realmente é uma das linguagens mais fáceis de aprender (se não a mais), pois tem uma estrutura bem simples e intuitiva.
Dá pra dizer que em apenas um dia de estudos, alguém que nunca viu SQL antes pode sair fazendo queries em bancos.
Entretanto, quando falamos de masterizar na linguagem, aí sim é mais complicado e vemos pouquíssimas pessoas que conseguem. Você consegue resolver 80% dos problemas sabendo apenas 20% do SQL e isso faz com que nem todo mundo busque ou precise saber técnicas avançadas.
Mas quando você precisa lidar com uma base de dados com um volume de dados massivo, você é obrigado a entender melhores práticas. Ou até mesmo quando precisa montar queries para fazer comparativos complexos, usando períodos com dados repetidos, complexos e com grande volume.
Concorda?
