Data Engineer - Big Data & GCP
- Progettare e sviluppare pipeline di elaborazione dati batch e streaming con Apache Beam e Apache Spark su Google Cloud Dataproc.
- Modellare, ottimizzare e interrogare dataset di grandi dimensioni su BigQuery, con attenzione a costi e performance.
- Lavorare con BigQuery Studio per esplorazione dati, sviluppo di notebook analitici e collaborazione con i team di Data Science e Analytics.
- Integrare sorgenti dati eterogenee (database relazionali, API, event stream) nelle pipeline GCP.
- Monitorare la qualità dei dati, implementare test e alert sulle pipeline in produzione.
- Collaborare con il team di Data Science per rendere i dati disponibili, affidabili e ben documentati.
- Contribuire alla definizione degli standard di data engineering del team: naming convention, data catalog, lineage.
