Ekspert / Ekspertka ds. Inżynierii Danych

ul. Żubra 1 /praca hybrydowa / umowa o pracę Dołącz do nas ! Chcesz mieć realny wpływ na sposób, w jaki dane są przetwarzane i wykorzystywane w jednym z największych banków w Polsce? W ramach strategicznego programu transformacji w kierunku organizacji opartej na danych rozwijamy nowoczesną platformę na Google Cloud Platform i budujemy rozwiązanie klasy data lakehouse. Łączymy raportowanie, analitykę i zarządzanie danymi oraz tworzymy fundamenty dla rozwiązań wykorzystujących sztuczną inteligencję i produktów danych nowej generacji. Pracujemy w modelu hub and spoke, łącząc kompetencje technologiczne z wiedzą zespołów biznesowych. Dołączając do nas, będziesz mieć wpływ na architekturę platformy, standardy inżynierii danych oraz sposób współpracy zespołów korzystających z danych. W naszym zespole będziesz odpowiadać za: Projektowanie, budowę i utrzymanie produkcyjnych pipeline’ów danych z wykorzystaniem dbt, Apache Airflow, Pythona i PySpark. Rozwój warstw Gold i Platinum platformy data lakehouse w BigQuery, w tym projektowanie modeli danych zgodnie z architekturą medallion. Optymalizowanie wydajności i kosztów przetwarzania danych w BigQuery, między innymi przez partycjonowanie, klastrowanie i stosowanie praktyk FinOps. Automatyzowanie testów, wdrożeń i infrastruktury z wykorzystaniem GitHub Actions oraz Terraform, a także rozwijanie zabezpieczeń danych opartych na IAM, kontroli dostępu, policy tags i Data Loss Prevention. Współtworzenie standardów inżynierii danych i Data Governance, udział w przeglądach kodu oraz doradztwo techniczne dla zespołów domenowych pracujących na platformie Google Cloud. Ta praca jest dla Ciebie, jeśli: Masz minimum 5 lat komercyjnego doświadczenia w inżynierii danych, w tym co najmniej 2 lata pracy przy rozwiązaniach wykorzystujących Google Cloud Platform. Masz doświadczenie w projektowaniu i wdrażaniu produkcyjnych hurtowni danych lub platform data lakehouse o dużej skali. Potrafisz projektować rozwiązania end-to-end i uzasadniać podejmowane decyzje architektoniczne. Bardzo dobrze znasz SQL i BigQuery. Tworzysz złożone zapytania analityczne, korzystasz z CTE i funkcji okienkowych, modelujesz dane oraz optymalizujesz wydajność i koszty zapytań. Bardzo dobrze znasz Pythona i masz doświadczenie z Apache Spark lub PySpark. Tworzysz produkcyjne moduły, stosujesz programowanie obiektowe, piszesz testy jednostkowe i korzystasz z bibliotek do przetwarzania danych, takich jak pandas i NumPy. Masz praktyczne doświadczenie w pracy z dbt, Apache Airflow, Git i CI/CD. Potrafisz tworzyć modele, makra, testy i snapshoty dbt, projektować produkcyjne DAG-i oraz automatyzować testy i wdrożenia, między innymi za pomocą GitHub Actions. Mile widziane: Znajomość Terraform oraz doświadczenie w wykorzystywaniu podejścia Infrastructure as Code w środowisku Google Cloud Platform. Doświadczenie w pracy z usługami Google Cloud związanymi z bezpieczeństwem, monitorowaniem i zarządzaniem danymi, takimi jak IAM, Cloud Storage, Secret Manager, Cloud Logging, Cloud Monitoring, Dataplex lub Data Catalog. Znajomość zagadnień Data Governance, w tym zarządzania metadanymi, śledzenia pochodzenia danych, kontroli dostępu RBAC lub ABAC oraz klasyfikacji danych wrażliwych. Doświadczenie w pracy z Dockerem oraz znajomość praktyk FinOps związanych z monitorowaniem i optymalizowaniem kosztów usług chmurowych. Doświadczenie w sektorze finansowym lub bankowym. Certyfikat Google Cloud, na przykład Professional Data Engineer lub Professional Cloud Architect. Oferujemy Ci: Premię uzależnioną od wyników i zaangażowania. Prywatną opiekę medyczną dla Ciebie i Twojej rodziny na preferencyjnych warunkach. Kartę MultiSport i ubezpieczenie grupowe na korzystnych warunkach. System szkoleń i programów rozwojowych. Dostęp do Wewnętrznej Giełdy Pracy. Pracę przy strategicznym programie transformacji danych i budowie nowoczesnej platformy na Google Cloud Platform.