Data Engineer

Poszukujemy Data Engineera, który wesprze zespół w projektowaniu, budowie i optymalizacji potoków danych, koncentrując się na wydajności i utrzymaniu czystości architektury danych.

Obowiązki:

• Projektowanie i rozwijanie potoków danych na platformie Databricks.
• Implementacja transformacji danych przy użyciu SQL (widoki, widoki materializowane).
• Tworzenie i optymalizacja notebooków Apache Spark.
• Zapewnienie wysokiej wydajności oraz skalowalności procesów przetwarzania danych.
• Integracja różnych źródeł danych, tworzenie modeli danych i zapewnianie ich zgodności z wymaganiami biznesowymi.
• Monitorowanie, utrzymanie i optymalizacja istniejących rozwiązań ETL.
• Współpraca z zespołami analitycznymi i biznesowymi w celu zrozumienia potrzeb danych.

Wymagania:

• Minimum 3 lata doświadczenia na stanowisku Data Engineer lub podobnym.
• Bardzo dobra znajomość SQL i doświadczenie w projektowaniu złożonych transformacji danych.
• Doświadczenie z platformą Databricks oraz Apache Spark.
• Znajomość koncepcji widoków i widoków materializowanych w hurtowniach danych.
• Praktyczna znajomość narzędzi ETL oraz zasad modelowania danych.
• Doświadczenie w integracji danych z różnych źródeł (strukturalnych i niestrukturalnych).
• Umiejętność pisania optymalnego i wydajnego kodu dla dużych wolumenów danych.
• Bardzo dobra znajomość języka angielskiego (praca w międzynarodowym środowisku).

Mile widziane:

• Doświadczenie z technologiami chmurowymi (AWS, Azure, GCP).
• Znajomość Python i/lub Scala w kontekście przetwarzania danych.
• Doświadczenie w pracy z narzędziami do wersjonowania kodu (np. Git).