Data mühəndisi
Əsas öhdəliklər:
- Səmərəli və miqyaslana bilən data kanalları arxitekturasını layihələndirmək, qurmaq və onun davamlı fəaliyyətini təmin etmək.
- Funksional və qeyri-funksional biznes tələblərinə cavab verən böyük və mürəkkəb data dəstlərini toplamaq və strukturlaşdırmaq.
- Rutin tapşırıqların avtomatlaşdırılması, data çatdırılmasının səmərəliliyinin artırılması və effektiv miqyaslandırma məqsədilə sistemlərin yenidən tərtib olunması vasitəsilə daxili proseslərin təkmilləşdirilməsi imkanlarını müəyyənləşdirmək.
- SQL və böyük həcmli data emalı texnologiyalarından istifadə etməklə müxtəlif mənbələrdən datanın çıxarılması, çevrilməsi və yüklənməsi (ETL) üçün optimallaşdırılmış infrastruktur qurmaq.
- Biznes performansına dair əsas göstəricilər üzrə analitik məlumatların əldə olunması məqsədilə data kanallarını hazırlamaq və inkişaf etdirmək.
- Data ilə bağlı texniki problemləri həll etmək və data infrastrukturuna dair ehtiyacları qarşılamaq məqsədilə müxtəlif komandalarla (icraçı rəhbərlik, məhsul, kommersiya və proqram təminatı komandaları) əməkdaşlıq etmək.
- Şirkət məhsullarının innovativ inkişafını dəstəkləmək üçün analitika və data elmi sahəsində fəaliyyət göstərən komandalar üçün uyğun alətlər və həllər hazırlamaq
Tələb olunan bilik və bacarıqlar:
Təhsil:
- Kompüter elmləri, mühəndislik, riyaziyyat və ya əlaqəli sahədə bakalavr dərəcəsi (və ya ekvivalent iş təcrübəsi).
- Kompüter elmləri, statistika, informatika, informasiya sistemləri və ya digər uyğun dəqiq elm sahəsində ali təhsil almaq və data mühəndisi vəzifəsində minimum 5 il iş təcrübəsinə malik olmaq.
Tələb olunan bilik , bacarıqlar və təcrübə:
- SQL üzrə yüksək səviyyəli biliklərə malik olmaq; sorğular yazmaq və müxtəlif məlumat bazası sistemləri ilə işləmək bacarığına, eləcə də əlaqəli məlumat bazaları sahəsində sübut olunmuş təcrübəyə sahib olmaq.
- Data kanallarının və arxitekturasının qurulması, həmçinin geniş miqyaslı data dəstələrinin hazırlanması və optimallaşdırılması sahəsində güclü təcrübəyə malik olmaq.
- Daxili və xarici məlumatlara əsaslanaraq təməl səbəb təhlilini aparmaq, bizneslə bağlı problemləri müəyyənləşdirmək və təkmilləşdirilməli sahələri aşkara çıxarmaq bacarığına sahib olmaq.
- Strukturlaşdırılmamış data dəstələrinin emalı üzrə güclü analitik bacarıqlara malik olmaq.
- Datanın çevrilməsi, metadatanın idarə olunması və iş yüklərinin optimallaşdırılması üçün data proseslərinin qurulması sahəsində təcrübəyə sahib olmaq.
- Müxtəlif və mürəkkəb məlumat mənbələrindən faydalı məlumatların çıxarılması və işlənməsi sahəsində sübut olunmuş təcrübəyə malik olmaq.
- Mesaj növbələmə sistemləri, axın emalı (stream processing) və miqyaslana bilən böyük data anbarları üzrə həllər barədə biliklərə sahib olmaq.
- Dinamik mühitlərdə çarpaz funksiyalı komandalarla effektiv əməkdaşlıq və qarşılıqlı dəstək göstərmək təcrübəsinə malik olmaq.
- Azərbaycan dili (Vacib): Azərbaycan dilini mükəmməl bilmək bu vəzifə üçün mütləqdir. Namizəd həm yazılı, həm də şifahi şəkildə effektiv ünsiyyət qura bilməlidir, çünki Azərbaycan dili sənədləşmə, komanda ilə ünsiyyət və müştərilərlə qarşılıqlı əlaqə üçün istifadə olunan əsas dildir.
- İngilis və rus dilləri: İngilis və rus dillərini bilmək arzuolunandır. Ciddi şəkildə tələb olunmasa da, ingilis və rus dillərində ünsiyyət qurmaq bacarığına üstünlük verilir.
Texniki biliklər:
- Böyük data alətləri ilə işləmək bacarığı.
- Data kanallarının və iş proseslərinin idarə olunmasına dair həllər üzrə biliklər.
- AWS (Amazon Web Services) bulud servisləri haqqında anlayış və praktiki biliklər.
- Axın emalı (stream processing) sistemləri ilə işləmək üzrə səriştə.
- Python proqramlaşdırma dili üzrə təcrübə.
- Apache Spark (paket və axın emalı), Delta Lake və Iceberg (cədvəl formatları) üzrə biliklər.
- SQL mühərrikləri üçün Trino, interaktiv sorğular üçün Presto, iş proseslərinin idarəsi və kanalların uzlaşdırılması üçün Airflow və Dagster platformaları üzrə biliklər.
- Fayl formatları üzrə: Parquet, ORC və optimallaşdırılmış saxlama üçün Avro.
- Axın məlumatlarının emalı üçün Kafka, Debezium (Change Data Capture - CDC) və Flink texnologiyaları üzrə biliklər.
- ETL proseslərinin qurulması üçün Airbyte, NiFi və ya Spark/Flink əsaslı fərdiləşdirilmiş kanallar üzrə təcrübə.
- Metadata müşahidə və idarəetmə vasitələri üzrə: Atlas, DataHub, Amundsen.
- Monitorinq və vizualizasiya vasitələri üzrə: Prometheus (monitorinq), Grafana (göstəricilərin vizualizasiyası), ELK (qeydiyyat və jurnal analizi)
Müraciət etmək istəyən namizədlər vakansiyanın adını “mövzu” bölməsində qeyd etməklə CV-ni Müraciət et düyməsində qeyd olunan elektron poçt ünvanına göndərə bilərlər. İşə qəbul prosesinin növbəti mərhələsi üçün vakansiyanın tələblərinə cavab verən namizədlərlə əlaqə saxlanacaq.