سيتولى مهندس البيانات تصميم وبناء وصيانة منصات وخطوط أنابيب بيانات قابلة للتوسع. يتضمن هذا الدور العمل باستخدام تقنيات البيانات الضخمة الحديثة لتقديم حلول بيانات موثوقة وعالية الجودة. وسيتعاون المرشح مع فرق مختلفة لدعم التحليلات وإعداد التقارير ومجموعات البيانات الجاهزة للذكاء الاصطناعي.
المسؤوليات
- تصميم وتطوير حلول استيعاب وتخزين ومعالجة البيانات واسعة النطاق.
- بناء وصيانة خطوط أنابيب البيانات بنظام الدفعات (Batch) وفي الوقت الفعلي (Real-time).
- تطوير منصات بيانات قابلة للتوسع وعالية الأداء تتعامل مع البيانات المهيكلة وغير المهيكلة.
- تنفيذ نماذج البيانات، والتقاط بيانات التغيير (CDC)، وحلول تكامل البيانات.
- ضمان جودة البيانات، والحوكمة، والقابلية للملاحظة، والتميز التشغيلي.
المؤهلات
- خبرة في Apache NiFi و Kafka و Spark و Flink و Airflow.
- معرفة قوية بهندسة البيانات، و ETL/ELT، ونمذجة البيانات، و OLAP، و CDC.
- إجادة لغات Python أو Scala أو Java.
- مهارات متقدمة في SQL.
- خبرة في MinIO/S3 و Kafka و Avro و Parquet و ORC.
الملف الشخصي للمرشح المطلوب
The Data Engineer will design, build, and maintain scalable data platforms and pipelines. The role involves working with modern big data technologies to deliver reliable, high-quality data solutions. The candidate will collaborate with various teams to support analytics, reporting, and AI-ready datasets.
Responsibilities
- Design and develop large-scale data ingestion, storage, and processing solutions.
- Build and maintain batch and real-time data pipelines.
- Develop scalable and high-performance data platforms handling structured and unstructured data.
- Implement data models, change data capture (CDC), and data integration solutions.
- Ensure data quality, governance, observability, and operational excellence.
Qualifications
- Experience with Apache NiFi, Kafka, Spark, Flink, and Airflow
- Strong knowledge of Data Engineering, ETL/ELT, Data Modeling, OLAP, and CDC
- Proficiency in Python, Scala, or Java
- Advanced SQL skills
- Experience with MinIO/S3, Kafka, Avro, Parquet, and ORC
Desired Candidate Profile