وصف العمل
مهندس بيانات أول
- عقد قابل للتمديد لمدة 12 شهراً
- أبوظبي | مكتبي
أنا أبحث عن مُهندس بيانات أول متمرس للانضمام إلى فريق البيانات والتحليلات المتنامي المسؤول عن بناء منصات بيانات قابلة للتوسع وآمنة وعالية الأداء. سيقوم المرشح الناجح بتصميم وتطوير وتحسين حلول البيانات الحديثة التي تدعم التحليلات المتقدمة وذكاء الأعمال ومبادرات التعلم الآلي.
تتطلب هذه الوظيفة خبرة في هندسة البيانات على نطاق واسع، وتقنيات السحابة، وهندسة البيانات الحديثة، مع تركيز قوي على الاعتمادية والأداء والأمان وحوكمة البيانات.
المسؤوليات الرئيسية
- تصميم وتطوير والحفاظ على خطوط أنابيب البيانات القابلة للتوسع وعمليات ETL/ELT لاستيعاب وتحويل ومعالجة مجموعات بيانات كبيرة الحجم.
- بناء وتحسين أطر معالجة البيانات باستخدام تقنيات مثل Spark وDelta Lake وKafka والمنصات الكبيرة الحديثة الأخرى للبيانات.
- تطوير والحفاظ على نماذج البيانات والمخططات وبحيرات البيانات ولُبانات البيانات ومستودات البيانات التي تدعم متطلبات التحليلات والتقارير.
- تنفيذ أطر جودة البيانات والتحقق والمراقبة والخصوصية لضمان دقة البيانات وموثوقيتها.
- تصميم ودعم حلول معالجة البيانات في الوقت الفعلي والجَزْءي باستخدام تقنيات التدفق وأنظمة التوزيع.
- ضمان الامتثال لأمن البيانات والخصوصية والتحكم في الوصول والمتطلبات التنظيمية للبيانات الحساسة.
- التعاون الوثيق مع علماء البيانات والمحللين والمهندسين المعماريين وأصحاب المصلحة في الأعمال لتقديم منتجات وخدمات بيانات عالية القيمة.
- إدارة وتحسين منصات البيانات الموزعة لضمان القابلية للتوسع والتوافر والأداء.
- المساهمة في حوكمة البيانات وإدارة البيانات الرئيسية وإدارة البيانات الوصفية وإرشادات فهرسة البيانات.
- البقاء على اطلاع بالتقنيات الناشئة وأفضل الممارسات الصناعية والابتكارات في السحابة وهندسة البيانات.
المؤهلات المطلوبة
- درجة بكالوريوس في علوم الكمبيوتر، تكنولوجيا المعلومات، الهندسة، أو مجال ذي صلة.
- خبرة لا تقل عن 5 سنوات في تصميم وبناء وتشغيل منصات وعمليات بيانات على مستوى المؤسسة.
- إتقان قوي لـ SQL وPython.
- خبرة عملية مع Apache Spark وأطر معالجة البيانات الموزعة وأدوات تنظيم المهام ومنصات الرسائل مثل Kafka.
- الخبرة في حلول البيانات القائمة على السحابة على Azure أو AWS أو Google Cloud Platform.
- معرفة قوية بتخزين البيانات وهندسة البيانات وبيئات lakehouse ونمذجة البيانات.
- خبرة في العمل مع تقنيات الحاويات والتنسيق مثل Docker وKubernetes.
- فهم لممارسات حوكمة البيانات وجودة البيانات والأمان والخصوصية.
- مهارات تحليلية وحل مشكلات واتصال قوية.
#LI-MW1
Job description
Senior Data Engineer
- 12 month extendable contract
- Abu Dhabi | Office Based
I am seeking an experienced Senior Data Engineer to join a growing data and analytics team responsible for building scalable, secure, and high-performance data platforms. The successful candidate will design, develop, and optimize modern data solutions that support advanced analytics, business intelligence, and machine learning initiatives.
This role requires expertise in large-scale data engineering, cloud technologies, and modern data architectures, with a strong focus on reliability, performance, security, and data governance.
Key Responsibilities
- Design, develop, and maintain scalable data pipelines and ETL/ELT processes to ingest, transform, and process large-scale datasets.
- Build and optimize data processing frameworks using technologies such as Spark, Delta Lake, Kafka, and other modern big data platforms.
- Develop and maintain data models, schemas, data lakes, lakehouses, and data warehouses that support analytics and reporting requirements.
- Implement data quality, validation, monitoring, and observability frameworks to ensure data accuracy and reliability.
- Design and support real-time and batch data processing solutions using streaming technologies and distributed systems.
- Ensure compliance with security, privacy, access control, and regulatory requirements for sensitive data.
- Collaborate closely with data scientists, analysts, architects, and business stakeholders to deliver high-value data products and services.
- Manage and enhance distributed data platforms to ensure scalability, availability, and performance.
- Contribute to data governance, master data management, metadata management, and data catalog initiatives.
- Stay current with emerging technologies, industry best practices, and innovations in cloud and data engineering.
Required Qualifications
- Bachelor's degree in Computer Science, Information Technology, Engineering, or a related field.
- Minimum 5 years of experience designing, building, and operating enterprise-scale data platforms and pipelines.
- Strong proficiency in SQL and Python.
- Hands-on experience with Apache Spark, distributed data processing frameworks, workflow orchestration tools, and messaging platforms such as Kafka.
- Experience with cloud-based data solutions on Azure, AWS, or Google Cloud Platform.
- Strong knowledge of data warehousing, data lakes, lakehouse architectures, and data modeling methodologies.
- Experience working with containerization and orchestration technologies such as Docker and Kubernetes.
- Understanding of data governance, data quality, security, and privacy best practices.
- Strong analytical, problem-solving, and communication skills.
#LI-MW1