Job description
Data Engineer
Location: Abu Dhabi, UAE
Employment Type: Permanent / Full-Time
Seniority: Mid-Level
Overview
We are seeking a talented Data Engineer to join a growing technology team responsible for building and scaling modern data platforms that power analytics, AI, and business-critical decision-making.
The successful candidate will play a key role in designing, developing, and maintaining high-performance data pipelines and platforms, working closely with Data Scientists, Architects, Product teams, and Technology stakeholders to deliver robust, scalable, and secure data solutions.
This is an excellent opportunity for someone passionate about big data, cloud technologies, and modern data engineering practices.
Key Responsibilities Data Engineering & Platform Development
- Design, build, and maintain scalable data platforms capable of supporting large-scale analytics and operational workloads.
- Develop robust batch and real-time data pipelines for ingesting, transforming, and processing structured and unstructured data.
- Build and optimise data architectures supporting business intelligence, advanced analytics, machine learning, and AI initiatives.
- Implement data models, lakehouse architectures, and change data capture solutions.
- Develop high-performance systems capable of processing large volumes of data with low latency and high reliability.
Data Operations & Reliability
- Ensure all data pipelines are secure, observable, monitored, and aligned with agreed service levels.
- Implement data quality frameworks, validation rules, lineage tracking, and governance controls.
- Monitor and optimise platform performance, scalability, and operational costs.
- Troubleshoot and resolve production issues across data pipelines and processing platforms.
- Support ongoing improvements to data platform reliability and operational excellence.
Collaboration & Delivery
- Partner with Product, Engineering, Data Science, and Analytics teams to deliver high-value data solutions.
- Work closely with internal and external stakeholders to integrate new data sources and systems.
- Participate in Agile ceremonies, sprint planning, and technical design discussions.
- Contribute to architectural decisions and provide recommendations on emerging technologies and best practices.
- Support the delivery of AI and data-driven initiatives through the provision of scalable datasets and data services.
Security & Governance
- Implement data security controls including encryption, masking, access management, and auditing.
- Ensure compliance with enterprise data governance and security standards.
- Promote best practices around data protection, privacy, and regulatory compliance.
Required Experience
- Bachelor's Degree in Computer Science, Software Engineering, Data Engineering, Information Technology, or a related field.
- 3-5 years of experience in Data Engineering, Big Data Engineering, or related disciplines.
- Proven experience building and supporting enterprise-scale data platforms.
- Strong understanding of modern data architecture patterns and distributed systems.
- Experience delivering production-grade data solutions within Agile environments.
Preferred Certifications
- Databricks Certification
- Confluent Kafka Certification
- AWS Data Analytics Certification
- Microsoft Azure Data Engineer Associate
- Google Professional Data Engineer
Technical Skills Big Data & Data Processing
- Apache Kafka
- Apache Spark
- Apache Flink
- Apache NiFi
- Apache Airflow
- Batch and Real-Time Data Processing
Data Architecture
- Data Modelling
- OLAP & Dimensional Modelling
- Change Data Capture (CDC)
- Data Warehousing
- Data Lake and Lakehouse Architectures
Programming & Development
- Python
- Scala
- Java
- Advanced SQL
- Git Version Control
Storage & Data Platforms
- PostgreSQL, Oracle, SQL Server
- NoSQL Technologies
- MinIO / S3 Object Storage
- Avro, Parquet, and ORC File Formats
Cloud & Infrastructure
- AWS, Azure, or Google Cloud Platform
- Docker
- Kubernetes
- Distributed Data Platforms
Desirable Skills
- Databricks and modern Lakehouse platforms.
- Delta Lake and Apache Iceberg.
- dbt and data transformation frameworks.
- Data Quality and Observability tooling.
- AI and Generative AI data preparation, including Retrieval-Augmented Generation (RAG).
- Enterprise analytics and reporting environments.
- Event-driven architecture and streaming platforms.
- Experience supporting machine learning and AI workloads.
الوصف الوظيفي
مهندس بيانات
الموقع: أبوظبي، الإمارات العربية المتحدة
نوع التوظيف: دائم / دوام كامل
المستوى الوظيفي: مستوى متوسط
نظرة عامة
نحن نبحث عن مهندس بيانات موهوب للانضمام إلى فريق تقني متنامٍ ومسؤول عن بناء وتوسيع منصات البيانات الحديثة التي تدعم التحليلات، والذكاء الاصطناعي، وعمليات اتخاذ القرار الحيوية للأعمال.
سيلعب المرشح الناجح دوراً رئيسياً في تصميم وتطوير وصيانة خطوط معالجة ومنصات بيانات عالية الأداء، والعمل بشكل وثيق مع علماء البيانات والمهندسين المعماريين وفرق المنتجات وأصحاب المصلحة التقنيين لتقديم حلول بيانات قوية وقابلة للتوسع وآمنة.
هذه فرصة ممتازة لشخص شغوف بالبيانات الضخمة، وتقنيات السحابة، وممارسات هندسة البيانات الحديثة.
المسؤوليات الرئيسية هندسة البيانات وتطوير المنصة
- تصميم وبناء وصيانة منصات بيانات قابلة للتوسع قادرة على دعم التحليلات واسعة النطاق وأعباء العمل التشغيلية.
- تطوير خطوط معالجة بيانات قوية (دفعة وفورية) لاستيعاب وتحويل ومعالجة البيانات المهيكلة وغير المهيكلة.
- بناء وتحسين بنيات البيانات التي تدعم ذكاء الأعمال، والتحليلات المتقدمة، والتعلم الآلي، ومبادرات الذكاء الاصطناعي.
- تطبيق نماذج البيانات وبنيات مخازن البيانات (Lakehouse) وحلول التقاط بيانات التغيير (CDC).
- تطوير أنظمة عالية الأداء قادرة على معالجة أحجام كبيرة من البيانات بزمن وصول منخفض وموثوقية عالية.
عمليات البيانات والموثوقية
- ضمان أن تكون جميع خطوط معالجة البيانات آمنة وقابلة للمراقبة وتتماشى مع مستويات الخدمة المتفق عليها.
- تطبيق أطر عمل جودة البيانات، وقواعد التحقق، وتتبع التسلسل، وضوابط الحوكمة.
- مراقبة وتحسين أداء المنصة، وقابليتها للتوسع، وتكاليف التشغيل.
- استكشاف الأخطاء وإصلاحها في بيئة الإنتاج عبر خطوط معالجة البيانات ومنصات المعالجة.
- دعم التحسينات المستمرة لموثوقية منصة البيانات والتميز التشغيلي.
التعاون والتسليم
- الشراكة مع فرق المنتج، والهندسة، وعلوم البيانات، والتحليلات لتقديم حلول بيانات ذات قيمة عالية.
- العمل بشكل وثيق مع أصحاب المصلحة الداخليين والخارجيين لدمج مصادر وأنظمة بيانات جديدة.
- المشاركة في اجتماعات العمل الرشيقة (Agile)، وتخطيط دورات العمل (sprints)، ومناقشات التصميم الفني.
- المساهمة في القرارات المعمارية وتقديم توصيات بشأن التقنيات الناشئة وأفضل الممارسات.
- دعم تقديم مبادرات الذكاء الاصطناعي والبيانات من خلال توفير مجموعات بيانات وخدمات بيانات قابلة للتوسع.
الأمن والحوكمة
- تطبيق ضوابط أمن البيانات بما في ذلك التشفير، وحجب البيانات، وإدارة الوصول، والتدقيق.
- ضمان الامتثال لحوكمة بيانات المؤسسة ومعايير الأمن.
- تعزيز أفضل الممارسات المتعلقة بحماية البيانات والخصوصية والامتثال التنظيمي.
الخبرة المطلوبة
- درجة البكالوريوس في علوم الحاسب، أو هندسة البرمجيات، أو هندسة البيانات، أو تقنية المعلومات، أو مجال ذي صلة.
- خبرة تتراوح من 3 إلى 5 سنوات في هندسة البيانات، أو هندسة البيانات الضخمة، أو التخصصات ذات الصلة.
- خبرة مثبتة في بناء ودعم منصات بيانات على مستوى المؤسسات.
- فهم قوي لأنماط بنية البيانات الحديثة والأنظمة الموزعة.
- خبرة في تقديم حلول بيانات جاهزة للإنتاج ضمن بيئات العمل الرشيقة (Agile).
الشهادات المفضلة
- شهادة Databricks
- شهادة Confluent Kafka
- شهادة AWS Data Analytics
- شهادة Microsoft Azure Data Engineer Associate
- شهادة Google Professional Data Engineer
المهارات التقنية البيانات الضخمة ومعالجة البيانات
- Apache Kafka
- Apache Spark
- Apache Flink
- Apache NiFi
- Apache Airflow
- معالجة البيانات بنظام الدفعات (Batch) والنظام الفوري (Real-Time)
بنية البيانات
- نمذجة البيانات
- تحليل البيانات متعدد الأبعاد (OLAP) والنمذجة البُعدية
- التقاط بيانات التغيير (CDC)
- مستودعات البيانات (Data Warehousing)
- بنيات بحيرات البيانات (Data Lake) ومخازن البيانات (Lakehouse)
البرمجة والتطوير
- Python
- Scala
- Java
- SQL المتقدم
- Git للتحكم في الإصدارات
التخزين ومنصات البيانات
- PostgreSQL, Oracle, SQL Server
- تقنيات NoSQL
- MinIO / S3 Object Storage
- تنسيقات الملفات Avro, Parquet, و ORC
السحابة والبنية التحتية
- AWS، أو Azure، أو Google Cloud Platform
- Docker
- Kubernetes
- منصات البيانات الموزعة
مهارات مرغوبة
- منصات Databricks ومنصات Lakehouse الحديثة.
- Delta Lake و Apache Iceberg.
- dbt وأطر تحويل البيانات.
- أدوات جودة البيانات والمراقبة.
- إعداد بيانات الذكاء الاصطناعي والذكاء الاصطناعي التوليدي، بما في ذلك التوليد المعزز بالاسترجاع (RAG).
- بيئات تحليلات وتقارير المؤسسات.
- البنية القائمة على الأحداث ومنصات البث.
- خبرة في دعم أعباء عمل التعلم الآلي والذكاء الاصطناعي.