Job description
Job Purpose
dnata is more than a global air and travel services provider. We connect people with possibilities and opportunities across 130+ airports in 34 countries through ground handling, cargo, travel, and catering & retail services. Our purpose is clear: to deliver on the promises our customers make. We are powered by a bold vision to be the world’s most admired air and travel services provider, which guides our strategy, culture, and every role across our teams. Our core values fuel everything we do: we are safe, we play to win, we respect everyone and work together as a team, and we are future thinking. At dnata, we foster diversity, nurture ambition, and celebrate achievement. If you're inspired by purpose and motivated to be part of a global team shaping the future of aviation and travel, we’d love to have you onboard.
The Senior Data Engineer is a fully-participating member of a cross-functional team working autonomously on technology development and problem resolution in the Enterprise Data & Analytics space. The role involves the design, development, testing, implementation, support and maintenance of technical data and analytic solutions and products that support Emirates Airlines and the Emirates Group businesses.
In this role, you will:
- Lead technical design and build for small to medium sized solutions in a team. Translate functional and non-functional data and analytics requirements into fit for purpose technical design. Ensure solution performance, business edge cases and security related issues are addressed while developing software.
- Debug issues of complexity, resolve blockers and follow design documents with minimal or no supervision.
- Complete data engineering coding tasks on problems of moderate to high scope and complexity. Demonstrate good coding principles. Conduct code review for peers. Ensure solutions adhere to published data privacy and cybersecurity principles.
- Operate with a data-driven mindset. Help translate data and analytics requirements into data solutions based on the approved technical designs. Assist with data analysis activities such as source system analysis, data modelling, data dictionary collection, data profiling and source-to-target mapping to ensure solutions deliver on business needs.
- Work on problems of diverse scope where analysis of data requires evaluation of identifiable factors. Demonstrate good judgment in selecting methods and techniques for obtaining solutions.
- Work with senior and lead data engineers in the technical design process by contributing in the analysis of data application, data integration, large data storage or data pipeline requirements.
- Update data inventories and registries as required to keep metadata and data lineage up-to-date, following agreed Data Governance standards, guidelines and principles.
- Carry out unit testing independently. Troubleshoot issues, and fix defects that are of moderate to high complexity.
- Shadow senior and lead data engineers on design and architecture components, and collaborate with members of the cross-functional team to identify areas of inefficiency and propose solutions.
- Adhere to published coding standards, guidelines and best practices and contribute to Data Engineering Playbooks and other data technology blueprints.
Qualification
To be considered for this role, you must meet the below requirements:
- Degree in a relevant field such as Computer Science, Computational Mathematics, Computer Engineering or Software Engineering.
- Specialization or electives in a Data & Analytics field (e.g. Data Warehousing, Data Science, Business Intelligence) a nice-to-have
- Experience 2+ years Data Engineering (Fewer years experience will be considered for Masters degree holders)
- Minimum 2+ years of development, testing and support experience in the analytic applications such as Data Lake and Data Warehouse (preferably using the Big Data stack and Microsoft Azure cloud infrastructure)
- Experience with batch or real-time data ingestion; experience with coding pipelines that handle massive quantities of data (structured and unstructured), securely and in a timely fashion
- Understanding of data architecture concepts such as data modelling, Big Data storage, Lambda architecture, data vault and dimensional modelling nice-to-have
- Understanding on integration with source systems; able to load operational systems data into a single data platform using data integration tools
- Experience scheduling jobs that can be monitored efficiently and ensure data quality
- Ability to conduct unit testing
- Strong SQL querying skills required
- Airline industry experience a nice-to-have
- Knowledge and Skills:
- Strong ability to conduct data analysis (e.g. source system identification, data dictionary / metadata collection, data profiling, source-to-target mapping) is preferred
- Operates with a You Code It, You Own It mindset (i.e. supports the products they build)
- Demonstrated problem-solver; able to design and document solutions independently
- Team player; able to collaborate with others to remove blockers, solve complex design problems and debug/resolve issues
- Able to deliver solutions (and associated value) interatively
- Is accountable and displays positive attitude
- Self-starter and has passion for exploring and learning new technologies, especially those in the Enterprise Data & Analytics space
- Technology Domain Key Technologies/Tools
- Big Data : Hadoop, Spark, Scala, Hive, H-Base, Sqoop, Oozie, Apache Nifi, Airflow, HDFS, ADLS (Gen 2), Azure Data Factory (ADF), DataBricks, Kafka, Elasticsearch, AVRO / PARQUET file formats
- Data Analysis, Modelling and Reporting :Snowflake, SQL, Data Vault 2.0, MicroStrategy, Power BI
- Cloud Technologies : Microsoft Azure and Cloudera technology stacks
- Integration and Messaging :Streaming (e.g. Spark Streaming), SnapLogic, TIBCO, Kafka,
- CI/CD :GIT Bitbucket, Azure DevOps, Jenkins, JIRA, Confluence
- Automation : Java, Selenium, AppDynamics, HP Load Runner, Jmeter, Python, Automation Anywhere
Our services on the ground keep the world in the air. We’re one of the largest air services providers in the world, and you’ll find us in over 80 countries offering expertise in ground handling, cargo, travel and flight catering. We’re growing fast, and we’re looking for people with imagination and creativity to join our team of more than 40,000 people. We want potential stars to help us deliver on the promises our customers make.
Salary & benefits
Join us in Dubai and enjoy an attractive tax-free salary and travel benefits that are exclusive to our industry, including discounts on flights and hotel stays worldwide.
Discover what it’s like to live and work in our fast-paced, cosmopolitan home city by visiting the Dubai Lifestyle section on our career’s website: www.emirates.com/careers.
وصف الوظيفة
الغرض من الوظيفة
dnata هي أكثر من مجرد مزود عالمي لخدمات السفر والطيران. نحن نربط الناس بالإمكانيات والفرص عبر أكثر من 130 مطارًا في 34 دولة من خلال خدمات الأرض واللوجستيات والشحن والسفر والتموين والتجزئة. هدفنا واضح: الوفاء بالوعود التي يقدمها عملاؤنا. نحن مدفوعون برؤية جريئة لنكون مزود خدمات الطيران والسفر الأكثر إعجابًا في العالم، والتي توجه استراتيجيتنا وثقافتنا وكل دور عبر فرقنا. قيمنا الأساسية تغذي كل ما نقوم به: نحن آمنون، نلعب للفوز، نحترم الجميع ونتعاون كفريق، ونفكر في المستقبل. في dnata، نعزز التنوع، ونسعى للطموح، ونحتفل بالإنجاز. إذا كنت مستوحى من الهدف ومتحمسًا لأن تكون جزءًا من فريق عالمي يشكل مستقبل الطيران والسفر، فسنكون سعداء بانضمامك إلينا.
مهندس البيانات الأول هو عضو مشارك بالكامل في فريق متعدد التخصصات يعمل بشكل مستقل على تطوير التكنولوجيا وحل المشكلات في فضاء البيانات والتحليلات المؤسسي. تشمل الدور تصميم وتطوير واختبار وتنفيذ ودعم وصيانة حلول وعمليات بيانات تقنية ومنتجات تدعم شركات طيران الإمارات ومجموعة الإمارات.
في هذا الدور، ستقوم بـ:
- قيادة التصميم الفني والبناء للحلول الصغيرة إلى المتوسطة في فريق. تحويل متطلبات البيانات والتحليلات الوظيفية وغير الوظيفية إلى تصميم تقني مناسب للاستخدام. ضمان أداء الحل ومواقف العمل الأمنية وقضايا الأمن ذات الصلة أثناء تطوير البرمجيات.
- تصحيح قضايا التعقيد، إزالة المعوقات واتباع وثائق التصميم بإشراف محدود أو بلا إشراف.
- إكمال مهام ترميز الهندسة البيانات على مسائل بنطاق متوسط إلى عالي التعقيد. إظهار مبادئ التشفير الجيدة. إجراء مراجعة الشفرة لزملائه. التأكد من الالتزام بمبادئ الخصوصية والامن المنشورة.
- التعامل بعقلية مبنية على البيانات. المساعدة في تحويل متطلبات البيانات والتحليلات إلى حلول بيانات بناءً على التصاميم التقنية المعتمدة. المساعدة في أنشطة تحليل البيانات مثل تحليل نظام المصدر، نمذجة البيانات، جمع قاموس البيانات، وتحليل البيانات وربط المصدر بالهدف لضمان تلبية الحلول لاحتياجات الأعمال.
- العمل في مسائل ذات نطاق متنوع حيث يتطلب تحليل البيانات تقييم عوامل يمكن التعرف عليها. إظهار حكم جيد في اختيار الطرق والتقنيات للحصول على الحلول.
- العمل مع مهندسي البيانات الكبار والقادة في عملية التصميم الفنية من خلال المساهمة في تحليل تطبيق البيانات، وتكامل البيانات، ومتطلبات تخزين البيانات الكبيرة أو خطوط بيانات.
- تحديث جرد بيانات وسجلات البيانات حسب الحاجة للحفاظ على تدفق البيانات وبيانات السجل حتى تاريخها، وفق معايير وإرشادات ومبادئ حوكمة البيانات المتفق عليها.
- إجراء اختبارات وحدات بشكل مستقل. استكشاف المشكلات وإصلاح العيوب التي تتراوح بين متوسطة وعالية التعقيد.
- مرافقة مهندسي البيانات senior والقياديين في مكونات التصميم والهندسة، والتعاون مع أعضاء الفريق المتعدد التخصصات لتحديد مجالات عدم الكفاءة واقتراح الحلول.
- الالتزام بمعايير التشفير المنشورة والإرشادات والممارسات الفضلى والمساهمة في كتيبات هندسة البيانات والمخططات التقنية الأخرى.
التأهيل
لكي يتم النظر في هذا الدور، يجب أن تستوفي الشروط التالية:
- درجة في مجال ذي صلة مثل علوم الحاسوب، الرياضيات الحسابية، هندسة الحاسوب أو هندسة البرمجيات.
- تخصص أو اختياريات في مجال البيانات والتحليلات (مثل مستودع البيانات، علم البيانات، ذكاء الأعمال) ميزة إضافية
- خبرة 2+ سنوات في هندسة البيانات (سيتم النظر في سنوات خبرة أقل لحملة درجات الماجستير)
- حد أدنى 2+ سنوات من الخبرة في التطوير والاختبار والدعم في تطبيقات التحليلات مثل Data Lake وData Warehouse (يفضل استخدام حزمة البيانات الكبرى وبنية Azure السحابية من Microsoft)
- خبرة في استيعاب البيانات دفعات أو في الوقت الحقيقي؛ خبرة في بناء خطوط أنابيب ترميز تتعامل مع كميات ضخمة من البيانات (منظمة وغير منظمة)، بشكل آمن وفي الوقت المناسب
- فهم لمفاهيم هندسة البيانات مثل نمذجة البيانات وتخزين البيانات الضخمة وهندسة لامبدا ومخزن البيانات ونمذجة الأبعاد ميزة إضافية
- فهم التكامل مع أنظمة المصدر؛ القدرة على تحميل بيانات أنظمة التشغيل إلى منصة بيانات واحدة باستخدام أدوات تكامل البيانات
- خبرة في جدولة الوظائف القابلة للمراقبة بكفاءة وضمان جودة البيانات
- القدرة على إجراء اختبارات وحدات
- مهارات استعلام SQL قوية مطلوبة
- خبرة في قطاع شركات الطيران ميزة إضافية
- المعرفة والمهارات:
- قدرة قوية على إجراء تحليل بيانات (مثل تحديد أنظمة المصدر، جمع قاموس البيانات/البيانات الوصفية، تحليل البيانات، ربط المصدر بالهدف) مفضلة
- التعامل بمفهوم أنت تكتبها، أنت تملكها (أي يدعم المنتجات التي يبنونها)
- إثبات كفاءة في حل المشكلات؛ القدرة على تصميم وتوثيق الحلول بشكل مستقل
- لاعب فريق؛ القدرة على التعاون مع الآخرين لإزالة العوائق، حل مشاكل التصميم المعقدة وتفكيك/حل القضايا
- القدرة على تقديم حلول (وقيم مرتبطة) بشكل تكراري
- متحمل المسؤولية ويظهر موقفًا إيجابيًا
- بادر ولديه شغف باستكشاف وتعلم تقنيات جديدة، خاصة في مجال البيانات المؤسسية والتحليلات
- تكنولوجياDomain التقنيات/الأدوات الرئيسية
- البيانات الكبيرة: هادووب، سبارك، سكالا، هايڤ، H-Base، سكويب، أوزي، أباتشي نيفي، أيرفلو، HDFS، ADLS (Gen 2)، Azure Data Factory (ADF)، DataBricks، كافكا، Elasticsearch، AVRO / PARQUET تنسيقات الملفات
- تحليل البيانات، النمذجة والتقارير: Snowflake، SQL، Data Vault 2.0، MicroStrategy، Power BI
- التقنيات السحابية: مايكروسوفت أزور وتكدسات تكنولوجيا Cloudera
- التكامل والرسائل: البث (مثل Spark Streaming)، SnapLogic، TIBCO، Kafka،
- CI/CD: GIT Bitbucket، Azure DevOps، Jenkins، JIRA، Confluence
- الأتمتة: Java، Selenium، AppDynamics، HP Load Runner، Jmeter، Python، Automation Anywhere
خدماتنا على الأرض تحافظ على العالم في الجو. نحن واحد من أكبر مقدمي خدمات الطيران في العالم، وستجدنا في أكثر من 80 دولة نقدم خبرة في الأرضيات والخدمات والشحن والسفر والتموين الجوي. نحن ننمو بسرعة، ونبحث عن أشخاص لديهم خيال وإبداع للانضمام إلى فريقنا الذي يضم أكثر من 40,000 موظف. نريد نجومًا محتملين لمساعدتنا في الوفاء بالوعود التي يقدمها عملاؤنا.
الراتب والمزايا
انضم إلينا في دبي واستمتع براتب جذاب معفي من الضرائب ومزايا السفر التي تخص صناعتنا، بما في ذلك خصومات على الرحلات والفنادق حول العالم.
اكتشف ما يعنيه العيش والعمل في مدينتنا المضيافة سريعة الإيقاع من خلال زيارة قسم دبي الحياة على موقع وظائفنا: www.emirates.com/careers.