Job Title: Senior Stream Processing Framework Specialist
Location: United Arab Emirates (Remote)
Employment Type: Full-Time
Work Arrangement: 100% Remote — Work From Home
About the Role
We are seeking an experienced Senior Stream Processing Framework Specialist to design, optimize, and maintain real-time data processing systems. The successful candidate will develop scalable streaming pipelines, improve processing performance, and ensure reliable data delivery across distributed platforms.
Key Responsibilities
- Design and implement real-time data streaming pipelines and processing architectures.
- Develop and optimize stream processing applications using Apache Flink, Kafka Streams, Spark Structured Streaming, or similar frameworks.
- Monitor processing latency, throughput, data accuracy, and resource utilization.
- Implement event-time processing, windowing, state management, and fault-tolerance mechanisms.
- Troubleshoot data delays, processing failures, duplicate events, and pipeline bottlenecks.
- Integrate streaming platforms with databases, data lakes, APIs, and cloud services.
- Optimize checkpointing, state recovery, parallelism, and resource allocation.
- Establish data quality controls, monitoring, alerting, and automated recovery procedures.
- Collaborate with data engineering, software development, and DevOps teams to improve streaming reliability.
- Document architecture decisions, operational procedures, and performance optimization standards.
Qualifications and Experience
- Bachelor's degree in Computer Science, Data Engineering, Software Engineering, or a related field.
- 5–8 years of experience in data engineering, distributed systems, or real-time stream processing.
- Strong knowledge of streaming architectures, event-driven systems, and distributed data processing.
- Practical experience with Apache Flink, Kafka Streams, Spark Structured Streaming, or equivalent frameworks.
- Proficiency in Java, Scala, Python, or another relevant programming language.
- Understanding of Kafka, event-time semantics, stateful processing, and fault tolerance.
- Familiarity with cloud platforms, Docker, Kubernetes, and CI/CD pipelines.
- Experience with data monitoring, pipeline testing, and performance tuning.
- Strong analytical, troubleshooting, and communication skills.
- Ability to work independently in a fully remote environment.
What We Offer
- Competitive salary based on experience and qualifications.
- 100% remote work with no routine office attendance.
- Professional development and career advancement opportunities.
- Collaborative environment focused on real-time data innovation and engineering excellence.
How to Apply
Submit your updated CV and a brief cover letter highlighting your stream processing expertise, data pipeline projects, and measurable performance improvements.
Email Subject: Application – Senior Stream Processing Framework Specialist (United Arab Emirates Remote)
- Candidates should confirm applicable employment arrangements, residency requirements, and work authorization before accepting an offer.
المسمى الوظيفي: أخصائي أول في إطارات عمل معالجة البيانات المتدفقة
الموقع: الإمارات العربية المتحدة (عن بُعد)
نوع التوظيف: دوام كامل
نظام العمل: عمل عن بُعد بنسبة 100% — العمل من المنزل
عن الوظيفة
نحن نبحث عن أخصائي أول خبير في إطارات عمل معالجة البيانات المتدفقة لتصميم وتحسين وصيانة أنظمة معالجة البيانات في الوقت الفعلي. سيقوم المرشح الناجح بتطوير خطوط أنابيب تدفق قابلة للتوسع، وتحسين أداء المعالجة، وضمان تسليم موثوق للبيانات عبر المنصات الموزعة.
المسؤوليات الرئيسية
- تصميم وتنفيذ خطوط أنابيب تدفق البيانات في الوقت الفعلي وهياكل المعالجة.
- تطوير وتحسين تطبيقات معالجة التدفق باستخدام Apache Flink أو Kafka Streams أو Spark Structured Streaming أو إطارات عمل مشابهة.
- مراقبة زمن وصول المعالجة، والإنتاجية، ودقة البيانات، واستخدام الموارد.
- تنفيذ معالجة وقت الحدث (event-time)، والنافذة (windowing)، وإدارة الحالة، وآليات تحمل الأخطاء.
- استكشاف أخطاء تأخير البيانات، وفشل المعالجة، والأحداث المكررة، واختناقات خطوط الأنابيب وإصلاحها.
- دمج منصات التدفق مع قواعد البيانات، وبحيرات البيانات، وواجهات برمجة التطبيقات (APIs)، والخدمات السحابية.
- تحسين نقاط التحقق (checkpointing)، واستعادة الحالة، والتوازي، وتخصيص الموارد.
- إنشاء ضوابط جودة البيانات، والمراقبة، والتنبيه، وإجراءات الاسترداد الآلي.
- التعاون مع فرق هندسة البيانات، وتطوير البرمجيات، وDevOps لتحسين موثوقية التدفق.
- توثيق قرارات البنية التحتية، والإجراءات التشغيلية، ومعايير تحسين الأداء.
المؤهلات والخبرة
- درجة البكالوريوس في علوم الحاسوب، أو هندسة البيانات، أو هندسة البرمجيات، أو مجال ذي صلة.
- خبرة تتراوح بين 5 إلى 8 سنوات في هندسة البيانات، أو الأنظمة الموزعة، أو معالجة تدفق البيانات في الوقت الفعلي.
- معرفة قوية بهياكل التدفق، والأنظمة القائمة على الأحداث، ومعالجة البيانات الموزعة.
- خبرة عملية في Apache Flink أو Kafka Streams أو Spark Structured Streaming أو إطارات عمل مكافئة.
- إجادة لغات Java أو Scala أو Python أو لغات برمجة أخرى ذات صلة.
- فهم لـ Kafka، ودلالات وقت الحدث، والمعالجة ذات الحالة، وتحمل الأخطاء.
- الإلمام بالمنصات السحابية، وDocker، وKubernetes، وخطوط أنابيب CI/CD.
- خبرة في مراقبة البيانات، واختبار خطوط الأنابيب، وضبط الأداء.
- مهارات تحليلية وقدرة قوية على حل المشكلات والتواصل.
- القدرة على العمل بشكل مستقل في بيئة عمل عن بُعد بالكامل.
ما نقدمه
- راتب تنافسي بناءً على الخبرة والمؤهلات.
- عمل عن بُعد بنسبة 100% دون الحاجة إلى الحضور المكتبي الروتيني.
- فرص للتطوير المهني والتقدم الوظيفي.
- بيئة تعاونية تركز على ابتكار البيانات في الوقت الفعلي والتميز الهندسي.
كيفية التقديم
أرسل سيرتك الذاتية المحدثة وخطاب تغطية موجز يسلط الضوء على خبرتك في معالجة التدفق، ومشاريع خطوط أنابيب البيانات، والتحسينات الملموسة في الأداء.
موضوع البريد الإلكتروني: Application – Senior Stream Processing Framework Specialist (United Arab Emirates Remote)
- يجب على المرشحين تأكيد ترتيبات التوظيف المعمول بها، ومتطلبات الإقامة، وتصاريح العمل قبل قبول العرض.