OneBullEx is looking for a highly accountable, self-driven Senior Batch Data Engineer to take end-to-end ownership of our enterprise batch data warehouse on Alibaba Cloud. In this role, you will design, maintain, and optimise batch pipelines (T-1) supporting executive dashboards, business analytics, and AI/ML services leveraging modern AI-assisted engineering techniques to rapidly build data layers (ODS, DWD, DWS, ADS) and enforcing strict data quality, automated validation, and proactive monitoring across the platform.
Key Responsibilities
Pipeline Architecture & Data Warehouse Modelling
- Design, build, and maintain scalable ETL/ELT batch pipelines using Alibaba Cloud DataWorks and MaxCompute.
- Rapidly design and build enterprise data warehouse layers (ODS, DWD, DWS, ADS) using modular SQL/Python scripts and AI generation tools.
- Develop and optimise data ingestion, transformation, and batch processing workflows across Lakehouse and Data Warehouse architectures (MaxCompute, Hologres, DataWorks, DTS).
- Ensure data reliability, high query performance, schema stability, and cost-effective cloud resource usage.
AI-Accelerated Engineering & Testing
- Integrate modern AI tools and techniques (e.g. Claude, GitHub Copilot, prompt engineering) into daily workflow to accelerate code generation, SQL refactoring, and data validation.
- Apply new AI testing methodologies to rapidly write unit tests, simulate data scenarios, and audit data accuracy prior to production release.
Data Quality, Monitoring & Alerting
- Implement strict data quality rules, automated reconciliation scripts, and validation checks directly inside DataWorks jobs.
- Build proactive alerting and monitoring workflows (integrated with Lark) to detect data drift, schema breaks, or pipeline failures before business impact occurs.
- Support downstream analytics, BI reporting, and AI/LLM services with clean, trusted datasets.
End-to-End Ownership & Collaboration
- Take full ownership of daily T-1 batch pipeline stability, job scheduling, historical backfills, and legacy issue cleanup.
- Act as a bilingual technical bridge, collaborating fluently in both English and Chinese with cross-functional technical leads, product managers, and developers.
Required Qualifications
- 5+ years of hands-on expertise with Alibaba Cloud data services: DataWorks, MaxCompute, DTS, Hologres, FC Functions, Data Agents, and MaxCompute Lakehouse architectures.
- Advanced proficiency in SQL and Python for data engineering, performance tuning, and database optimisation.
- Proven experience modelling multi-layer enterprise data structures (ODS, DWD, DWS, ADS) and managing batch Lakehouse architectures.
- Fluent in both English and Chinese, spoken and written, for seamless technical collaboration with regional teams.
- Strong sense of ownership, high velocity, proactive communication, and a "deliver fast, iterate continuously" attitude.
Preferred
- Active experience leveraging AI coding assistants (Copilot, LLMs) to speed up ETL development, code reviews, and query optimisation.
- Experience building alerting and monitoring integrations with Lark or a similar collaboration platform.
- Track record applying AI-driven testing methodologies ahead of production release.
تبحث شركة OneBullEx عن مهندس بيانات دفعات أول يتمتع بمسؤولية عالية ودافع ذاتي لتولي مسؤولية شاملة عن مستودع بيانات الدفعات للمؤسسة على سحابة Alibaba. في هذا الدور، ستقوم بتصميم وصيانة وتحسين خطوط أنابيب الدفعات (T-1) التي تدعم لوحات تحكم الإدارة، وتحليلات الأعمال، وخدمات الذكاء الاصطناعي/تعلم الآلة، مستفيداً من تقنيات الهندسة الحديثة المدعومة بالذكاء الاصطناعي لبناء طبقات البيانات (ODS, DWD, DWS, ADS) بسرعة، وفرض جودة بيانات صارمة، والتحقق الآلي، والمراقبة الاستباقية عبر المنصة.
المسؤوليات الرئيسية
هندسة خطوط الأنابيب ونمذجة مستودع البيانات
- تصميم وبناء وصيانة خطوط أنابيب ETL/ELT للدفعات قابلة للتوسع باستخدام Alibaba Cloud DataWorks وMaxCompute.
- تصميم وبناء طبقات مستودع بيانات المؤسسة (ODS, DWD, DWS, ADS) بسرعة باستخدام نصوص SQL/Python البرمجية النمطية وأدوات توليد الذكاء الاصطناعي.
- تطوير وتحسين سير عمل استيعاب البيانات وتحويلها ومعالجة الدفعات عبر بنيات Lakehouse ومستودعات البيانات (MaxCompute, Hologres, DataWorks, DTS).
- ضمان موثوقية البيانات، وأداء الاستعلام العالي، واستقرار المخطط، والاستخدام الفعال من حيث التكلفة لموارد السحابة.
الهندسة والاختبار المسرع بالذكاء الاصطناعي
- دمج أدوات وتقنيات الذكاء الاصطناعي الحديثة (مثل Claude، وGitHub Copilot، وهندسة الأوامر) في سير العمل اليومي لتسريع توليد الأكواد، وإعادة هيكلة SQL، والتحقق من صحة البيانات.
- تطبيق منهجيات اختبار جديدة تعتمد على الذكاء الاصطناعي لكتابة اختبارات الوحدة بسرعة، ومحاكاة سيناريوهات البيانات، وتدقيق دقة البيانات قبل الإصدار للإنتاج.
جودة البيانات والمراقبة والتنبيه
- تنفيذ قواعد صارمة لجودة البيانات، ونصوص برمجية للمطابقة الآلية، وفحوصات التحقق مباشرة داخل مهام DataWorks.
- بناء سير عمل للتنبيه والمراقبة الاستباقية (مدمج مع Lark) لاكتشاف انحراف البيانات، أو انقطاع المخططات، أو فشل خطوط الأنابيب قبل حدوث أي تأثير على الأعمال.
- دعم التحليلات النهائية، وتقارير ذكاء الأعمال، وخدمات الذكاء الاصطناعي/نماذج اللغة الكبيرة بمجموعات بيانات نظيفة وموثوقة.
المسؤولية الشاملة والتعاون
- تولي المسؤولية الكاملة عن استقرار خط أنابيب الدفعات اليومي (T-1)، وجدولة المهام، وعمليات التعبئة التاريخية، وتنظيف المشكلات القديمة.
- العمل كجسر تقني ثنائي اللغة، والتعاون بطلاقة باللغتين الإنجليزية والصينية مع القادة التقنيين متعددي الوظائف، ومديري المنتجات، والمطورين.
المؤهلات المطلوبة
- خبرة عملية لا تقل عن 5 سنوات في خدمات بيانات Alibaba Cloud: DataWorks, MaxCompute, DTS, Hologres, FC Functions, Data Agents، وبنيات MaxCompute Lakehouse.
- كفاءة متقدمة في SQL وPython لهندسة البيانات، وضبط الأداء، وتحسين قواعد البيانات.
- خبرة مثبتة في نمذجة هياكل بيانات المؤسسات متعددة الطبقات (ODS, DWD, DWS, ADS) وإدارة بنيات Lakehouse للدفعات.
- إجادة اللغتين الإنجليزية والصينية، تحدثاً وكتابة، للتعاون التقني السلس مع الفرق الإقليمية.
- حس قوي بالمسؤولية، وسرعة عالية في الإنجاز، والتواصل الاستباقي، وامتلاك عقلية "التسليم السريع، والتطوير المستمر".
المؤهلات المفضلة
- خبرة فعلية في الاستفادة من مساعدي البرمجة بالذكاء الاصطناعي (Copilot, LLMs) لتسريع تطوير ETL، ومراجعات الكود، وتحسين الاستعلامات.
- خبرة في بناء تكاملات التنبيه والمراقبة مع Lark أو منصة تعاون مشابهة.
- سجل حافل في تطبيق منهجيات الاختبار المدفوعة بالذكاء الاصطناعي قبل الإصدار للإنتاج.