نحن نبحث عن مهندس جودة وموثوقية الذكاء الاصطناعي ليكون مسؤولاً عن "الجاهزية للإنتاج" لحلول الذكاء الاصطناعي القائمة على السحابة الخاصة بنا. يجمع هذا الدور الهجين بين اختبار البرامج المأتمت، وتقييم نماذج الذكاء الاصطناعي، وهندسة موثوقية المواقع (SRE). ستعمل على بناء أطر عمل مأتمتة للتحقق من مخرجات الذكاء الاصطناعي وضمان أن البنية التحتية الأساسية لـ Azure/AWS مرنة وعالية الأداء وممتثلة للمعايير المصرفية.
المسؤوليات الرئيسية:
أتمتة جودة الذكاء الاصطناعي: تصميم وتنفيذ أطر اختبار مأتمتة لخدمات الذكاء الاصطناعي (مثل Azure OpenAI وAWS Bedrock). يتضمن ذلك الاختبار للتحقق من هلوسة النماذج، والدقة، وزمن استجابة "أمان محتوى الذكاء الاصطناعي".
هندسة المرونة (SRE): تطبيق "هندسة الفوضى" (Chaos Engineering) واختبارات الحمل لضمان قدرة الواجهات الخلفية للويب/الهاتف المحمول على التعامل مع حركة المرور بالمستوى المصرفي. الحفاظ على التوافر العالي من خلال نصائح وسكريبتات الاسترداد المأتمتة.
اختبارات التراجع المأتمتة: إنشاء مجموعات اختبار مدمجة في CI/CD باستخدام لغة Python تضمن التحقق من منطق التطبيق وحالة البنية التحتية (التحقق من IaC).
القابلية للملاحظة ومؤشرات SLIs: تحديد ومراقبة مؤشرات مستوى الخدمة (SLIs) وأهداف مستوى الخدمة (SLOs). إعداد تنبيهات متقدمة في Azure Monitor أو AWS CloudWatch لاكتشاف تراجع الأداء قبل أن يشعر به المستخدمون.
اختبارات الأمان والامتثال: أتمتة الفحص الأمني وفحوصات الامتثال لضمان أن جميع عمليات معالجة بيانات الذكاء الاصطناعي تلبي بروتوكولات سرية البيانات وإقامتها الصارمة في القطاع المصرفي.
ملف المرشح المطلوب
المتطلبات التقنية والمهنية:
حزمة الأتمتة: إتقان عالٍ للغة Python (لاختبار الذكاء الاصطناعي) وأتمتة أطر العمل (PyTest أو Selenium أو Robot Framework).
البنية التحتية السحابية: خبرة عملية قوية في Azure أو AWS، لا سيما فيما يتعلق بالشبكات، والتوسع، وموثوقية الحوسبة الخادمة (Serverless).
فهم الذكاء الاصطناعي/التعلم الآلي: فهم الهندسة الفورية (Prompt Engineering) وكيفية تقييم مخرجات نماذج الذكاء الاصطناعي (تقييم RAG، ودرجات ROUGE/BLEU، أو معايير LLM المخصصة).
أدوات المراقبة: خبرة في استخدام Grafana أو Prometheus أو أدوات المراقبة السحابية الأصلية لبناء لوحات تحكم الموثوقية في الوقت الفعلي.
الوعي بالعمليات المالية السحابية (FinOps): القدرة على تحديد الاختبارات الفاشلة "المكلفة" أو الاستخدام غير الفعال للموارد السحابية أثناء مرحلة الاختبار.
المهارات والأدوات الموصى بها:
اللغات: Python (إلزامي)، برمجة Bash النصية.
الأدوات: GitHub Actions (CI/CD)، وTerraform (قراءة/تحقق)، وK6 أو JMeter (الأداء).
أطر عمل الذكاء الاصطناعي: DeepEval أو Ragas أو LangSmith (لتقييم الذكاء الاصطناعي المأتمت).
المهارات
Python
Azure/AWS
تقييم نماذج الذكاء الاصطناعي
We are seeking an AI Quality & Reliability Engineer to own the "Production Readiness" of our cloud-based AI solutions. This hybrid role combines automated software testing, AI model evaluation, and Site Reliability Engineering (SRE). You will build the automated frameworks that validate our AI outputs and ensure the underlying Azure/AWS infrastructure is resilient, performant, and compliant with banking standards.
Key Responsibilities:
AI Quality Automation: Design and execute automated testing frameworks for AI services (e.g., Azure OpenAI, AWS Bedrock). This includes testing for model hallucinations, accuracy, and "AI Content Safety" latency.
Resiliency Engineering (SRE): Implement "Chaos Engineering" and load testing to ensure web/mobile backends can handle banking-scale traffic. Maintain high availability through automated recovery scripts.
Automated Regression: Build CI/CD-integrated test suites using Python that validate both the application logic and the infrastructure state (IaC validation).
Observability & SLIs: Define and monitor Service Level Indicators (SLIs) and Objectives (SLOs). Set up advanced alerting in Azure Monitor or AWS CloudWatch to catch performance degradation before users do.
Security & Compliance Testing: Automate security scans and compliance checks to ensure all AI data handling meets strict banking data residency and privacy protocols.
Desired Candidate Profile
Technical & Professional Requirements:
Automation Stack: High proficiency in Python (for AI testing) and framework automation (PyTest, Selenium, or Robot Framework).
Cloud Infrastructure: Strong hands-on experience with Azure or AWS, specifically regarding networking, scaling, and serverless reliability.
AI/ML Understanding: Understanding of Prompt Engineering and how to evaluate AI model outputs (RAG evaluation, ROUGE/BLEU scores, or custom LLM-benchmarks).
Monitoring Tools: Experience with Grafana, Prometheus, or native cloud monitoring tools to build real-time reliability dashboards.
FinOps Awareness: Ability to identify "expensive" failing tests or inefficient cloud resource usage during the testing phase.
Recommended Skillset & Tools:
Languages: Python (Mandatory), Bash scripting.
Tools: GitHub Actions (CI/CD), Terraform (reading/validating), K6 or JMeter (Performance).
AI Frameworks: DeepEval, Ragas, or LangSmith (for automated AI evaluation).
Skills
AI model evaluation
Tanqeeb.com هو محرك البحث عن الوظائف الأول فى الوطن العربى الذى يجمع لك الوظائف المناسبة من مختلف مواقع التوظيف الآخرى فى مكان واحد !
