Mission

Construire une infrastructure de monitoring robuste et intelligente pour assurer la fiabilité, la sécurité et la qualité des agents vocaux IA déployés chez Vocca. Tu joueras un rôle clé dans la détection des dérives, l’évaluation continue des performances, et l’amélioration proactive de l’expérience utilisateur dans des contextes médicaux critiques.

Résultats attendus

1er mois :

• Déployer un premier système de monitoring post-appel qui agrège transcriptions, scores de performance, et événements critiques (failures, escalades, silences, etc.).
• Mettre en place un tableau de bord simple permettant de visualiser les conversations à risque et remonter les alertes clés (drift, bug, mauvaise compréhension).
• Construire un premier pipeline d’évaluation automatique des appels à l’aide de règles, de modèles simples ou de heuristiques.

3 mois :

• Industrialiser la collecte de logs et d’événements (intentions, embeddings, scores audio, etc.).
• Définir et implémenter la stratégie d’observabilité globale de Vocca :
  • Collecte unifiée de logs applicatifs
  • Monitoring de l’infrastructure (infra & réseaux)
  • Intégration d’APM (ex : Datadog, Sentry) et crash reporting
  • Mise en place d’une stratégie d’alerting technique temps réel
• Automatiser les feedbacks structurés à destination des équipes produit et technique.
• Enrichir la couverture qualité avec :
  • Pipeline de test AI
  • Tests end-to-end intelligents intégrés aux workflows de déploiement

6-12 mois :

• Développer un système de retraining ou de reconfiguration assistée en fonction des incidents récurrents ou des cas d’usage mal couverts.
• Aider à concevoir des outils internes de review audio rapide, annotables par les équipes QA ou médicales.
• Garantir une traçabilité complète des conversations, en assurant la compliance RGPD et la conformité aux régulations santé européennes (HDS, DMP, etc.).

12 mois+ :

• Devenir référent sur les sujets AI Safety, monitoring et MLOps chez Vocca.
• Encadrer un ou deux profils plus juniors dédiés à l’évaluation et au suivi qualité des agents vocaux.