La formation Testeur IA – Certification ISTQB AI Testing (CT-AI) V1.0 permet de comprendre les spécificités du test des systèmes basés sur l’intelligence artificielle. À travers des exercices pratiques et un socle théorique solide, les participants ont appris à concevoir, exécuter et optimiser des tests adaptés aux modèles de Machine Learning et aux systèmes autonomes.
Ils abordent des sujets clés tels que le biais algorithmique, la qualité des données, les métriques de performance, les réseaux neuronaux et les techniques de test avancées comme le test métamorphique ou les attaques adverses. La formation couvre également l’utilisation de l’IA pour automatiser et améliorer les activités de test.
Cette formation prépare à la certification Certified Tester AI Testing (CT-AI).
A qui s’adresse cette formation ?
Pour qui
- Professionnels de l’activité de tests de logiciels (maîtrise d’ouvrage, maîtrise d’oeuvre, services et exploitation, utilisateurs finaux) souhaitant s’appuyer sur un référentiel standard et normalisé
Prérequis
- Avoir une expérience des tests et des notions du cycle de développement informatiques
- Avoir des notions de Scripting en python (TP)
- Avoir obtenu la certification ISTQB Fondation (CTFL)
Les objectifs de la formation
- Identifier les particularités des systèmes exploités sur l’IA et leurs impacts sur les tests
- Analyser les risques liés aux biais, à l’éthique et à la transparence des modèles IA
- Préparer, entraîner et évaluer un modèle de machine learning à des fins de test
- Concevoir des cas de test adaptés aux systèmes IA auto-apprenants et non-déterministes
- Appliquer des techniques avancées de test telles que le test métamorphique ou adversaire
- Mettre en oeuvre des outils IA pour automatiser et optimiser l’activité de test logiciel
Le programme
- Définition de l’IA et son impact
- Différences entre IA étroite, générale et super IA
- Systèmes basés sur l’IA et systèmes conventionnels
- Technologies IA
- Framework de développement de l’IA
- Matériel pour les systèmes IA
- AI as a Service (AIaaS)
- Utilisation des modèles pré-entraînés
- Normes et réglementations de l’IA
2 – Caractéristiques des systèmes basés sur l’IA
- Flexibilité et adaptabilité
- Autonomie et évolution
- Biais et éthique
- Effets secondaires et piratage de récompense
- Transparence, explicabilité et interprétabilité
- Sécurité et sûreté des systèmes IA
-
- Types de machine learning
- Worflow Machine Learning
- Sélection d’une approche Machine Learning
- Sélection des algorithmes Machine Learning
- Surajustement et sous-ajustement
AtelierSurajustement et sous-ajustement
-
- Données du workflow ML
- Données d’apprentissage, de validation et de test dans le workflow ML
- Problèmes de qualité des données
- La qualité des données et son effet sur le modèle ML
- Étiquetage des données pour l’apprentissage supervisé
AtelierPréparation et création d’un modèle ML
-
- Matrice de confusion
- Métriques pour classification, régression et clustering
- Limites des métriques
- Sélection des métriques
- Benchmarks pour ML
AtelierÉvaluer un modèle Machine Learning créé
6 – Réseaux neuronaux et tests – ML
-
- Fonctionnement des réseaux neuronaux
- Mesures de couverture
AtelierImplémentation d’un Perceptron
- Spécification des systèmes IA
- Niveaux de test
- Données de test
- Tester les biais d’automatisation dans les systèmes IA
- Documenter un modèle ML
- Tester la dérive du concept
- Approche de test pour un système ML
8 – Tester les caractéristiques spécifiques à l’IA
-
- Tests des systèmes auto-apprenants et autonomes
- Test des systèmes autonomes et complexes
- Tester les caractéristiques de qualité
- Test des systèmes probabilistes et non-déterministes
- Tester la transparence, l’interprétabilité et l’explicabilité
- Test d’oracles
- Objectifs des tests et critères d’acceptation
AtelierDifférentes techniques d’explicabilité du modèle
9 – Méthodes et techniques de test des systèmes IA
-
- Attaques adverses et empoisonnement des données
- Test par paires, test dos à dos, test A/B
- Test métamorphique
- Test sur l’expérience des systèmes IA
- Techniques de test pour les systèmes IA
AtelierMéthodes du test métamorphique, du test par paires
Réaliser un test exploratoire et analyse exploratoire des données (EDA)
10 – Environnements de test pour systèmes IA
- Environnements de test pour les systèmes IA
- Environnements de test virtuels pour le test de systèmes IA
11 – Utilisation de l’IA pour les tests
-
- L’IA pour les tests
- Analyser le reporting des défauts
- Générer des cas de test
- Optimiser des suites de tests de régression
- Prédiction des défauts
- Tester les interfaces utilisateur
AtelierUtilise l’IA dans les tests
Construire un système de prédiction des défauts
