Construire, évaluer et faire vivre
des systèmes d’intelligence artificielle.

Master 1 · Data & Business Intelligence

Master 1 · Data & BI : le SGBD de l’intérieur, le SQL analytique, la conception d’entrepôt, la statistique pour décider, les indicateurs de gestion. Cinquante étapes guidées par module.

• M1 DATA 01Le SGBD de l’intérieur : normalisation, index, plans, transactionsCinquante étapes guidées sur les jeux rh et credit : dépendances fonctionnelles, fermetures, troisième forme normale puis FNBC ; index et plans de requête lus avant et après ANALYZE ; transactions et isolation ; NULL et la logique à trois valeurs. Tout tourne dans le navigateur, avec SQLite.
• M1 DATA 02SQL analytique : sous-totaux, cohortes, récursionCinquante étapes : cadres de fenêtre ROWS et RANGE sur des séries trouées, ex æquo, sous-totaux sans ROLLUP dont la somme redonne le total, cohortes et rétention du jeu saas, requêtes récursives (calendrier, hiérarchie de rh, chaînes) et le cumul à plancher.
• M1 DATA 03Concevoir l’entrepôt : du besoin au schéma en étoileCinquante étapes sur les jeux logistique et saas : matrice en bus, grain et types de faits, photo de fin de mois reconstruite depuis les mouvements, dimensions conformes, clés de substitution et membre inconnu, SCD 1 contre SCD 2, treillis d’agrégats.
• M1 DATA 04La statistique pour décider : estimer, tester, régresserCinquante étapes sur les jeux saas et rh, dont la vérité est connue : intervalle d’un taux par la formule et par le bootstrap, couverture mesurée, test A/B dimensionné avant, risque de l’arrêt précoce, régression multiple avec statsmodels, écart salarial brut contre écart à poste égal.
• M1 DATA 07Les indicateurs de gestion : du mot au calcul vérifiableCinquante étapes sur les quatre jeux : douze indicateurs, de la marge à l’absentéisme, chacun avec sa fiche écrite, calculé deux fois, en SQL et en pandas, et rapproché des résultats de référence.

Master 1 · Ingénierie de l’IA

Master 1 · IA : le protocole expérimental, la préparation des variables, l’entraînement des réseaux profonds, le langage par les statistiques, l’audit d’un modèle. Dix exercices vérifiés par module.

• M1 IA 01Le protocole expérimental, avec scikit-learnSur le jeu credit, dont la vérité est connue : l’API estimateur, la référence simple, les fuites hors pipeline mesurées, la validation croisée par groupe, la comparaison appariée de deux modèles et sa correction, un jeu de test consulté une seule fois.
• M1 IA 02Préparer les variables : pandas, manquants, catégories, échellesSur le jeu credit brut : le grain des jointures, les mécanismes de valeurs manquantes, les encodages (one-hot, ordinal, par la cible et sa fuite), les échelles, et la sélection de variables à l’intérieur de la validation croisée.
• M1 IA 03Entraîner un réseau profond : initialisation, normalisation, régularisationSur le jeu glyphes : variance des activations et du gradient selon l’initialisation, BatchNorm et LayerNorm vérifiées par différences finies, dropout inverse, Adam avec L2 contre AdamW.
• M1 IA 06Le langage par les statistiques : n-grammes, TF-IDF, plongementsSur le jeu corpus, dont la perplexité vraie est connue : n-grammes et lissages (Laplace, Jelinek-Mercer, Kneser-Ney), TF-IDF et régression logistique contre le plafond de Bayes, PPMI et SVD puis SGNS, classes de mots.
• M1 IA 08Biais, équité et audit d’un modèleSur les jeux credit et glyphes : parité, égalité des chances et calibration par groupe, l’identité de Chouldechova, un proxy qui porte l’écart sans l’attribut, seuils par groupe et leur coût, décalage de distribution décelé par un test à deux échantillons.

Parcours Data & Business Intelligence

Parcours professionnel distinct de l’ingénierie de l’IA : analyse de données, visualisation et décision. Data Analysis, Business Intelligence, SQL et Python de zéro à l’expertise, Power BI et DAX, Looker, Tableau, et ingénierie analytique. Les jeux de données sont fournis, documentés et téléchargeables.

Les 4 jeux de données du parcours — version propre et version brute avec les anomalies posées et comptées, dictionnaire des colonnes, résultats de référence, base SQLite, CSV téléchargeables.

Fondamentaux

• DATA 01Le métier, et le cadrage d’une demandeLes quatre métiers de la donnée distingués par leur livrable ; les six étapes d’un projet analytique et la façon dont chacune échoue, toujours visible à l’étape suivante ; la traduction d’une phrase de direction en question d’analyse, avec le seuil sans lequel aucune réponse ne déclenche de décision ; et, sur le jeu de référence livré, pourquoi un taux de marge ne se moyenne pas et pourquoi la famille au meilleur taux est celle qui rapporte le moins.
• DATA 02Les données elles-mêmes : formats, clés, relationsCe qu’une ligne représente et pourquoi cette phrase doit être écrite avant tout calcul ; les six décisions qu’un CSV ne déclare pas ; ce qu’une clé promet, et les deux façons opposées dont elle rompt sa promesse — une clé absente fait disparaître du chiffre d’affaires, une clé en double en fabrique ; puis, sur la version brute du jeu livré, les quatre façons de se tromper, mesurées, dont un nettoyage partiel qui éloigne du vrai plus sûrement que l’absence de nettoyage.
• DATA 03Modéliser : faits, dimensions, grain et mesuresCe qui distingue une table de faits d’une dimension, et pourquoi le calendrier est une dimension bien qu’il grandisse ; le grain, et le contrôle à poser après chaque jointure ; l’additivité, avec un comptage de clients distincts dont la somme des mois vaut quatorze fois la vérité ; et surtout la distinction qui porte tout le cursus — une colonne calculée fige une valeur par ligne, une mesure se recalcule à chaque niveau, sept points d’écart sur le taux de marge du jeu livré.
• DATA 04Interroger : contexte, agrégats, filtres et fenêtresLe contexte d’évaluation, c’est-à-dire les lignes qu’une mesure voit — quatre taux issus de la même formule, et aucun faux ; ce qu’un GROUP BY efface sans retour ; le filtre qui écarte aussi ce dont il ne peut rien dire, et qui fait disparaître dix-huit pour cent du chiffre d’affaires en silence ; la part du total, dont le dénominateur doit ignorer le filtre ; les fenêtres, et le contrôle gratuit qu’offre un cumul.
• DATA 05Visualiser : la forme qui convient, et celles qui mententQuelle représentation répond à quelle question, et pourquoi l’œil compare bien des longueurs et mal des angles ; la troncature d’axe, qui fait percevoir un rapport de vingt-cinq là où il vaut trois ; le bruit mensuel, dont la moitié disparaît au lissage alors que la tendance de fond ne bouge pas ; le nombre de classes d’un histogramme, qui fabrique la forme de la distribution ; et l’écart entre moyenne et médiane, qui est une information et non un défaut.
• DATA 06Restituer : le rapport, le seuil et l’incertitudeLes six lignes qu’un rapport doit porter, dont celle qui manque toujours : les limites ; recensement ou échantillon, c’est-à-dire la question qui décide s’il y a une incertitude — le même chiffre d’affaires est exact au centime ou connu à sept cent mille euros près selon ce qu’on demande ; un écart mensuel dont l’intervalle contient zéro et que quelqu’un commentera ; la fausse précision ; et la décomposition, qui rend une conclusion globale locale au lieu de l’annuler.

SQL pas à pas

• DATA 07SQL pas à pas (1) : lire une tableQuarante-cinq étapes en partant de zéro, une par écran, chacune validée dans la page par un vrai moteur SQLite : ce qu’est une table, SELECT et les alias, DISTINCT, les six formes du WHERE, cinq étapes entières sur le vide — parce que c’est le seul mécanisme qui fait des dégâts silencieux —, le tri, la pagination, les colonnes calculées, les six fonctions d’agrégation, et sept pièges mesurés dont la division entière, la division par zéro qui ne lève aucune erreur et l’ordre d’exécution d’une requête.
• DATA 08SQL pas à pas (2) : regrouper et joindreCinquante étapes sur trois tables qui ne collent pas parfaitement — une clé absente du référentiel, une clé vide, une dimension dont personne ne se sert, et un doublon de saisie qui multiplie les lignes. GROUP BY et le changement de grain, HAVING, les jointures interne et externe, ce qu’elles perdent et ce qu’elles fabriquent, les opérations d’ensemble, et huit pièges mesurés dont le COUNT(*) qui ment après un LEFT JOIN et la condition qui annule le LEFT selon qu’on la place dans le ON ou dans le WHERE.
• DATA 09SQL pas à pas (3) : sous-requêtes, CTE et fenêtresCinquante étapes jusqu’au rapport mensuel complet : les trois places d’une sous-requête, le NOT IN qui rend zéro ligne dès qu’un seul vide traîne dans sa liste, EXISTS et la corrélation, les expressions de table WITH et la récursivité — qui fabrique un calendrier sans aucune table —, puis les fonctions de fenêtre : part du total, cumul, ROW_NUMBER contre RANK contre DENSE_RANK sur de vrais ex aequo, LAG, moyenne mobile, cadres ROWS et RANGE, NTILE, le plan d’exécution et ce qu’un index y change.

Python pas à pas

• DATA 10Python pas à pas (1) : les basesCinquante étapes pour qui n’a jamais programmé : la première variable, les quatre types et la virgule française qui fait échouer une conversion, les conditions et l’indentation qui change le programme sans lever d’erreur, les listes et la copie qui n’en est pas une, les boucles et l’accumulateur, puis les fonctions — jusqu’au piège de l’argument par défaut modifiable, qui marche au premier essai et casse au second. À la fin, une fonction complète qui calcule un taux de marge comme rapport des sommes, et non comme moyenne des taux.
• DATA 11Python pas à pas (2) : dictionnaires, CSV, dates et erreursCinquante étapes pour refaire à la main ce que SQL faisait pour vous : un regroupement, une jointure avec son bilan de clé, un comptage de valeurs distinctes qui ne s’additionne pas. Puis le chargement d’un vrai CSV — point-virgule, virgule décimale, cellule vide, ligne illisible — avec le contrôle qui attrape toutes les disparitions silencieuses : lues égale gardées plus rejetées. Et les erreurs, attrapées par leur nom, parce qu’un except nu compte vos fautes de frappe comme des rejets de données.
• DATA 12Python pas à pas (3) : pandas, avec la contre-épreuve SQLCinquante étapes pour refaire en cinq lignes ce qui en prenait vingt : Series et DataFrame, masques booléens et leurs parenthèses obligatoires, groupby et le taux calculé après les sommes, transform qui est la fonction de fenêtre, merge et son indicateur de provenance, pivot et melt. Avec, à chaque fois que cela a un sens, la requête SQL équivalente en regard — et une contre-épreuve finale qui compare douze valeurs entre pandas et SQLite, pour zéro écart. Plus les trois façons dont pandas rend un résultat faux sans lever d’erreur.

Power BI

• DATA 13Power BI (1) : l’outil recensé, et la table mise au propreLe recensement de Power BI, relevé dans la documentation officielle et daté : les trois produits, les cinq composants de l’éditeur Power Query, les 45 transformations en cinq familles, les 13 types de données et les quatre endroits pour les changer, les trois commandes d’erreur avec leur chemin de ruban exact. Puis cinquante étapes sur un export de caisse qui a tous les défauts d’un vrai export — titre parasite, doublon, quantité vide, montant non numérique, décimales à la virgule. Chaque chemin de clics est une citation datée ; chaque résultat est calculé dans la page en SQL, pour que vous puissiez comparer au nombre que Power BI vous affiche.
• DATA 14Power BI (2) : Power Query, les colonnesLes vingt et une transformations de colonnes documentées, chacune avec son chemin de clics cité et daté et son équivalent exécuté dans la page : les sept façons de fractionner, les huit sortes de colonnes à ajouter — index, personnalisée, conditionnelle, à partir d’exemples, classement, cluster, date UTC, décalage —, l’analyse du JSON et le déplacement des colonnes. Et cinq pièges mesurés, tous silencieux : le fractionnement qui crée une colonne de plus le jour où une référence change, les deux commandes de casse qui ne sont pas symétriques, la clause conditionnelle morte, les trois méthodes de classement qui donnent trois résultats, et la clé JSON absente qui déplace une moyenne de quatorze pour cent.
• DATA 15Power BI (3) : Power Query, combinerLes douze derniers articles du recensement : ajouter des requêtes, combiner les fichiers d’un dossier, et fusionner — avec les six types de jointure que la boîte propose réellement, la jointure croisée qui n’y figure pas et la fusion approximative qui est une case à cocher, pas un type. Le fait qui porte le module est mesuré : une jointure interne jette quatorze pour cent du chiffre d’affaires sans lever la moindre erreur, et l’anti-jointure gauche existe exactement pour le dire avant. Avec aussi la différence qui coûte le plus cher entre les deux outils : Power Query ajoute par nom de colonne, SQL par position.
• DATA 16Power BI (4) : le modèle, relations et sens du filtreCe qui transforme des tables préparées en un modèle qui répond juste à une question qu’on n’avait pas prévue : les quatre cardinalités, les deux sens de filtre, la relation active, le schéma en étoile et son vocabulaire complet, la table de dates et les dimensions à variation lente. Cinq pannes mesurées, et aucune ne lève d’erreur : sans relation un total s’affiche à l’identique sur chaque ligne ; au mauvais sens de filtre une colonne entière montre la même valeur ; selon la relation active, janvier pèse cinq mille euros ou treize cents ; une table de dates déduite des faits a quinze jours sur quatre-vingt-dix ; et une dimension à variation lente mal jointe déplace quinze pour cent du chiffre d’une région à l’autre sans que le total bouge.
• DATA 17Power BI (5) : les visuels, et ce qu’ils ne montrent pasTous les cours expliquent comment poser un visuel ; presque aucun ne dit ce qu’il laisse dehors. Chaque visuel applique une stratégie de réduction documentée, avec des plafonds chiffrés, et quand le plafond est atteint le graphique s’affiche normalement. Ce module recense les limites de tous les visuels natifs et les applique à un catalogue de mille cinq cents produits : une matrice n’affiche que cent colonnes et cache ainsi plus du tiers du chiffre d’affaires, un secteur garde les mille premières parts alors que quarante-cinq seulement atteignent un degré, un nuage de points plafonne à dix mille, une table refuse au-delà de cent cinquante colonnes, et un visuel personnalisé reçoit mille points par défaut. Avec les six stratégies de réduction, le volet Format et ses sept sections, le volet Analytique et ses douze éléments, et les trois sorties qui ne perdent rien.
• DATA 18Power BI (6) : filtrer, la surbrillance et les segmentsFiltrer est de l’algèbre des ensembles, et tout ce module le calcule : les quatre niveaux de filtre et leur composition par ET, les valeurs d’une même carte par OU, et le seul endroit où l’ordre compte vraiment. Ce qui ne se calcule pas, c’est de savoir lequel des trois gestes voisins on vient de faire — et les quatre faits mesurés le montrent : filtrer change le total quand mettre en surbrillance ne le change pas, « ne contient pas » écarte aussi les valeurs vides, un filtre masqué n’apparaît même pas dans la liste que le lecteur obtient en survolant le visuel, et « Sélectionner tout » enregistre un filtre « n’est pas » qui adoptera tout seul les valeurs futures. Avec les quatre types de segments, ce qu’un signet capture, et l’extraction.
• DATA 19Power BI (7) : publier, actualiser, et la sécurité au niveau des lignesUn rapport publié n’est plus le vôtre : d’autres l’ouvrent, avec leurs droits, sur des données d’une fraîcheur que vous avez réglée sans y penser. Les quatre pannes de ce module ne lèvent aucune erreur, et trois rendent le rapport plus généreux que prévu : la sécurité au niveau des lignes ne s’applique qu’au rôle Lecteur, deux rôles s’additionnent au lieu de se croiser, la somme des périmètres ne fait pas le total — une région entière n’est vue par personne — et la RLS filtre des lignes, jamais des colonnes ni des listes de noms. Avec les huit actualisations quotidiennes, les deux façons dont une planification s’éteint toute seule, et ce que la passerelle en mode personnel ne sait pas faire.

DAX

• DATA 20DAX (1) : le contexte de filtre, CALCULATE et ALLDepuis le module 07, chaque question se traduisait par un WHERE que vous posiez. DAX renverse le geste : le contexte arrive tout seul, apporté par la cellule, les segments, le volet Filtres et la sécurité au niveau des lignes, et votre formule décide de ce qu’elle en garde. Quatre faits mesurés dans la page : CALCULATE REMPLACE le filtre d’une colonne déjà filtrée — le Nord entier s’affiche dans la ligne « Sud » —, KEEPFILTERS intersecte au lieu de remplacer, la moyenne des taux vaut plus du double du vrai taux, et ALL() n’efface pas toujours ce qu’il annonce. Avec, au centre, un évaluateur de contexte de filtre en quatre fonctions : CALCULATE et KEEPFILTERS y diffèrent d’un seul caractère.
• DATA 21DAX (2) : le temps, la table de dates et les comparaisonsUne trentaine de fonctions donnent l’impression que le temps est résolu. Elles le sont — à condition que le modèle porte une table de dates contiguë, couvrant des années entières, et que l’axe des visuels soit celui de cette table. Hors de ces conditions, elles ne lèvent aucune erreur : elles rendent moins de jours, et le chiffre reste plausible. Quatre faits mesurés sur deux années complètes, jour par jour : un trou dans la table retire des jours en silence, une sélection non contiguë lève au contraire une erreur, DATEADD étend les fins de mois — deux jours sélectionnés, cinq rendus —, et comparer un mois en cours à un mois complet affiche une chute de soixante pour cent là où il ne s’est rien passé.
• DATA 22DAX (3) : itérateurs, tables intermédiaires et TOPNÀ partir d’ici, une mesure ne rend plus seulement un nombre : elle fabrique une table qui n’existe nulle part, la parcourt, et rend un nombre. C’est ce qui permet d’écrire « la moyenne par client » ou « la part des trois meilleurs produits » — et c’est ce qui permet d’écrire des choses fausses sans que rien ne le dise. Quatre faits mesurés dans la page : TOPN peut rendre plus de lignes qu’on ne lui en demande et ne garantit aucun ordre, VALUES ajoute un membre vide que DISTINCT n’ajoute pas — et ce membre porte le chiffre des lignes orphelines, invisibles ailleurs —, et deux écritures du même filtre ne lisent pas le même nombre de lignes. Avec sept fonctions écrites et exécutées dans la page, dont TOPN et sa règle des ex æquo.
• DATA 23DAX (4) : groupes de calcul, priorité et formats dynamiquesCinq mesures et quatre variantes de temps font vingt-cinq mesures à écrire, nommer, formater et maintenir. Un groupe de calcul en fait neuf, grâce à un espace réservé — SELECTEDMEASURE() — qui désigne « la mesure actuellement en contexte ». C’est le dernier grand mécanisme de DAX, et il porte le réglage le plus lourd de conséquences du langage : la priorité ne choisit pas un ordre, elle choisit une IMBRICATION. Sur l’exemple chiffré de la documentation, le résultat est 24 et non 14 — et sur un vrai modèle, elle décide si l’on divise par les jours du mois ou par ceux de l’année. Avec la règle du seul élément à la fois, les chaînes de format dynamiques, et les six limites dont la sécurité au niveau des lignes.

Looker Studio

• DATA 24Looker Studio : sources, combinaisons et fraîcheurMême métier, même vocabulaire, même geste — et dessous, il n’y a pas de modèle. Pas d’étoile, pas de relations persistantes : des sources, et une combinaison qui vit dans le rapport où on l’a faite. Quatre faits mesurés dans la page : une combinaison PRÉ-REGROUPE avant de joindre, ce qui fait disparaître un tiers du chiffre sur un jeu où des ventes se répètent à l’identique ; les métriques y deviennent des dimensions numériques non agrégées ; la condition de jointure n’accepte que l’égalité, sur cinq tables au plus ; et la fraîcheur par défaut est de douze heures, non modifiables pour les produits marketing de Google. Avec la règle qui résout la moitié de tout cela : joindre en amont.

Tableau

• DATA 25Tableau : l’ordre des opérations et les niveaux de détailTableau publie son ordre des opérations — « de haut en bas » — et c’est à la fois sa grande qualité et son grand coût : un chiffre surprenant se relit, à condition d’avoir lu l’ordre. Quatre faits mesurés dans la page. Un filtre de dimension ne touche pas un calcul FIXED : « ils sont appliqués avant les filtres de dimension », donc sans promotion « ils sont ignorés ». Le même filtre promu au contexte, lui, le touche : 12,0 % contre 37,5 % pour la même phrase, un facteur 3,125 décidé par un clic droit, et deux réponses également justes dont la vue ne dit pas laquelle elle montre. Un FIXED plus grossier que la vue réplique ses valeurs : 2 000 € deviennent 8 000 € quand on les somme au niveau ligne, et SUM est le défaut de l’outil. INCLUDE ne réplique jamais, EXCLUDE toujours, avec ATTR et son étoile. Avec la règle qui résout la moitié de tout cela : commencer par INCLUDE.
• DATA 26Tableau : les calculs de table, adressage et partitionnementUn calcul de table « est une transformation que vous appliquez aux valeurs d’une visualisation » : il ne lit pas la base, il lit la grille — et la grille a une forme. Deux mots décident alors du résultat : le partitionnement, qui « décompose la vue en plusieurs sous-vues (ou sous-tables) », et l’adressage, « les dimensions restantes, sur lesquelles le calcul de table est effectué ». Quatre faits mesurés dans la page. La même cellule et la même formule valent 10,0 %, 35,7 %, 55,6 %, 100,0 % selon « Calculer au moyen de » — un facteur 10 décidé par une liste déroulante, et les quatre sont justes. Le même classement rend cette case 1re à la verticale et 3e à l’horizontale : « notre meilleur client du trimestre » et « le plus mauvais trimestre de ce client » sont la même case. Un total cumulé vaut 1 400 € ou 500 € selon où le calcul est « redémarré après chaque partition ». Et un seuil de 50 % est atteint par zéro case ou par six selon la direction. Avec ce qui ne marche pas : le contrôle « chaque sous-table fait 100 % » passe dans les quatre cas.
• DATA 27Tableau : les totaux et les agrégations non décomposablesDepuis le module 06, ce cursus répète un contrôle : la somme des lignes doit faire le total, ou la différence doit être nommée. Ce module enseigne SON EXCEPTION. Par défaut, « les totaux dépendent des données de base et pas des données présentes dans la vue » ; l’autre réglage les calcule « sur les valeurs affichées » — « ce type de total est parfois appelé total à deux passages ». Quatre écarts mesurés sur huit ventes : 4 clients distincts contre 7 si l’on additionne les régions, 775 € de panier moyen contre 1 020 €, 75 € de panier médian contre 1 015 € — facteur 13,5 — et 9,7 % de taux de marge contre 29,6 %. La ligne de partage est mesurée : SOMME, MINIMUM et MAXIMUM se décomposent, MOYENNE, MÉDIANE, COUNTD et tout RAPPORT non. Et le piège central est pire que les autres : quelqu’un applique le contrôle du cursus, force le total en somme, et obtient un tableau cohérent avec un chiffre faux.
• DATA 28Tableau : les relations contre les jointuresDepuis 2020.2, Tableau a deux façons de rapprocher deux tables, et elles ne donnent pas le même nombre. Une jointure « fusionne les données de deux tables en une seule table AVANT de commencer votre analyse », ce qui « peut entraîner la duplication ou le filtrage de données » ; une relation les garde « séparées, en conservant leur niveau de détail ». Quatre faits mesurés sur trois objectifs et cinq ventes : 10 000 € d’objectif deviennent 21 000 € en jointure interne et 23 000 € en jointure gauche, parce que chaque cible est recopiée sur chaque vente ; le chiffre d’affaires, lui, ne bouge pas, de sorte que dans la même table une mesure est fausse et l’autre juste ; le taux d’atteinte passe de 35,0 % à 16,7 % ; et surtout les deux régions tombent exactement sur le même taux alors que l’une fait 1,5 fois mieux que l’autre. Une erreur qui EFFACE un écart est plus dangereuse qu’une erreur qui le fausse.
• DATA 29Tableau : dates discrètes et continues, parties et valeursLes quatre modules précédents faussaient des nombres ; celui-ci inverse un sens. Le menu d’un champ de date contient deux listes qui portent les mêmes mots — « Année », « Trimestre », « Mois » figurent dans l’une et dans l’autre — et celle du haut regroupe : « les parties de date peuvent être utilisées comme n’importe quel autre champ discret », et « par défaut, les dates apparaissent dans la vue sous la forme d’un champ discret ». Quatre faits mesurés sur huit trimestres : ils deviennent 4 points au lieu de 8 ; la courbe obtenue est strictement décroissante alors que 2024 est strictement croissante, de sorte que la tendance affichée n’existe dans aucune des deux années ; le dernier point — celui que tout le monde regarde — affiche 450 € au lieu de 50 € ; et le sommet de la courbe n’a jamais eu lieu, puisqu’un regroupement additionne. Avec ce qui ne marche pas : le contrôle du total passe des deux côtés, parce que rien n’est perdu ni dupliqué — seulement regroupé.
• DATA 30Tableau : ensembles fixes et dynamiques, groupes et bacsLes sept pièges des modules précédents sont faux le jour où on les écrit ; celui-ci apparaît tout seul. « Les membres d’un ensemble dynamique changent lorsque les données sous-jacentes changent » ; « les membres d’un ensemble fixe ne changent pas ». Quatre faits mesurés sur deux photographies d’un portefeuille : un ensemble « nos trois premiers clients » valait 80,0 % du chiffre à sa création — c’était exact — et il en vaut 38,3 % un an plus tard, quand le vrai top 3 en vaut 78,7 %, soit un facteur 2,1 ; il contient un client qui n’a plus aucune vente, et l’ensemble compte toujours trois membres ; il n’a qu’UN membre commun avec le vrai top 3, et les clients écartés pèsent 61,7 % ; enfin les groupes et les bacs ont la même faiblesse — le nouveau client n’est dans aucun groupe, et les mêmes cinq montants donnent 4 classes ou 2 selon la taille du bac. Avec le contrôle qui marche — recalculer le dynamique équivalent et compter la dérive — et la parade nouvelle : dater ce qu’on fige, et inscrire la relecture au calendrier.
• DATA 31Tableau : les tableaux de bord et les actions de filtreLes six modules précédents portaient sur un chiffre au repos : on pouvait les trouver en ouvrant le classeur. Celui-ci porte sur un ÉTAT. Au chargement, le tableau de bord est irréprochable ; le défaut n’existe qu’à partir du premier clic du lecteur, c’est-à-dire après le départ de l’auteur. « Spécifiez l’action à entreprendre lorsque la sélection est effacée dans la vue » — et les trois options citées mot pour mot donnent 1 200 €, 2 500 €, 0 € sur la même vue après le même geste. Un seul des trois se remarque : sur les 6 états d’une action, 5 affichent un écran d’apparence normale et un seul vide la vue, de sorte que « laisser le filtre » laisse un chiffre filtré sans aucune surbrillance. S’y ajoute la carte alimentée par une autre source, qui ne suit pas l’action : 1 200 € et 2 500 € sur le même écran, 1 300 € d’écart. Et le compte des états : une action en a 6, deux actions 36, et un auteur en traverse un. Aucun des trois réglages n’est fautif — la règle n’est pas « tout doit suivre », c’est « étiqueter ».
• DATA 32Tableau : les filtres utilisateur et la sécurité au niveau ligneLes neuf erreurs des modules précédents trompaient le lecteur, qui avait donc intérêt à les trouver. Celle-ci l’avantage : il voit plus que son dû, et personne ne signale qu’il voit trop. Un filtre utilisateur « limite l’accès aux données en fonction des caractéristiques de l’utilisateur », et « elle doit être effectuée au niveau de chaque classeur » — la documentation ajoutant une phrase rare : « et la sécurité peut être hypothétique ». Quatre faits mesurés : deux façons d’écrire le même filtre font voir 0 € ou 2 500 € à un utilisateur sans périmètre, et la différence est la PLACE d’une condition ; les trois comptes affectés ne distinguent pas les deux écritures, de sorte qu’une recette qui ne couvre que les comptes créés ne détecte rien ; un classeur sur 5 où le filtre a été oublié fait voir le total aux trois utilisateurs, et la somme des périmètres vaut alors 7 500 € contre 2 500 € ; enfin 5 endroits à vérifier contre un si l’on filtre la source. Avec le contrôle qui marche — simuler chaque périmètre, le vide compris — et la parade nouvelle : se fermer quand on ne sait pas.
• DATA 33Tableau : le format d’affichage, et le contrôle qui échoue sans erreurLes dix pièges précédents venaient des données ou d’un réglage de calcul. Celui-ci ne vient d’aucun des deux : les six montants sont exacts au centime, le total est exact au centime, et le contrôle répété depuis trente-trois modules échoue quand même — parce qu’il porte sur ce qui est AFFICHÉ. Les deux libellés relevés parlent bien d’affichage : « Décimales : nombre de décimales à afficher » et « Unités : les nombres s’affichent dans les unités spécifiées ». Quatre conséquences mesurées : la somme des lignes affichées fait 2,9 M€ quand le total affiché fait 3,1 M€, soit 200 000 € nés de six arrondis et de rien d’autre ; deux clients à 49 998 € d’écart affichent le même nombre, de sorte qu’un tri les rend dans n’importe quel ordre ; un client à 0,49 € se lit « 0 € » et compte pourtant dans tous les totaux ; et trois parts d’un tiers affichent 99,9 % alors que les parts exactes font 100 %. L’arrondi n’est pas additif, cela vaut dans un tableur comme dans un entrepôt, et la parade est entièrement une mention — la première de la filière qui ne change aucun chiffre.
• DATA 34Tableau : la prévision, et le domaine d’une grandeurTableau prolonge une courbe en deux clics. « Dans Tableau, la prévision utilise une technique connue sous le nom de lissage exponentiel » — et un lissage exponentiel prolonge la tendance de la FIN de la série. Mesuré dans la page sur huit trimestres dont la seconde moitié s’effondre : la prévision vaut 75,78 € au trimestre suivant, puis −31,25 €, puis −245,31 € à un an. Un chiffre d’affaires négatif, produit par un outil, sans un message — parce qu’une prévision par lissage est une droite et qu’une droite n’a pas de plancher. La même série coupée en deux donne 500 €, mais la première année seule n’a que quatre points quand « pour estimer une tendance, Tableau nécessite au moins cinq points de données dans la série chronologique ». Les minimums sont cités avec leurs nombres, dont « au moins 24 pour estimer un modèle avec un cycle saisonnier de douze mois (2 × 12) » et des longueurs de saison cherchées « de 2 à 60 » — dont trois seulement sont testables ici. Et l’avertissement que la documentation écrit elle-même : « si la qualité est faible, la précision mesurée par les bandes de confiance n’a pas d’importance ». D’où le contrôle neuf de ce module : un résultat doit rester dans le DOMAINE de la grandeur qu’il mesure.
• DATA 35Tableau : les cartes, le géocodage et le dénominateurUne carte se lit sans mode d’emploi, donc elle se croit sans réserve. Elle porte deux défauts qui n’ont rien à voir l’un avec l’autre : le premier est arithmétique, le second est un silence. Quatre faits mesurés. Le classement des régions s’inverse COMPLÈTEMENT entre le montant brut et le montant par habitant — le premier devient dernier, avec un facteur 3,0 entre les extrêmes. Et la carte des montants bruts classe les régions dans le même ordre que leur population : colorier des euros par région revient à colorier un recensement, ce qui est le cas général puisque les gens achètent là où ils vivent. Le géocodage, lui, perd 10,0 % du chiffre d’affaires — « un rôle géographique associe chaque valeur dans un champ avec une valeur de latitude et de longitude », et quand il n’y arrive pas « ces valeurs sont marquées comme inconnues dans l’angle inférieur droit de la carte » : l’information existe, elle est exacte, et elle est dans le coin où personne ne regarde. Enfin un nom peut désigner deux endroits, et « Tableau utilise automatiquement les niveaux de hiérarchie appropriés » à condition que le niveau parent soit dans la vue. Avec, pour les cartes à bulles, le rapport de 9 sur l’aire pour un rapport de 3 sur le rayon.
• DATA 36Tableau : l’ordre des opérations et les trois réponses« Les 3 meubles les plus vendus » a trois réponses selon l’ordre dans lequel deux filtres s’appliquent, et rien sur la vue ne dit lequel a été choisi. Quatre faits mesurés. « Par défaut, tous les filtres que vous définissez dans Tableau sont calculés indépendamment. Cela signifie que chaque filtre accède à toutes les lignes de votre source de données sans tenir compte des autres filtres » — et « la vue affiche l’intersection des résultats » : l’écran montre 1 ligne et 1 250 € quand la question en attendait 3 et 2 350 €, soit un facteur 1,88, et deux des trois meubles les plus vendus n’apparaissent nulle part. Un clic renverse le résultat — « ajouter au contexte », et « le contexte est calculé une fois pour générer la vue ». Second défaut, de la même racine : « Tableau applique le filtre de dimension avant d’exécuter le calcul de table », donc retirer une sous-catégorie qu’on ne regarde pas déplace le pourcentage d’une sous-catégorie qu’on n’a pas touchée de 2,9 points. La parade est une expression FIXED, « calculée avant l’application des filtres de dimension ». Et l’ordre lui-même n’est écrit nulle part en texte : il n’existe que dans une figure, en anglais sur la page française. Septième famille de parade du cursus : fixer l’ordre au lieu de le supposer.
• DATA 37Tableau : le niveau de détail et la valeur répliquéeAucune formule n’est fausse dans ce module. Le total par client est juste, la moyenne est juste, chaque cellule de la colonne est juste — et la ligne de total affiche 5 000 € pour un chiffre d’affaires de 2 000 €. Quatre faits mesurés. « Le résultat est que l’utilisation de l’expression de niveau de détail dans la vue provoque la RÉPLICATION de certaines valeurs, c’est-à-dire qu’elles apparaissent plusieurs fois » : le total du client le plus fidèle est compté 4 fois, d’où un facteur 2,50 qui grandit avec la fidélité des clients. La page écrit que passer de AVG à SUM « ne modifiera pas le résultat » : vérifié ligne à ligne, c’est exact, et vérifié sur le total, les deux agrégations donnent des nombres différents dont aucun ne vaut le chiffre d’affaires — la phrase est vraie au niveau de détail de la vue, et le piège est un étage plus haut. Second défaut : la moyenne des moyennes, 416,67 € contre 333,33 €, que Tableau produit par défaut puisque « une agrégation — dans le cas présent, moyenne — est affectée automatiquement ». Et le classement des clients s’inverse : le premier par total est le dernier par commande.
• DATA 38Tableau : la performance, ce qui se compte et ce qui se chronomètreLe seul sujet du cursus où la mesure évidente — la durée — n’est pas reproductible, et où la documentation refuse explicitement de donner un seuil. Quatre faits mesurés. Trois règles citées suffisent à tout compter : « chaque feuille de calcul exécute une ou plusieurs requêtes », « chaque filtre dans la vue nécessite une requête pour renseigner les options », et « afficher les valeurs appropriées » « nécessite une requête pour mettre à jour les valeurs affichées à chaque fois que d’autres filtres sont modifiés ». D’où 11 requêtes au chargement pour un tableau de bord ordinaire, et un balayage des filtres qui passe de 30 à 50 requêtes pour une seule case à cochée — avec un sur-coût qui grandit comme le CARRÉ du nombre de filtres. Deux dimensions posées sur l’étagère Détail, qui ne dessinent rien, multiplient les repères par 160 ; les retirer est le seul gain sans compromis du module, et le zoom n’allège rien puisque « Tableau ne filtre pas les repères que vous ne pouvez pas voir ». Enfin le même calcul lancé cinq fois rend un résultat et cinq durées : le module affiche les durées et n’en asserte aucune. La page ne donne aucun seuil chiffré, et elle écrit pourquoi — « l’ajustement des performances est un processus très individualisé […] testez et répétez ». Huitième et dernière famille de parade de la filière Tableau : mesurer ce qui ne change pas d’une exécution à l’autre.

Ingénierie analytique

• DATA 39Ingénierie analytique : le socle et la définition uniquePremier module de l’ingénierie analytique — ce qu’il faut avoir préparé en amont pour que les trois maisons rendent le même nombre. Quatre faits mesurés. Deux règles binaires, exclure les commandes annulées et exclure les remboursements, font quatre définitions du chiffre d’affaires, et sur dix lignes les quatre donnent quatre nombres distincts — 1 650 €, 2 000 €, 2 050 €, 2 400 € — avec un facteur 1,45 entre les extrêmes. Les six rapports de la maison se partagent ces quatre valeurs, deux sont d’accord par hasard, et AUCUN n’est fautif : c’est le premier défaut du cursus qu’aucun outil ne peut détecter, puisque chaque rapport est juste. Un changement de règle métier et un renommage de colonne coûtent exactement le même prix, 6 modifications contre 1 avec un socle — et l’économie vaut « nombre de rapports moins un », donc le socle se rentabilise dès le deuxième rapport. La discipline se définit elle-même : « analytics engineering, at its core, is about helping groups of human beings collaborate on better decisions at scale », et son principe tient en une phrase, « stacking our transformations in optimized, modular layers means we can apply each transformation in only one place ». Neuvième famille de parade du cursus : une définition, un endroit.
• DATA 40Ingénierie analytique : les tests de données et le vert qui ne prouve rienLes quatre tests génériques — unique, not_null, accepted_values, relationships — attrapent quatre défauts plantés sur huit lignes, un par test, sans se chevaucher. Et ils passent tous les quatre sur une table VIDE, parce que c’est leur définition : « they are select statements that seek to grab failing records, ones that disprove your assertion […] if the data test returns zero failing rows, it passes ». Une table sans ligne ne peut contredire aucune affirmation, donc le pipeline mort rend le même tableau vert que le pipeline sain. Quatre faits mesurés. Second défaut : un montant saisi 10 000 au lieu de 100 passe les quatre tests — 9 900 € d’écart, chiffre d’affaires multiplié par 14,2, zéro ligne attrapée — parce que les génériques vérifient une forme et pas une valeur. Troisième : deux tests passés en « warn » font tomber les bloquants de quatre à deux, et l’exemple de la page elle-même écrit error_if supérieur à 1000, soit mille doublons sans erreur. Rien de tout cela n’est une critique de l’outil : la page ouvre la porte en une phrase, « any assertion that you can make about your model in the form of a select query can be turned into a data test », et les deux tests qui manquent partout tiennent en trois lignes. Dixième famille de parade du cursus : un contrôle doit pouvoir échouer, et on doit l’avoir vu.
• DATA 41Ingénierie analytique : l’idempotence, ou rejouer deux foisUn traitement sera rejoué : reprise après incident, rattrapage, relance par prudence — trois raisons, aucune évitable. Et la propriété qu’on suppose toujours sans jamais la vérifier est que le rejeu ne change rien. Quatre faits mesurés. Le chargement par défaut ajoute, donc il double : six lignes et 2 000 € la première fois, douze et 4 000 € la seconde, dix-huit et 6 000 € la troisième — le chiffre est linéaire en nombre de rejeux, et la table ne porte aucune trace du nombre de passages. Une clé unique suffit à l’éviter : « for updated records, you’ll need to define a unique key to ensure you don’t bring in modified records as duplicates ». Mais la clé doit être le grain : fusionner sur la date au lieu de la commande n’empile plus, elle efface — trois lignes au lieu de six, 1 200 € perdus, soit 60 %, et les quatre tests génériques restent au vert parce que la table amputée est impeccable. Enfin la troisième stratégie, tout reconstruire, est idempotente sans aucune clé et coûte un facteur 365 en lignes relues sur un an d’historique. Aucune famille de parade nouvelle, mais une onzième relecture : lancer deux fois, et comparer.
• DATA 42Ingénierie analytique : les données en retard et la fenêtre de rattrapageLe filtre incrémental recommandé compare la date d’une ligne au maximum déjà chargé — « the best way to find the timestamp of the most recent run of this model is by checking the most recent timestamp in your target table ». Une ligne qui arrive en retard porte une date inférieure à ce maximum : elle ne passe jamais. Quatre faits mesurés. Un seul événement en retard coûte 500 € sur 1 650, soit 30,3 %, et la perte est DÉFINITIVE : le maximum ne fait que monter, donc rejouer rend exactement le même total — le chargement est parfaitement idempotent et parfaitement incomplet, ce qui est le module 41 retourné. La fenêtre de rattrapage la récupère, mais elle n’est pas le retard : 2 jours de fenêtre pour 3 jours de retard, parce que ce qui compte est l’écart à ce qui est déjà chargé — et elle vaut 3 jours si la ligne récente du même lot passe d’abord, donc elle dépend de l’ordre dans le lot. Enfin une fenêtre sans clé de fusion remplace une perte par un doublon : neuf lignes au lieu de six. Aucune famille de parade nouvelle, et une douzième relecture : mesurer le retard observé sur la source, pas le retard supposé.
• DATA 43Ingénierie analytique : les clés et la jointure qui multiplieUne jointure produit une ligne par couple partageant la clé : si la clé apparaît trois fois à droite, la ligne de gauche sort trois fois, avec son montant. Quatre faits mesurés. Joindre 4 commandes et 1 300 € à leurs 7 lignes de détail donne 7 lignes et 2 400 €, facteur 1,85 — et chaque ligne du résultat est un couple LÉGITIME, on peut les relire une par une sans rien trouver. Un seul doublon dans le catalogue multiplie encore : 3 700 €, facteur 2,85, soit 1 300 € de chiffre d’affaires fantôme pour UNE ligne en trop dans une table de référence. La parade qui vient à l’esprit — sommer les montants distincts — perd 300 € parce que deux commandes portent le même montant : elle réduit l’erreur sans l’annuler, et c’est ce qui la rend durable. La page des bonnes pratiques déconseille d’ailleurs les jointures dans la couche de préparation pour cette raison : « they create immediate duplicated computation and confusing relationships that ripple downstream ». Aucune famille de parade nouvelle : la sixième, écrire le domaine et le grain, couvre le module entier.
• DATA 44Ingénierie analytique : l’historisation et le passé réécritUn attribut qui change — le segment d’un client, le statut d’une commande — se range de deux façons, et les deux donnent un passé différent. Quatre faits mesurés. L’écrasement fait disparaître un segment entier : « Petit » passe de 300 € à zéro, « Grand » gagne 16,7 %, sans qu’une seule vente soit modifiée. Et le TOTAL NE BOUGE PAS : 2 100 € dans les deux lectures, donc le contrôle du cursus — comparer un total à sa source — ne voit rien, pour la première fois en quarante-quatre modules. Il faut comparer les répartitions en valeur absolue, 600 € déplacés. La parade est l’historisation — « snapshots implement type-2 Slowly Changing Dimensions […] identify how a row in a table changes over time » — mais historiser sans joindre sur la date est PIRE que ne pas historiser : 3 300 € au lieu de 2 100, facteur 1,57. Enfin deux fautes d’un seul jour cassent la jointure temporelle : un chevauchement compte le fait double, un trou l’efface. Le module comporte un cours complet avant chaque section : définitions, proposition démontrée, formule, exercices corrigés et compléments dépliables.
• DATA 45Ingénierie analytique : la fraîcheur et le chiffre périméLe chargeur s’est arrêté il y a trois jours, et l’entrepôt est parfaitement cohérent. Quatre faits mesurés. Le tableau de bord est EXACT — ses quatre chiffres concordent au centime avec leur source, le contrôle de réconciliation rend 0,00 € — et il montre 51,4 % de la réalité : 1 800 € au lieu de 3 500. Le classement est faux lui aussi : le meilleur jour affiché n’est pas le meilleur jour. Aucune requête sur l’entrepôt ne peut voir ce défaut, et le module le démontre en l’exécutant : deux mondes différents produisent le même contenu. Le seul témoin est une horloge, 78 heures. Ensuite les trois pièges du réglage : mesurer sur la date d’événement au lieu de la date de chargement donne 2 alertes pour 1 vrai problème, soit 50 % de précision ; freshness null rend muette la source la plus vieille du projet, 15,25 jours sans aucun état ; et un filtre posé pour épargner un balayage ne retient aucune ligne de la table en panne. Enfin la cadence : contrôler une fois par jour un engagement d’un jour laisse passer jusqu’à 48 heures. Onzième famille de parades : comparer à une référence extérieure au système. Le module comporte un cours complet avant chaque section : définitions, propositions démontrées, formules, exercices corrigés et compléments dépliables.
• DATA 46Ingénierie analytique : les contrats de donnéesUn contrat déclare la forme d’une table : le nom et le type de chaque colonne, et des contraintes. Quatre faits mesurés. Sur quatre livraisons, le contrat en bloque trois — une colonne en plus, un type changé, une colonne renommée — et laisse passer exactement la quatrième, la seule dont les valeurs sont fausses : 30,00 € au lieu de 3 000,00, un facteur 100 et 2 970 € d’écart. La démonstration est dans le cours : une multiplication par une constante ne change ni le nom ni le type d’une colonne. Ensuite les contraintes : sur 5 types écrits, 2 sont hors contrat par la page elle-même, 0 sur une vue, et 0 est certaine sans ouvrir l’onglet de sa plateforme — les deux colonnes numériques n’en portent aucune. Puis la version, qui transforme les 4 changements cassants d’avertissements en erreurs. Enfin le sens de la protection : sur les 3 objets d’amont d’un projet, 0 peut porter un contrat — on promet à ceux qui nous lisent, personne ne nous promet rien. Trois promesses, trois mécanismes, et une matrice à 3 cases remplies sur 9. Le module comporte un cours complet avant chaque section : définitions, propositions démontrées, formules, exercices corrigés et compléments dépliables.
• DATA 47Ingénierie analytique : la couche sémantique et les mesures semi-additivesUne table d’abonnements porte une ligne par jour et par client actif. Quatre faits mesurés. Additionner la colonne rend 1 800 € et le revenu récurrent vaut 800 € : facteur 2,25. Le choix de la borne est une décision chiffrée, 300 € au début contre 800 à la fin. Les 4 valeurs journalières sont chacune justes et leur somme vaut 1 800 €, soit exactement la somme des lignes, parce que les jours partitionnent les lignes : un tableau MRR par jour muni d’un total de colonne est faux par construction. Sur six agrégations éprouvées, trois se recomposent — somme, minimum, maximum — et trois non : moyenne, médiane, compte distinct, ce dernier donnant 4 contre 9. Enfin le troisième paramètre change la question : regrouper la fenêtre par client rend 1 000 € au lieu de 800, et les 200 € d’écart sont exactement un client parti. Douzième famille de parades : déclarer l’opération interdite, pas seulement le bon chiffre. Deux catalogues relevés le 10/10/2026, 8 agrégations et 21 types de mesure, et une seule maison sur deux offre un moyen de refuser une agrégation. Le module comporte un cours complet avant chaque section : définitions, propositions démontrées, formules, exercices corrigés, une recette à recopier et des compléments dépliables.
• DATA 48Ingénierie analytique : la lignée et la portée d’un changementUn graphe de 10 modèles, 3 expositions, et une colonne à renommer. Quatre faits mesurés. La lignée au grain du modèle désigne 6 modèles en aval et celle au grain de la colonne en désigne 3 : facteur 2, soit 50 % de signalements pour rien et 30 % du projet relu sans raison — et aucune dépendance n’est fausse, c’est le grain qui est grossier. Le piège inverse est pire : un regard au premier degré n’en voit qu’un et il en manque 5. La réponse exacte est une intersection, démontrée dans le cours. Ensuite le bord du système : sans déclaration, le graphe connaît zéro tableau de bord, et avec 3 expositions le même renommage désigne 2 consommateurs nommément, avec leurs propriétaires — la page rend owner obligatoire. Enfin 2 marts sur 5 n’ont aucun consommateur déclaré et sont indécidables : code mort et dépendance cachée produisent le même graphe. La parade est une déclaration vide et datée, et c’est le seul endroit du cursus où une déclaration autorise à retirer quelque chose. Cinq modules, cinq déclarations : les valeurs, l’âge, la forme, l’opération interdite et le consommateur. Le module comporte un cours complet avant chaque section : définitions, propositions démontrées, formules, exercices corrigés, une recette à recopier et des compléments dépliables.
• DATA 49Ingénierie analytique : l’orchestration et la fenêtre d’incohérenceLe travail de nuit part à 03h00, six modèles, des durées inégales. Quatre faits mesurés. À 03h12, le chiffre d’affaires affiche 3 500 € et le détail 3 000 : les deux sont la dernière sortie réussie de leur modèle, l’écart vaut 500 € soit 16,67 %, et aucun des deux n’est faux. La fenêtre d’incohérence dure 15 minutes sur 19, soit 78,9 % du travail. Le contrôle de réconciliation rend zéro avant et zéro après, et il est lancé à 06h00 : la démonstration montre qu’il ne peut détecter l’incohérence que DANS la fenêtre, c’est-à-dire jamais. Ensuite le temps : la durée totale vaut le chemin critique, 19 minutes, et optimiser hors du chemin gagne exactement zéro — mesuré. L’ordre n’est pas un choix : 18 ordonnancements valides sur 720. Enfin l’échec : 3 modèles sautés sur 6, tous sur le contenu de la veille, donc écart interne zéro et chiffre faux de 500 € — et deux réglages documentés laissent couler, severity warn et on_error continue. Treizième famille de parades : ne rendre visible qu’un ensemble cohérent, et d’un seul coup. Le module comporte un cours complet avant chaque section : définitions, propositions démontrées, formules, exercices corrigés, une recette à recopier et des compléments dépliables.

Ateliers sur les jeux complets

• DATA 50Atelier : le jeu « saas » complet, votre chiffre et le nôtrePremier atelier sur un jeu complet — 600 clients, 829 périodes d’abonnement, 9 234 factures, 36 mois — à télécharger sur la page des jeux de données. Quatre faits mesurés. Six façons de calculer le revenu récurrent, et leurs signatures : le rapport entre votre chiffre et le chiffre publié vaut 17,62 si vous avez sommé les trente-six mois, 4,74 si vous n’avez pas nettoyé le fichier. Mais deux erreurs différentes rendent le même nombre, 239 179,50 €, parce que tout abonnement du fichier a commencé avant la fin de la période : un facteur réduit la liste des causes sans la ramener à une, et le second témoin est un mois du milieu. Un raccourci juste peut n’être juste qu’une fois : ne garder que les dates de fin vides donne le bon chiffre au dernier mois et 36 % du bon au milieu. Enfin le nettoyage du fichier brut traverse la bonne valeur sans s’y arrêter — 4,74 puis 4,69 puis 1,01 puis 0,99 — et trente lignes sur huit cent vingt-neuf, les montants exprimés en centimes, valent 98,1 % de l’écart. Le module comporte un cours complet avant chaque section : définitions, propositions démontrées, formules, exercices corrigés, une recette à recopier et des compléments dépliables.
• DATA 51Atelier : le jeu « rh » complet, classer les décisions par leur effetDeuxième atelier sur un jeu complet — 520 salariés, 11 720 bulletins, 36 mois — à télécharger sur la page des jeux de données. Quatre faits mesurés. Cinq façons de compter l’effectif, et le filtre le plus naturel en oublie treize, soit 3,2 % : ceux qui sont partis pendant le mois observé, et qui y ont été payés. Le fichier brut donne pourtant le bon effectif à 1,00 près malgré 247 lignes d’anomalies, parce qu’un facteur ne détecte une anomalie que si elle touche la grandeur mesurée. Ensuite le même écart salarial calculé de huit façons : cinq donnent entre 26,02 et 27,50 %, trois entre 2,20 et 2,54 %, et 23,48 points séparent les deux groupes contre 1,48 point à l’intérieur du plus large — une seule décision compte, et elle pèse vingt fois la deuxième. C’est un paradoxe de Simpson, et 91,6 % de l’écart global vient de la répartition entre familles de métiers. Enfin le fichier brut code le sexe de huit façons : un filtre sur F et H écarte dix-neuf personnes sur quatre cent neuf en silence, et rend tout de même un chiffre à 0,17 point du bon. Le contrôle qui marche n’est pas un facteur, c’est un compte. Le module comporte un cours complet avant chaque section : définitions, propositions démontrées, formules, exercices corrigés, une recette à recopier et des compléments dépliables.
• DATA 52Atelier : le jeu « logistique » complet, un taux à deux termesTroisième atelier sur un jeu complet — 12 000 commandes, 11 997 expéditions, 23 970 mouvements de stock, deux ans — à télécharger sur la page des jeux de données. Quatre faits mesurés. Le même taux de service calculé de sept façons défendables, de 55,63 % à 69,17 %, soit 13,54 points : la décision dont on discute en réunion — compter des colis ou des commandes — vaut 0,54 point, tandis qu’une décision sur le numérateur, « au moins un colis à l’heure » contre « tous les colis à l’heure », en vaut 3,32 à dénominateur identique, et qu’inclure les 1 862 commandes jamais livrées en vaut 10,22. 336 commandes sur les 854 parties en deux colis ont un colis à l’heure et un en retard, et ce sont elles seules qui font cet écart. Ensuite la distribution des délais : médiane 2 jours, moyenne 3,62 — 1,81 fois plus — centile 95 à 11, maximum 45 ; retirer les 5 % les plus longs fait tomber la moyenne de 19,3 % sans bouger la médiane ni aucun centile, et « nous livrons en deux jours » est faux pour 46,06 % des livraisons. Enfin quatre transporteurs, trois questions, trois classements et trois premiers différents : leurs délais médians vont de 1 à 7 jours, un facteur 7, et leurs taux de respect du délai contractuel tiennent en 2,09 points, parce qu’un engagement négocié à partir de la performance efface la performance. Le module comporte un cours complet avant chaque section : définitions, propositions démontrées, formules, exercices corrigés, une recette à recopier et des compléments dépliables.

Partie K — Ingénierie de l’IA : théorie, pratique, articles

Modules L25 à L39 · Un grand module en quinze chapitres : chaque sujet vu par l’informatique et par les mathématiques, avec des implémentations exécutables, des TP sur PC, des exercices auto-corrigés, et les articles de recherche à lire pour chacun.

• MODULE L25Le Transformer en profondeurGradients de l’attention, mini-GPT en NumPy avec rétropropagation manuelle, cache KV, GQA, RoPE, FlashAttention, lois d’échelle ; Vaswani 2017 → Mamba.
• MODULE L26RAG : génération augmentée par la rechercheDécoupage, BM25 depuis zéro, plongements, hybride RRF, reclassement, citations ; rappel@k, nDCG, fidélité ; HNSW/IVF ; modes d’échec ; DPR, ColBERT, RAGAS.
• MODULE L27Les grands modèles de langueBPE, perplexité, SFT, RLHF, DPO (dérivation complète), décodage, génération spéculative, quantification, LoRA, exécution locale ; InstructGPT, DPO, GPT-4 report.
• MODULE L28Prompt engineering, mesuréFew-shot, chaîne de raisonnement, auto-cohérence (Condorcet), sortie contrainte, agents ; banc d’essai de prompts, sensibilité, calibration ; injection et défenses.
• MODULE L29OCROtsu, Sauvola, morphologie, redressement, segmentation, perte CTC implémentée, CER/WER, Tesseract/PaddleOCR/TrOCR/LayoutLM/VLM ; Graves 2006, TrOCR, Donut.
• MODULE L30ASR : reconnaissance de la paroleNyquist, STFT, log-mel, MFCC implémentés ; CTC vs attention vs RNN-T ; wav2vec 2.0, Whisper ; WER par condition, RTF, hallucinations sur silence.
• MODULE L31Les familles de réseaux de neuronesBiais inductifs : équivariance (CNN, GNN), portes (LSTM), attention, SSM, MoE ; VAE, GAN, diffusion implémentés en 1D ; borne de Weisfeiler-Lehman ; grille de choix.
• MODULE L32Métriques et évaluationLe chapitre le plus long : classification, calibration (Brier, ECE, conforme), régression, classement, texte (BLEU, chrF, pass@k), LLM et benchmarks, RAG, agents, perception, robustesse, équité, coût, juges humains et LLM, statistique (bootstrap apparié, McNemar).
• MODULE L33Les infrastructures de l’IARoofline, précisions, parallélismes (DDP, FSDP, tenseurs, pipeline), all-reduce, service d’inférence (TTFT/TPOT, lots, PagedAttention), plateforme ML, cloud vs local vs edge chiffrés.
• MODULE L34Choisir un modèleExigences mesurables, contraintes dures, frontière de Pareto, score pondéré et sa sensibilité, TCO, taille optimale, cartes de modèle et licences, ADR avec déclencheurs de révision.
• MODULE L35Maintenir un modèle en productionDérives (covariables, concept, prior), détecteurs (KS, PSI, JS, MMD, adversarial), pondération d’importance, correction de prior, ré-entraînement, versions, canary, post-mortem.
• MODULE L36Créer un jeu de données from scratchPopulation et échantillonnage, consigne et kappa, nettoyage, MinHash/LSH, étiquettes bruitées, fuites, séparation par groupe/temps, données pour LLM, synthétiques, datasheet, versionnage.
• MODULE L37Les étapes avant le « from scratch »L’escalade en neuf paliers avec limites, contraintes, avantages ; LoRA et rang faible, oubli catastrophique (EWC, rehearsal), pré-entraînement continu, seuil du from scratch, distillation.
• MODULE L38CRISP-ML(Q), MLOps, AIOpsAssurance qualité par phase, pipeline reproductible avec lignage, ML Test Score, niveaux de maturité, SPC/CUSUM, anomalies saisonnières et regroupement d’alertes, gouvernance et AI Act.
• MODULE L39Gérer et administrer des projets IACadrage en une page, estimation P10/P50/P90 et Monte-Carlo, jalons de décision et options réelles, seuil d’arrêt, adoption, tableau de bord, portefeuille, communication des résultats incertains.

Partie L — Modèles linéaires

Modules L40 à L59 · Un modèle par module : régression linéaire, Ridge, Lasso, Elastic Net, logistique, modèles linéaires généralisés, régression quantile, robuste, bayésienne, PLS, GAM, modèles mixtes, calibration, prédiction conforme. Chacun avec son escalier, ses cas d’usage, ses pipelines prêts à l’emploi et ses exercices vérifiés.

• MODULE L40Régression linéaireProjection orthogonale et moindres carrés, ce que sert vraiment chacune des cinq hypothèses, QR contre équation normale, Gauss-Markov et comment Ridge y échappe, Anscombe, levier et distance de Cook, R² qui monte avec du bruit pur, biais de variable omise qui inverse un signe, intervalle de confiance contre intervalle de prédiction, pipelines scikit-learn et statsmodels prêts à l’emploi.
• MODULE L41Régression RidgeRétrécissement dans la base de la SVD et facteurs sigma2/(sigma2+lambda), lecture bayésienne avec lambda = sigma2/tau2, théorème de Hoerl-Kennard et Theobald, validation croisée un-contre-tous exacte et gratuite, degrés de liberté effectifs, non-équivariance d’échelle et constante non pénalisée, forme duale pour p très supérieur à n, Ridge à noyau, double descente, pipelines RidgeCV et KernelRidge prêts à l’emploi.
• MODULE L42LassoSeuillage doux comme solution exacte sur plan orthonormal, géométrie des coins de la boule L1, alpha maximal égal à max|Xty|/n, descente par coordonnées écrite de A à Z et conditions KKT, biais égal à lambda et Lasso relâché, instabilité de la sélection mesurée par bootstrap, condition d’irreprésentabilité, borne structurelle à n variables, pipelines LassoCV et stability selection prêts à l’emploi.
• MODULE L43Elastic NetPénalité mixte L1 et L2, cas limites Ridge et Lasso avec le facteur n de conversion, stricte convexité et unicité de la solution, effet de groupe démontré et mesuré, stabilité de la sélection sur bootstrap, plan augmenté et franchissement de la borne à n variables, alpha maximal dépendant du mélange, rétrécissement double et correction de Zou-Hastie, pipelines ElasticNetCV et comparaison de stabilité.
• MODULE L44Régression logistiqueModèle linéaire en log-cote, rapport de cotes exact et effet marginal en beta p (1-p), équations du score et calibration automatique en moyenne, concavité et Newton-Raphson pondéré écrit de A à Z, séparation parfaite et divergence de l’estimation, pénalité par défaut, exactitude aveugle sous déséquilibre et choix du seuil par le coût, correction de la constante après rééquilibrage, pipelines de classification et de sous-échantillonnage prêts à l’emploi.
• MODULE L45Modèles linéaires généralisés et régression de PoissonLes trois pièces d’un GLM, famille exponentielle et identités b prime et b seconde, lien canonique et score commun à toutes les familles, IRLS unique avec un poids par loi, régression de Poisson à lien log et rapports de taux, surdispersion mesurée sur la couverture réelle des intervalles, correction quasi-Poisson et binomiale négative, offset d’exposition pour modéliser un taux, déviance et résidus de déviance, pourquoi ne pas régresser le logarithme du comptage.
• MODULE L46Régression quantilePerte pinball et sa minimisation exacte au quantile, démonstration sans hypothèse de loi, point de rupture de la médiane contre celui de la moyenne, éventail des pentes sous hétéroscédasticité et diagnostic de variance, programmation linéaire, couverture globale contre couverture conditionnelle, croisement des quantiles et réarrangement, absence de R2 et pseudo-R1 de Koenker-Machado, quantile optimal d’une décision à coûts asymétriques.
• MODULE L47Régression robusteFonction d’influence et sa bornitude comme définition de la robustesse, perte de Huber et IRLS, efficacité mesurée sous bruit gaussien et coût caché de l’estimation conjointe de l’échelle, distinction entre aberrant en y et point de levier, effondrement de Huber sur les leviers, Theil-Sen comme médiane des pentes deux à deux et son point de rupture, RANSAC et le nombre de tirages, diagnostic par le levier et non par le résidu, non-monotonie comme signe de rupture.
• MODULE L48Régression multinomiale et ordinaleSoftmax et son invariance par translation, redondance d’un jeu de paramètres, équations du score par classe et conservation des effectifs, un-contre-tous et l’incohérence de ses probabilités, modèle à cotes proportionnelles et sa variable latente, paramétrisation des seuils par logarithmes d’écarts, ce que les moindres carrés sur le rang conservent et ce qu’ils perdent, test de l’hypothèse de cotes proportionnelles et remèdes.
• MODULE L49Régression bayésienne : Bayesian Ridge et ARDLoi a posteriori gaussienne en forme fermée, moyenne a posteriori identique à la solution Ridge, covariance indépendante de y, vraisemblance marginale et rasoir d’Occam automatique, choix de lambda sans validation croisée, décomposition épistémique et aléatoire de la variance prédictive, détection d’extrapolation gratuite, ARD et l’élagage par divergence de précision, différence avec la sparsité du Lasso, limites de l’empirical Bayes.
• MODULE L50Régression sur composantes : PCR et PLSRégression sur composantes principales et son angle mort, tri par variance contre tri par corrélation, moindres carrés partiels et maximisation de la covariance, w1 proportionnel à X transposee y, déflation NIPALS et orthogonalité des scores, équivalence avec les moindres carrés au rang plein, arrêt prématuré comme régularisation, choix du nombre de composantes et croissance du R2 d’apprentissage, densité des coefficients et ce qu’ils n’autorisent pas à dire.
• MODULE L51Moindres carrés sous contrainte : NNLS et isotoniqueContraindre plutôt que pénaliser, moindres carrés positifs et sparsité issue de la géométrie, conditions de Karush-Kuhn-Tucker et ensemble actif, absence de rétrécissement des coefficients retenus, régression isotonique et pool adjacent violators, projection sur le cône des suites croissantes, préservation de la moyenne, nombre de blocs comme complexité effective et son adaptation au bruit, inconsistance aux bords, contrainte de somme par ligne augmentée, décomposition biais-variance du gain d’une contrainte.
• MODULE L52LARS et le chemin de régularisationChemin de régularisation affine par morceaux, nœuds et interpolation exacte, direction équiangulaire et invariant de LARS, équivalence avec les conditions de Karush-Kuhn-Tucker du Lasso, modification du retrait qui distingue LARS pur et Lasso, coût du chemin complet contre une grille, lecture directe du modèle à k variables, instabilité de l’ordre d’entrée sur colonnes corrélées.
• MODULE L53Splines et modèles additifs généralisésBases B-splines, partition de l’unité et support local, phénomène de Runge et erreur au bord, P-splines et pénalité de différences secondes, degrés de liberté effectifs comme trace de la matrice chapeau, noyau de la pénalité et modèle de repli, modèle additif généralisé construit comme un linéaire sur une base par variable, identifiabilité et reparamétrisation, limite de l’additivité face aux interactions.
• MODULE L54Modèles mixtes : effets aléatoires et rétrécissementPseudo-réplication et effondrement de la couverture, effets fixes contre effets aléatoires, structure de covariance sigma2 I plus tau2 Z Z transposee, rétrécissement en forme fermée et lien avec la moyenne a posteriori, trois postures de regroupement, corrélation intra-classe et taille d’échantillon effective, variance d’effet aléatoire nulle et retour silencieux au modèle naïf, agrégation par groupe comme raccourci et ses conditions de validité.
• MODULE L55Données de panel : effets fixes et erreurs types groupéesConfondant inobservé constant dans le temps, transformation intra et élimination algébrique, estimateurs groupé, between, within et différences premières, coïncidence exacte à deux dates, variables constantes dans le temps non identifiables, correction des degrés de liberté, test de Hausman, erreurs types groupées et leur condition de nécessité — persistance simultanée du régresseur et de l’erreur.
• MODULE L56Apprentissage en ligne : SGD et arrêt prématuréArrêt prématuré comme régularisation, facteur de rétrécissement exact par direction de la SVD, ordre d’apprentissage des directions, comparaison quantitative avec Ridge et correction de la règle 1 sur eta k, minimum intérieur de l’erreur de test, descente de gradient stochastique, plancher de bruit en racine du pas, moyennage de Polyak-Ruppert et nécessité d’une période de chauffe, rôle du conditionnement.
• MODULE L57Gamma, Tweedie et les données positives asymétriquesBiais de retransformation et facteur exponentielle sigma carre sur deux, correction de Duan et GLM à lien log, fonction de variance et coefficient de variation constant, loi de Tweedie comme somme Poisson de variables Gamma, masse atomique en zéro, non-comparabilité des déviances de puissances différentes, faible influence du choix de la puissance, contradiction entre Gini, calibration globale et erreur relative, contrôle des prédictions impossibles.
• MODULE L58Calibration des probabilitésDiscrimination contre calibration, invariance de l’AUC par transformation croissante, sur-confiance du bayésien naïf sur variables corrélées, diagramme de fiabilité et erreur de calibration espérée, mise à l’échelle de Platt et recalibration isotonique, jeu de calibration séparé et fuite dont le symptôme est une perfection, décomposition de Murphy du score de Brier en fiabilité, résolution et incertitude.
• MODULE L59Prédiction conforme : une couverture garantie sans hypothèseConformal par découpage, score de non-conformité, rang ceil((n+1)(1-alpha)) et rôle du plus un, garantie à échantillon fini encadrée des deux côtés, argument d’échangeabilité et uniformité du rang, indépendance vis-à-vis de la qualité du modèle, couverture marginale contre conditionnelle, impossibilité de la couverture conditionnelle exacte, conforme normalisé et régression quantile conformalisée, rupture de l’échangeabilité sous décalage de population.

Partie M — Arbres et ensembles

Modules L60 à L74 · Un modèle par module : arbre de décision, bagging, forêt aléatoire, Extra Trees, boosting de gradient, XGBoost, LightGBM, empilement, arbres pour la survie et pour les quantiles, interprétation par SHAP. Chacun avec son escalier, ses cas d’usage, ses pipelines prêts à l’emploi et ses exercices vérifiés.

• MODULE L60Arbre de décision : CARTAlgorithme glouton CART et sa sous-optimalité démontrée sur le XOR, impuretés de Gini et d’entropie contre l’erreur de classement, mémorisation et élagage coût-complexité, chemin fini et emboîté, biais de cardinalité des importances par impureté, importance par permutation et nécessité d’un jeu de test, instabilité mesurée sur les prédictions plutôt que sur la structure, gain du vote d’arbres.
• MODULE L61Bagging et forêt aléatoireVariance d’une moyenne de prédicteurs corrélés et la question du hasard auquel elle s’applique, hasard interne mesuré par découpage en sous-forêts et plancher nul, corrélation des profils de prédiction qui n’est pas le rho de la formule, vrai plancher issu de la variabilité du jeu d’apprentissage, décomposition en biais, variance entre jeux et bruit, coût réel de max_features, bootstrap et erreur out-of-bag avec ses deux pièges, absence de sur-apprentissage avec le nombre d’arbres, absence d’extrapolation.
• MODULE L62AdaBoost : le boosting adaptatifAdditionner plutôt que moyenner, exigence de classifieurs faibles, algorithme écrit à la main et démonstration du poids alpha, AdaBoost comme descente sur la perte exponentielle, erreur de test qui baisse après que l’apprentissage atteint zéro, distribution des marges et redistribution du confortable vers le précaire, fragilité aux étiquettes fausses et concentration du poids, comparaison des pertes exponentielle et logistique, croisement avec la forêt aléatoire.
• MODULE L63Le boosting de gradientAjustement sur le gradient négatif et descente dans l’espace des fonctions, AdaBoost comme cas particulier, pseudo-résidu égal au résidu pour la perte quadratique, algorithme en six lignes, sur-apprentissage et retour du compromis biais-variance, réglage du taux d’apprentissage et optimum du rétrécissement, réfutation de la règle nu fois M constante, arrêt précoce et son prix en données, pertes logistique, absolue et de Huber et bornes de leurs pseudo-résidus.
• MODULE L64XGBoost : le second ordre et le gain régulariséDéveloppement de la perte à l’ordre deux, poids optimal d’une feuille moins G sur H plus lambda, score de structure et gain d’une coupure, lambda présent à la fois dans le poids et dans le gain donc déplaçant les coupures, hessien constant de la perte quadratique rendant le second ordre vide, hessien variable de la perte logistique et gain de vingt pour cent, hiérarchie des régularisations avec la profondeur devant lambda et gamma, direction par défaut pour les valeurs manquantes et dépendance au mécanisme du trou, méthode par histogrammes et son croisement avec la recherche exacte.
• MODULE L65LightGBM : croissance par feuille, GOSS et catégoriellesCroissance par feuille contre par niveau et profondeur réellement atteinte, num_leaves comme paramètre de complexité et insuffisance de son défaut, piège de la règle deux puissance max_depth, comparaison honnête des deux politiques à nombre de feuilles égal dans une même bibliothèque, GOSS et pourquoi son raisonnement casse sur le choix des coupures, supériorité du sous-échantillonnage ordinaire par décorrélation, regroupement EFB des variables creuses, traitement natif des variables catégorielles par tri des modalités selon le gradient moyen, et fragilité des modalités rares.
• MODULE L66CatBoost : encodage ordonné et arbres symétriquesFuite du codage par la cible quantifiée exactement sur les modalités vues une fois, encodage ordonné par permutation et suppression de la fuite par construction, dépendance de la nocivité à la force du signal porté par la modalité, croisement entre codage naïf et ordonné, ordre de grandeur du codage comparé à l’apport de la variable, rôle du prior comme condition d’existence sur les modalités inconnues, choix de sa force, codage hors-pli, arbres symétriques ou oblivious et gain de la contrainte de structure, et le principe commun aux modules L64 à L66.
• MODULE L67Régler un boosting : ce que cela rapporteGain mesure du reglage compare a un depart raisonnable, rendement d une recherche aleatoire selon le budget, largeur de la region utile, pouvoir de resolution de la validation compare au tirage au hasard, non-reproductibilite de l identite du gagnant et reproductibilite de sa qualite, variation due a l echantillon d apprentissage comparee a l ecart entre les meilleures configurations, amplitudes des hyperparametres et ordre de reglage, echec du reglage un a la fois en presence d interaction, et obtention gratuite du nombre d arbres par staged_predict.
• MODULE L68Boosting probabiliste : quantiles et intervallesPerte pinball et son minimiseur le quantile, pauvrete de son gradient, sous-couverture systematique des intervalles par regression quantile et son origine dans le retrecissement des quantiles extremes, croisement des quantiles, adaptation de la largeur a l heteroscedasticite, prediction conforme par decoupage et distinction entre couverture marginale et conditionnelle, quantiles conformalises CQR et preservation de la forme par une correction additive, score d intervalle et pourquoi la couverture seule n est pas un critere de qualite.
• MODULE L69Empilement : combiner sans se tromper de validationMoyenne a poids egaux et son hypothese de qualite comparable, difference avec le bagging, blending et son cout en donnees, empilement sur predictions hors-pli, faute des predictions en echantillon et son mecanisme lisible dans les poids, modele qui memorise et erreur d apprentissage trompeuse, gain reel de l empilement, correlation des erreurs comme borne du gain, choix d un meta-modele simple, et cout de la contrainte de positivite des poids.
• MODULE L70Déséquilibre des classes : poids, seuil, rééchantillonnagePiege de l exactitude sur classes rares, cout des erreurs comme critere, poids de classe, SMOTE ecrit a la main, sous-echantillonnage et perte de donnees, absence d effet des remedes sur le classement mesuree par AUC precision moyenne et F1, deplacement de l echelle des probabilites et destruction de la calibration, seuil optimal theorique deduit des couts, calibration isotonique rendant le seuil calculable et stable, et comparaison chiffree des deux leviers.
• MODULE L71L’importance des variables : trois mesures, trois questionsBiais de cardinalite de l importance d impurete sur variables inutiles et utiles, importance par permutation et necessite du calcul hors echantillon, memorisation mesuree par la permutation en apprentissage, retrait de colonne, variables parfaitement correlees et contradiction apparente des trois mesures, choix de la mesure d apres la decision preparee, piege du retrait dans une foret ou une colonne de bruit decorrele les arbres, et verification par la correlation entre arbres.
• MODULE L72SHAP : les valeurs de Shapley, et ce qu’elles n’expliquent pasValeurs de Shapley calculees exactement par enumeration des coalitions, fonction de valeur interventionnelle construite sur un fond de reference, axiome d efficience verifie a la precision machine, echec de la symetrie quand le modele n est pas symetrique, echec de l axiome du nul quand le modele utilise une variable inutile, evaluation du modele sur des points hors variete et mesure de son ampleur, regroupement des variables liees, comparaison aux trois mesures d importance du module precedent, et regles d agregation en importance globale.
• MODULE L73Modeles a regles : RuleFit, modeles additifs, et ce que « interpretable » veut direVerification qu une regle extraite d un arbre est litteralement un chemin de cet arbre, son indicatrice coincidant sans aucun desaccord avec la feuille atteinte, et que le nombre de regles d un ensemble se compte exactement par une borne atteinte quand les arbres sont pleins ; mesure de ce qu une penalisation par valeur absolue garde dans un dictionnaire de sept cents regles, et du point ou relacher cette penalisation degrade au lieu d ameliorer, parce que les regles ont ete construites sur les donnees d apprentissage ; chiffrage de la redondance entre regles retenues, deux d entre elles pouvant etre parfaitement correlees, ce qui rend leurs coefficients arbitrairement partages ; demonstration que l explication produite n est pas unique, cinq ajustements sur des reechantillonnages des memes donnees ne partageant aucune regle pour des performances equivalentes, et mise en garde contre un test de stabilite qui ne teste rien parce que les arbres de la bibliotheque sont deterministes ; mesure de ce que la contrainte d additivite coute, nulle quand la verite est additive et importante quand une interaction existe, l ecart fournissant une detection d interactions par difference ; et mesure montrant que les fonctions de forme d un modele additif attribuent une amplitude non nulle a des variables sans aucun signal, et que cette amplitude croit plus vite que celle des variables utiles quand on augmente le budget, d ou la necessite d un temoin par permutation dont on chiffre aussi les limites.
• MODULE L74Mettre un ensemble en production : taille, latence, derive, intervallesMesure comparant deux facons de reduire un ensemble d arbres, la troncature aux premiers et la selection par penalisation, le signe de leur ecart s inversant selon le budget vise, et un modele reduit au quart pouvant egaler l ensemble complet ; comptage exact du cout par prediction puis chronometrage dans deux regimes, le traitement en lot et le traitement a l unite, dont le rapport atteint plusieurs centaines et croit avec le nombre d arbres parce que ce sont les appels et non les comparaisons qui coutent ; fabrication de deux derives opposees montrant qu un detecteur variable par variable alerte sur un changement sans effet et reste muet sur un changement couteux, parce qu il ne regarde que les lois marginales et jamais la structure de dependance, et identification du detecteur qui ordonne correctement les situations, la distribution des scores predits ; mesure montrant qu un decalage du taux de base fait MONTER l aire sous la courbe pendant que l ecart de calibration quadruple et que le taux predit reste fige, parce que ce critere ne depend que du classement ; mesure de la couverture d intervalles construits par reechantillonnage, tres inferieure au niveau annonce et dont le deficit grandit avec ce niveau, ce qui interdit toute correction par un facteur constant ; et mesure du compromis entre recence et volume lors d un reentrainement, montrant un seuil en dessous duquel reentrainer degrade, et qu ajouter les donnees recentes aux anciennes bat le reentrainement sur les seules recentes.

Partie N — Optimisation pour l’apprentissage

Modules L75 à L82 · La descente de gradient et ses variantes, mesurées là où la théorie est exacte : le pas et le seuil de divergence, le conditionnement, le gradient stochastique, momentum et Nesterov, les pas adaptatifs et quand ils nuisent, les planificateurs, la différentiation automatique, et le non différentiable. Cette partie est prérequise par L56, par L63 et par toute la partie sur les réseaux de neurones.

• MODULE L75Descente de gradient : le pas et la vitesseDecouplage de la descente dans la base propre de la hessienne, seuil de divergence exactement deux sur lambda max, pas optimal et taux de convergence en fonction du conditionnement, proportionnalite du nombre d iterations au conditionnement, convergence en un seul pas quand le conditionnement vaut un, zigzag et pas successifs anti-paralleles, conditionnement de X transposee X egal au carre de celui de X, effet de la standardisation, ridge comme preconditionneur, recherche lineaire d Armijo, et estimation de lambda max par iteration de la puissance.
• MODULE L76Conditionnement : d’où il vient, et ce qui le réduitLes deux causes independantes du conditionnement, echelle et correlation, et le fait que la standardisation ne traite exactement que la premiere ; le cout de la correlation et la borne moins log epsilon sur quatre retrouvee ; le blanchiment par la racine carree inverse de la matrice de Gram, qui donne un conditionnement de un et une convergence en un pas mais coute une diagonalisation ; ridge comme preconditionneur dont le gain egale le rapport des conditionnements mais qui deplace la solution ; la colinearite exacte des indicatrices, la valeur propre negative comme diagnostic, et le codage sans constante ; le centrage et la quasi-colinearite avec le vecteur de uns ; et la perte de chiffres significatifs proportionnelle au logarithme du conditionnement.
• MODULE L77Gradient stochastique : le bruit qui aideSeuil de stabilite gouverne par la courbure d une seule observation et non par la valeur propre maximale de la matrice de Gram, plateau proportionnel au pas et sa prediction par la trace, superiorite mesuree du melange par permutation sur le tirage avec remise, cout compte en passes sur les donnees, plancher statistique en sigma carre d sur n et regle d arret qui en decoule, planificateurs de pas en un sur racine de t et en un sur t avec la fragilite de sa constante, moyenne de Polyak-Ruppert et phase de chauffe, et taille du mini-lot dont le plateau varie en pas divise par la taille du lot sans gain en nombre de lectures.
• MODULE L78Momentum et Nesterov : de κ à √κBoule lourde de Polyak et methode de Nesterov, distinguees par le point ou l on prend le gradient ; taux en racine de kappa et gain exactement egal a la racine du conditionnement ; valeurs propres complexes de l iteration et decroissance en enveloppe modulee ; pas optimal depassant le seuil de divergence de la descente simple et se placant a la limite de sa propre stabilite ; asymetrie du reglage et impossibilite de regler le coefficient d inertie separement du pas ; divergence des trois methodes lorsque le conditionnement est sous-estime et croissance du gain lorsqu il est surestime ; arbitrage entre regime asymptotique et horizon fini ; et plancher de bruit multiplie par un sur un moins beta, avec la correction du pas effectif.
• MODULE L79Pas adaptatifs : AdaGrad, RMSProp, AdamLes trois methodes adaptatives comme preconditionneurs diagonaux, donc correctrices de la seule composante d echelle du conditionnement ; experience de la rotation a spectre constant et perte mesuree de l avantage ; accumulateur monotone d AdaGrad et stagnation qui en decoule ; moyenne glissante de RMSProp, vitesse et perte de controle ; role d epsilon comme seuil en dessous duquel la methode cesse de s adapter et cout de la valeur par defaut ; correction de biais qui divise le premier pas et rend le pas interpretable ; largeur de la fenetre de pas comme veritable avantage d Adam ; et cas ou une methode adaptative fait moins bien qu une descente ordinaire.
• MODULE L80Planificateurs de pas, échauffement, et arrêtLa descente comme filtre spectral et l arret precoce comme penalisation ; courbe en U de l exces de risque et conditions de son apparition ; correspondance entre arret precoce et ridge par les degres de liberte effectifs, et fausseté de la formule reliant le parametre de penalisation au nombre d iterations ; insuffisance de la norme du gradient comme critere d arret et facteur de conversion par la plus petite valeur propre ; planificateurs constant, paliers, cosinus, racine et inverse, et fait qu aucun n atteint le minimum du risque ; absence d effet de l echauffement sur un probleme a courbure constante ; et largeur comparee des fenetres de reglage de l arret et de la penalisation.
• MODULE L81Gradients : différentiation automatique et vérification numériqueErreur d une difference finie comme somme d un terme de troncature et d un terme d annulation, courbe en V et pas optimal en racine de la precision machine ; gain de la difference centree et lois d echelle en puissance un tiers et deux tiers ; pas complexe atteignant la precision machine sans annulation et sur presque toutes les valeurs du pas, avec sa limite silencieuse sur les fonctions non analytiques ; modes direct et inverse de la differentiation automatique, cout independant du nombre de variables et prix en memoire ; echec inevitable d une verification numerique aux points anguleux ; et necessite d un test relatif plutot qu absolu.
• MODULE L82Sous contrainte et non différentiable : projection, ISTA, proximalOperateur proximal et son calcul en forme close, seuillage doux comme proximal de la norme un et projection comme proximal de l indicatrice d un convexe ; lenteur du sous-gradient et absence de zeros exacts ; ISTA et FISTA, et fait mesure que leur convergence sur le lasso est geometrique et non polynomiale, les bornes en un sur t et un sur t carre etant des garanties de pire cas ; identification du support comme explication du regime geometrique et benefice principal de l acceleration ; seuil de penalisation au-dela duquel la solution est exactement nulle et chemin de regularisation qui en decoule ; et impossibilite pour une descente projetee de diverger, qui convertit un echec visible en echec silencieux.

Partie O — Statistiques inférentielles appliquées

Modules L83 à L88 · Ce que l’inférence dit, et ce qu’on lui fait dire. Les intervalles de confiance et leur couverture réelle, la p-value et quatre façons de la lire de travers, la puissance et la taille d’échantillon, le bootstrap et les tests de permutation, la correction pour tests multiples, et la taille d’effet. Chaque énoncé est vérifié par simulation, parce qu’un taux de couverture annoncé n’est pas un taux de couverture mesuré.

• MODULE L83Intervalles de confiance : ce qu’ils disent et ce qu’on leur fait direNiveau de confiance comme propriete de la procedure et mesure de la couverture reelle par simulation ; deux causes independantes de la sous-couverture, le quantile de Student qui se corrige exactement et la non-normalite qui ne se corrige pas ; effondrement de l intervalle de Wald sur une proportion rare et formule exacte de sa couverture, corrige par l intervalle de Wilson ; decroissance de la largeur en un sur racine de n et cout quadratique de la precision ; erreur du chevauchement de deux intervalles pour juger d une difference et facteur racine de deux qui l explique ; distinction entre intervalle de confiance et intervalle de prediction ; et comparaison des bootstraps percentile et studentise, le premier etant le moins couvrant des trois.
• MODULE L84Tests d’hypothèses : la p-value et quatre façons de la lire de traversUniformite de la p-value sous l hypothese nulle, mesuree par simulation, et sens exact du niveau d un test ; quatre lectures fautives verifiees une a une : la p-value prise pour la probabilite de l hypothese nulle et proportion reelle de fausses decouvertes, l absence de signification prise pour l absence d effet, la petitesse de la p-value prise pour la grandeur de l effet, et la p-value crue reproductible alors que la replication ne depend que de la puissance ; inflation du risque de premiere espece par l arret optionnel ; dependance de la p-value au seul produit de la taille d effet par la racine de l effectif ; et comparaison de Student et de Welch sur variances inegales puis sur loi asymetrique, ou le conseil usuel se retourne.
• MODULE L85Puissance et taille d’échantillon : le calcul qu’on fait toujours trop tardFormule de taille d echantillon et mesure de son sous-dimensionnement a petit effectif, le quantile normal y remplacant celui de Student ; effet minimal detectable quand l effectif est impose, et sa decroissance en un sur racine de n ; puissance a posteriori montree comme fonction deterministe de la p-value, donc sans information nouvelle, et sa valeur constante au seuil ; malediction du vainqueur, gonflement de l effet observe parmi les seules etudes significatives et probabilite d un signe errone ; cout d un desequilibre des effectifs par la moyenne harmonique ; et echec mesure du dimensionnement d une replication sur l effet publie.
• MODULE L86Bootstrap et permutation : l’inférence sans formuleExactitude du test de permutation sous echangeabilite, mesuree la ou Student et Welch echouent, et mise en evidence que l hypothese testee est l egalite des LOIS et non celle des moyennes ; echec du test de permutation sur la difference brute a variances inegales et apport de la permutation d une statistique studentisee ; role du nombre de reechantillonnages, qui achete de la resolution et de la puissance mais non la validite, et cas ou le test ne peut plus rejeter du tout ; comparaison des intervalles bootstrap percentile, studentise et BCa ; inconsistance du bootstrap sur un maximum et atome de sa loi ; et equivariance de l intervalle d une mediane, recoupee par l intervalle exact des statistiques d ordre.
• MODULE L87Tests multiples : Bonferroni, Benjamini-Hochberg, fausses découvertesCroissance du risque de se tromper au moins une fois avec le nombre de tests et verification de la formule un moins un moins alpha puissance m ; equivalence des trois corrections sous l hypothese nulle globale ; mise en evidence que Benjamini-Hochberg ne controle pas le risque global mais la proportion de fausses decouvertes, avec une inflation non monotone du premier ; deux identites mesurees, la proportion de fausses decouvertes de Benjamini-Hochberg et le risque global de Bonferroni valant tous deux alpha fois la part de nulles vraies ; cout en puissance des trois corrections et gain quasi nul de Holm sur Bonferroni ; comportement sous dependance positive puis negative, et piege de la fausse dependance negative dans un test bilateral ; et inflation du risque par le choix du meilleur de plusieurs resultats.
• MODULE L88Taille d’effet : pourquoi p < 0,05 ne suffit jamaisConversions exactes entre les mesures de taille d effet — d de Cohen, correlation, part de variance, probabilite de superiorite, chevauchement des distributions, delta de Cliff — et verification par simulation ; biais du d de Cohen a petit effectif et correction exacte de Hedges par le facteur gamma ; traduction des conventions usuelles en taux de bon classement et en recouvrement ; largeur de l intervalle de confiance sur la taille d effet et proportion d intervalles compatibles a la fois avec un petit et un grand effet ; ecart d impression entre la part de variance expliquee et la probabilite de superiorite pour un meme effet ; et ce que la p-value renseigne reellement sur la taille d effet a travers une litterature aux effectifs varies.

Partie P — Noyaux, distances et voisinage

Modules L89 à L98 · Ce qui se décide par une distance. La marge maximale et les vecteurs supports, l’astuce du noyau et le théorème de Mercer, la régression à perte epsilon-insensible, les plus proches voisins et la malédiction de la dimension, la recherche approchée et ce que coûte le rappel, Naive Bayes et son hypothèse fausse, l’analyse discriminante, les processus gaussiens, l’approximation de noyaux, et l’apprentissage de métrique. Chaque énoncé est vérifié par simulation, parce qu’une garantie annoncée n’est pas une garantie mesurée.

• MODULE L89SVM linéaire : la marge maximale et les vecteurs supportsVerification de l identite entre la marge algebrique deux sur la norme de w et la marge geometrique, et de la contrainte duale de somme nulle ; demonstration que seuls les vecteurs supports determinent la solution, en retirant des points non supports puis un support ; borne de Vapnik reliant le nombre de vecteurs supports a l erreur leave-une-observation, et mesure de son relachement ; effondrement de la marge dure en presence d un seul point mal etiquete et moment ou la marge algebrique cesse d etre une distance ; absence d invariance d echelle et separation de ses deux causes, la penalite exprimee dans les unites d origine et la mauvaise convergence du solveur ; et effet du desequilibre des classes sur des classes qui se recouvrent, avec la ponderation qui le repare.
• MODULE L90SVM à noyaux : l’astuce du noyau et le théorème de MercerVerification que l astuce du noyau est une identite algebrique et non une approximation, par construction de la carte explicite du noyau polynomial ; dimension implicite egale au coefficient binomial de p plus d parmi d, et cout evite ; condition de Mercer lue sur le spectre de la matrice de Gram, avec deux contre-exemples et le constat qu aucune bibliotheque ne la verifie ; dimension implicite infinie du noyau gaussien, attestee par le rang de la matrice de Gram, et son decrochage numerique quand l effectif croit ; role du parametre gamma, de la limite lineaire a la memorisation pure, avec la proportion de vecteurs supports comme diagnostic ; et sensibilite du noyau gaussien aux echelles, superieure a celle du cas lineaire malgre l adaptation automatique de gamma.
• MODULE L91SVR : la perte epsilon-insensible et le tubeVerification que le tube de la perte epsilon-insensible est une zone d indifference exacte, en deplacant les y qui s y trouvent sans changer la solution ; role d epsilon comme unique source de parcimonie, jusqu au modele constant quand le tube depasse la demi-etendue des reponses ; les deux bornes exactes de nu dans la formulation nu-SVR, etablies par les multiplicateurs au plafond plutot que par un epsilon recupere ; demonstration qu une perte epsilon nulle ne redonne pas les moindres carres mais vise la mediane conditionnelle, sur un bruit asymetrique ; robustesse aux points aberrants et son origine reelle, la linearite de la perte au-dela du tube et non le plafond de la penalite ; et loi exacte de rechelonnement des reponses, avec ce que son oubli coute.
• MODULE L92k plus proches voisins et la malédiction de la dimensionMesure de la concentration des distances et de l effondrement du contraste quand la dimension croit, avec la verification de la loi en racine de p sur douze ; les deux identites exactes de la coquille et du bord, egales a un moins zero virgule neuf puissance p ; demonstration que la malediction frappe la dimension intrinseque et non la dimension ambiante, par un plongement isometrique qui laisse l erreur inchangee ; effondrement de la methode en presence de variables non informatives, et comparaison avec un modele a coefficients ; choix de k, ou le niveau de bruit des etiquettes commande et non la taille de l echantillon ; et forme algorithmique de la malediction, mesuree par la part des points qu aucun elagage ne peut ecarter.
• MODULE L93Recherche approchée de voisins, et ce que coûte le rappelVerification que la dimension cible du lemme de Johnson-Lindenstrauss ne depend pas de la dimension d origine, en faisant varier celle-ci d un facteur vingt a distorsion constante, et constat que la borne peut depasser la dimension des donnees ; mesure du jeu que la borne laisse, par division progressive de la dimension cible jusqu a la violation ; demonstration qu un index par cellules exploite une structure d amas et ne rend presque rien sans elle, avec le compte exact de multiplications evitees ; verification de la probabilite de collision du hachage par hyperplans aleatoires et de son amplification par conjonction et disjonction ; et mesure que le meme rappel coute de deux a six fois moins selon que les voisins manques sont remplaces par des points quelconques ou par des points proches, ce qui rend le rappel seul insuffisant pour juger un index.
• MODULE L94Naive Bayes : une hypothèse fausse, et un classifieur qui marcheDissociation mesuree entre le classement, qui reste aussi bon que celui d une regression logistique, et les probabilites, dont la calibration se degrade d un facteur six quand la dependance croit, avec l erreur de Bayes exacte comme reference ; identite exacte du log-rapport quand on duplique une colonne, verifiee a la precision machine une fois les proportions a priori neutralisees, et consequence sur la saturation des probabilites ; cas ou l approximation diagonale coute vraiment, par comparaison des directions a la direction optimale sur trois covariances ; role du lissage, qui n est pas un reglage mais une condition d existence puisque sans lui les probabilites valent non pas zero mais pas un nombre ; comparaison avec la regression logistique selon la taille de l echantillon, qui corrige la croyance habituelle sur les petits effectifs ; et reparation de la calibration sans changer le classement, l aire sous la courbe etant invariante par toute transformation monotone.
• MODULE L95Analyse discriminante : LDA, QDA, et ce que chacune supposeVerification que l analyse discriminante lineaire retrouve la direction de Bayes quand ses hypotheses tiennent, par le cosinus a la direction optimale calculee sans estimation ; identite exacte entre l analyse discriminante a deux classes et une regression lineaire sur les etiquettes, les deux directions etant proportionnelles a la precision machine ; fait de rang limitant le nombre de directions discriminantes a une de moins que le nombre de classes, verifie comme une egalite d entiers ; croisement entre analyse lineaire et quadratique selon la force de la difference entre covariances et non selon la seule taille de l echantillon ; effondrement de l analyse lineaire quand l effectif approche le nombre de variables, et releve par la contraction de Ledoit-Wolf ; et demonstration que la reduction par analyse en composantes principales peut detruire exactement le signal de classe, la premiere composante pouvant n en porter aucun.
• MODULE L96Processus gaussiens : la même moyenne, et une incertitude à vérifierVerification que la moyenne predictive d un processus gaussien est exactement celle de la regression ridge a noyau de meme parametre, l ecart relatif restant a la precision machine sur trois configurations et deux versions de bibliotheque, et que l ecart grandit la ou la matrice est mal conditionnee alors que ses mantisses ne sont pas reproductibles ; demonstration que la variance predictive ne depend pas des cibles, l ecart etant exactement nul quand on les permute, les annule ou les remplace par du bruit, ce qui permet d evaluer un plan d experience avant toute mesure mais interdit de detecter un noyau faux ; mesure du retour a la loi a priori hors du domaine d apprentissage, moyenne nulle et ecart-type egal a l ecart-type a priori ; mesure de la couverture de l intervalle de credibilite montrant une asymetrie forte, supposer la fonction plus lisse qu elle n est coutant trente-sept fois plus que supposer l inverse ; demonstration que le terme de bruit est une condition d existence du calcul et non un reglage, la plus petite valeur propre de la matrice de Gram etant negative par arrondi, et chiffrage du mensonge de l intervalle quand ce terme est trop petit ; comptage exact du cout en memoire et en operations plutot que chronometrage, avec la taille maximale atteignable par budget memoire, et constat qu une factorisation de Cholesky se reproduit bit a bit d une bibliotheque a l autre alors qu une decomposition propre non ; et mesure de ce que la vraisemblance marginale reussit, le classement des noyaux sans jeu de validation, et de ce que l optimiseur echoue, la moitie des points de depart finissant sur un mauvais optimum reparable par un seul redemarrage.
• MODULE L97Approximation de noyaux : Nystrom, Fourier aleatoire, et ce que chacun paieVerification que les caracteristiques de Fourier aleatoires sont une estimation de Monte-Carlo du noyau au sens du theoreme de Bochner, leur erreur moyenne sur la matrice de Gram decroissant en racine inverse du nombre de composantes et ne dependant ni du nombre d observations ni de la dimension, tandis que la dispersion relative entre tirages ne decroit pas parce que les entrees partagent les memes frequences ; demonstration qu une erreur relative superieure a un peut signaler l effondrement du noyau et non l echec de la methode, l echelle de la matrice valant alors l inverse de la racine du nombre d observations parce que la matrice est devenue l identite ; mesure montrant que le choix entre Nystrom et Fourier est un fait sur le spectre, le rapport de leurs erreurs croissant avec le budget quand le spectre decroit et decroissant quand il est plat ; demonstration que Nystrom reproduit exactement un noyau de rang fini des que le nombre de points atteint ce rang, egal au nombre de monomes, et que l erreur remonte au-dela ; comptage exact du cout en memoire et en operations donnant le seuil au-dela duquel approcher coute plus cher que calculer exactement ; mesure etablissant que le nombre de composantes est un parametre de regularisation, une suite d erreurs a penalite fixe n etant pas monotone alors qu elle le devient quand la penalite est reglee pour chaque taille ; et verification qu un echantillonneur inadapte a un noyau non invariant par translation ne leve aucune exception tout en n approchant rien.
• MODULE L98Apprentissage de metrique : apprendre la distance plutot que la subirVerification de l identite selon laquelle une distance de Mahalanobis de matrice semi-definie positive est exactement la distance euclidienne apres une transformation lineaire, ce qui etablit que l apprentissage de metrique et l apprentissage de representation lineaire sont le meme probleme ; mesure des degats produits par une matrice qui n est pas semi-definie positive, le cas dangereux etant celui d une seule valeur propre negative, qui ne casse qu un couple sur mille et fait rendre des voisins faux a un index metrique sans aucun signal ; mesure du gain d une metrique apprise la ou une distance euclidienne brute est au niveau du hasard a cause d echelles disparates, avec en prime la plus faible dispersion des quatre chaines comparees ; demonstration qu une analyse discriminante est au niveau du hasard sur un probleme a deux classes multimodales, par le fait de rang qui la borne a une seule direction, alors qu une metrique a critere local y reussit ; mise en garde sur le cas ou la distance naturelle est deja la meilleure et ou apprendre degrade ; mesure de la non-convexite de l objectif en comparant les metriques et non les transformations, deux transformations differant d une rotation definissant la meme distance ; comptage exact du cout par pas et refutation par la mesure du terme en nombre de variables, qui ne domine pas aux tailles reelles ; et chiffrage du piege de deploiement par lequel un changement d unite sur une seule colonne quadruple l erreur, alors qu une normalisation recalculee a l arrivee immunise exactement.

Partie Q — Non supervisé : représentation

Modules L99 à L111 · Ce qu’on apprend sans étiquette. L’analyse en composantes principales et le théorème spectral qui s’y cache, sa version à noyaux, l’analyse factorielle des correspondances et celle des correspondances multiples, la décomposition en valeurs singulières et l’analyse sémantique latente, la factorisation en matrices positives, l’analyse en composantes indépendantes, l’analyse factorielle, le positionnement multidimensionnel et Isomap, le plongement localement linéaire, t-SNE, UMAP, et les cartes de Kohonen. Chaque énoncé est vérifié par simulation, parce qu’une méthode sans étiquette ne dispose d’aucun score de test pour se tromper tout seule.

• MODULE L99ACP : le theoreme spectral deguiseVerification que les trois routes de calcul d une analyse en composantes principales — diagonalisation de la covariance, decomposition en valeurs singulieres de la matrice centree, et appel de bibliotheque — rendent les memes axes a un cosinus de dix chiffres, la troisieme etant exactement la seconde a ecart nul, tandis que la premiere perd la moitie des chiffres significatifs parce que former le produit eleve le conditionnement au carre ; mesure de ce que coute l oubli du centrage, par laquelle le premier axe devient la direction de la moyenne a moins d un demi-degre pres et la variance expliquee est multipliee par trente et un, avec la demonstration que le calcul porte alors sur le moment d ordre deux et non sur la covariance ; refutation par la mesure des deux regles de choix du rang les plus enseignees, la part de variance expliquee retenant quatre-vingt-trois composantes sur cent et le critere de Kaiser quarante-cinq sur du bruit pur ou la verite est zero, et etablissement du bord de Marchenko-Pastur comme seul critere exact, verifie sur quatre rapports de dimensions ; mise en evidence qu il n existe pas de choix neutre entre covariance et correlation, un facteur dix sur une seule colonne faisant tomber les axes a un cosinus de dix-huit centiemes alors que la standardisation coute de la concentration spectrale quand les echelles portent du sens ; separation mesuree de l instabilite des axes et de la stabilite des sous-espaces selon le theoreme de Davis-Kahan, l axe de premier rang n etant le bon que cinq fois sur dix a variances egales pendant que le plan reste a quatre neuf, et confirmation de ce fait par reechantillonnage sur un seul jeu ; verification de l identite d Eckart-Young par laquelle l erreur de reconstruction vaut exactement la somme des valeurs propres jetees, avec refutation experimentale par cinquante sous-espaces tires au hasard dont aucun ne fait mieux ; demonstration de l egalite du rang a la plus petite des deux dimensions diminuee du centrage, et etablissement de la route par la matrice de Gram qui rend l analyse praticable quand le nombre de variables depasse celui des individus, avec un ecart de cout mesure de dix secondes a moins d un centieme ; verification que l universalite de la loi spectrale resiste au remplacement du bruit gaussien par des lois uniforme, de Student et de Bernoulli mais echoue des que la variance devient infinie ; et comptage du cout de l approximation randomisee, qui ne perd ni le sous-espace ni les variances tant que le spectre decroche.
• MODULE L100ACP a noyaux : la route de Gram, avec un autre produit scalaireVerification que l analyse en composantes principales a noyaux est exactement la route par la matrice de Gram du module precedent, dans laquelle le produit scalaire a ete remplace par un noyau de Mercer, l identite etant etablie a la precision machine par le fait qu un noyau lineaire redonne l analyse ordinaire sur les scores comme sur les variances ; demonstration et verification de la formule de double centrage, qui donne la matrice de Gram des images centrees sans jamais former une seule image, et mesure de ce que son oubli coute, la premiere composante devenant la direction de la moyenne a moins d un demi-degre et sa valeur propre vingt-quatre fois trop grande ; refutation par la mesure des deux reglages par defaut du parametre d echelle, celui de la bibliotheque et l heuristique de la distance mediane, qui placent tous deux la methode au niveau du hasard sur deux cercles concentriques et en dessous de l analyse lineaire sur deux croissants, avec cartographie de la fenetre utile et constat que l optimum ne se transfere pas d un jeu a l autre ; identification des deux degenerescences du noyau gaussien par la moyenne hors diagonale de la matrice de Gram et par un rang effectif, l une ramenant la methode a l analyse lineaire et l autre faisant de chaque point sa propre composante ; etablissement de l egalite exacte entre le rang de la decomposition pour un noyau polynomial et le nombre de monomes diminue du centrage, verifiee sur six couples de dimension et de degre, par contraste avec un noyau gaussien dont le spectre ne s arrete pas et pour lequel le bord spectral du module precedent n a plus rien ou se poser ; mise en evidence de l absence d inverse, la reconstruction etant une seconde regression dont le parametre de regularisation fait varier l erreur de quatre ordres de grandeur a nombre de composantes fixe ; comptage du cout, qui echange le role du nombre d individus et du nombre de variables, et mesure du fait que le modele appris porte l ensemble d apprentissage, avec un ecart de taille de modele de deux ordres de grandeur ; mesure du gain reel sur le debruitage d une variete, la ou l analyse lineaire ne dispose d aucun rang qui fasse mieux que ne rien faire ; et mesure d un echec, le rouleau suisse n etant deplie par aucun reglage, parce qu un noyau ne connait que la distance euclidienne et non la distance geodesique.
• MODULE L101AFC : le tableau de contingence, le khi-deux et l inertieDemonstration et verification de l identite selon laquelle l inertie totale d une analyse factorielle des correspondances vaut exactement le khi-deux de Pearson divise par l effectif total, ce qui fait du test du khi-deux le prealable de la methode et donne une inertie attendue sous independance egale au produit des degres de liberte divise par l effectif ; etablissement par une identite numerique du fait que la methode est l analyse en composantes principales des profils ponderee par les marges dans la metrique du khi-deux, et mesure de ce que la ponderation change selon la dispersion des marges, le plan d une analyse non ponderee s en ecartant jusqu a un cosinus de six dixiemes ; demonstration que le rang vaut la plus petite dimension diminuee d une unite, le retrait correspondant a une composante triviale de valeur singuliere exactement egale a un portee par les racines des marges, et mesure de ce qu un code qui l oublie rapporte un premier axe expliquant plus de quatre cinquiemes de l inertie sans rien dire du tableau ; verification numerique des relations barycentriques qui lient les coordonnees des lignes et celles des colonnes, et de l egalite des inerties portees par les deux ensembles, ce qui autorise le graphique simultane et en fixe la limite ; verification de la propriete d equivalence distributionnelle, par laquelle le regroupement de modalites de meme profil ne modifie aucune valeur propre alors que la meme operation deplace le premier axe d une analyse en composantes principales du tableau brut de plus d un dixieme ; refutation par la mesure de l avertissement usuel sur les modalites rares, dont la contribution reste negligeable parce qu elle est ponderee par la marge, et mise en evidence du danger reel qui est celui du graphique, la modalite la plus eloignee de l origine contribuant pour une part nulle avec une qualite de representation quasi nulle ; chiffrage de l instabilite du profil d une modalite rare en racine inverse de son effectif, et constat qu une modalite d effectif nul arrete le calcul au lieu de le degrader ; et mesure de ce que la methode trouve sur des tableaux tires sous independance exacte, ou le premier axe explique plus de la moitie de l inertie d un petit tableau, ce qui etablit qu une part d inertie ne renseigne pas sur l existence d une association et doit etre comparee a une simulation aux memes marges.
• MODULE L102ACM : plusieurs variables qualitatives, et le piege des modalites raresEtablissement de ce qu une analyse des correspondances multiples est l analyse factorielle des correspondances du tableau disjonctif complet, le tableau de Burt en donnant les valeurs propres au carre avec les memes axes a dix chiffres, de sorte que deux logiciels suivant des routes differentes rapportent des pourcentages differents sur les memes donnees sans qu aucun ait tort ; demonstration et verification de ce que l inertie totale vaut le nombre de modalites divise par le nombre de variables moins un, quel que soit le contenu du tableau, mesure identique a quatorze chiffres pres sur des associations allant de nulle a ecrasante, ce qui prive de sens tout pourcentage d inertie et fait baisser mecaniquement toutes les parts quand on raffine une nomenclature ; etablissement de ce que la quantite informative est la valeur propre elle-meme, moyenne des rapports de correlation entre l axe et les variables, qui passe du quart aux deux tiers quand la part du premier axe ne fait que tripler ; demonstration que le rang vaut la somme des nombres de modalites diminuee du nombre de variables, chaque variable coutant un degre de liberte, avec le cas particulier des variables binaires ou l inertie totale vaut exactement un et ou les pourcentages redeviennent honnetes ; refutation par la mesure du seuil de Benzecri, qui retient environ la moitie des axes sous independance exacte et en retient autant sur un tableau a vraie association que sur ses propres permutations, parce qu il compare chaque valeur propre a la moyenne des valeurs propres ; refutation par la mesure des corrections de Benzecri et de Greenacre comme criteres, la premiere annoncant plus du tiers de l inertie pour le premier axe d un tableau sans structure et n etant meme pas monotone en la force de l association, leur service reel etant de rendre comparables deux analyses de formes differentes ; verification de l identite donnant l inertie d une modalite comme le complement de sa frequence divise par le nombre de variables, donc croissante quand l effectif baisse et bornee par l inverse du nombre de variables, avec la mesure de son double effet qui est de gonfler l inertie totale sans alimenter aucun axe ; etablissement de l identite exacte entre l inertie hors diagonale du tableau de Burt et la moyenne des phi-deux de tous les couples de variables, seule quantite de la methode qui mesure une association ; et construction d un test par permutation de chaque colonne, qui conserve exactement les marges et detruit la dependance entre variables, mesure calibre sur sept niveaux d association.
• MODULE L103SVD tronquee, LSA, et la meilleure approximation de rang kJustification chiffree du renoncement au centrage pour un tableau terme-document, la densite passant de deux et demi pour cent a plus de quatre-vingt-quinze pour cent par le seul effet du centrage, avec un rapport de memoire de cent trente-trois a l echelle d un corpus reel, ce qui rend une analyse en composantes principales impossible et non seulement lente ; verification que le theoreme d Eckart-Young tient sans centrage parce qu il porte sur les matrices et non sur un nuage centre, avec refutation experimentale par dix sous-espaces tires au hasard dont le meilleur reste trente-six fois plus mauvais ; mesure du prix de ce renoncement, la premiere composante portant la taille du document avec une correlation de rang de quatre-vingt-dix-huit centiemes et plus de deux tiers de la variance, et construction de l experience qui separe la longueur totale de l etendue du vocabulaire, laquelle etablit que c est l etendue que la composante suit a longueur constante et que la normalisation en norme deux l efface sans retirer plus de la moitie de l effet de longueur ; verification de la promesse historique de la methode sur deux mots synonymes construits pour n apparaitre jamais dans le meme document, dont le cosinus brut est exactement nul et que la troncature rapproche jusqu a neuf dixiemes au rang deux mais plus du tout au-dela du rang seize, la fenetre utile etant de l ordre du nombre de themes ; mise en evidence de ce que la troncature fabrique aussi de fausses similarites, l ecart entre similarite intra-theme et inter-themes devenant negatif au rang deux et passant par un maximum interieur ; etablissement de ce que la ponderation par la frequence documentaire inverse n est pas un pretraitement mais le levier dominant, triplant la precision du plus proche voisin tout en divisant par trois la variance expliquee, ce qui disqualifie cette derniere comme critere, et verification que la ponderation sans ce facteur est exactement une normalisation en norme deux ; et mesure de trois optima distincts du rang selon la tache visee, avec une chute de moitie de la precision de voisinage quand le rang est multiplie par huit au-dela de son optimum, alors que la variance expliquee continue de croitre et que le spectre ne presente aucun decrochage ou poser un bord.
• MODULE L104NMF : factorisation non negative et parties additivesChiffrage du marche propose par la contrainte de positivite des deux facteurs : d un cote la perte de l optimalite, demontree comme une consequence immediate du theoreme d Eckart-Young puisque les produits de facteurs positifs forment un sous-ensemble des matrices de rang donne, et mesuree a moins de trois pour cent d erreur supplementaire au rang vrai ; de l autre cote le gain de lisibilite, mesure contre une verite connue par appariement optimal des composantes trouvees aux parties vraies, la decomposition en valeurs singulieres les retrouvant a moins d un demi de cosinus contre plus de dix-neuf vingtiemes pour la factorisation positive, avec plus d un tiers de coefficients negatifs d un cote et aucun de l autre ; demonstration de la perte de l emboitement des composantes, le cosinus des sous-espaces tombant a six dixiemes au passage du rang vrai au rang suivant, ce qui impose une factorisation par valeur du rang au lieu d une troncature, et explication de ce que cette reorganisation est precisement ce qui produit la lisibilite ; refutation par la mesure de la mise en garde usuelle sur la non-convexite de l objectif, cinq departs aleatoires donnant un accord parfait entre composantes appariees et des erreurs identiques a tous les chiffres quand le rang vaut le nombre de parties, la non-unicite apparaissant au-dela, ce qui fournit le seul critere de choix du rang que la methode possede puisque son erreur de reconstruction decroit toujours, critere mesure exact dans trois configurations sur quatre et dont l echec survient la ou les parties se chevauchent trop pour qu une factorisation soit determinee, avec la precision qu il faut retenir le plus GRAND rang a accord exact et non le premier puisque les quatre configurations en produisent un des le rang deux par fusion des parties ; mise en evidence de ce que les composantes sont aussi parcimonieuses que les parties vraies sans qu aucune penalite ne le demande, avec pres des deux tiers de coefficients exactement nuls, l explication etant que le coefficient nul se trouve sur le bord du cone positif ou un optimum sous contrainte se place ; refutation par la mesure de la divergence de Kullback-Leibler comme perte adaptee aux comptages, celle-ci perdant vingt points de cosinus aux parties vraies tout en etant vingt fois plus lente, et convergeant en deux cent trente iterations donc sans qu une convergence incomplete puisse l expliquer, la cause etant qu elle divise par la valeur attendue et accorde donc un poids enorme aux centaines de mots rares d un vocabulaire suivant une loi de Zipf ; demonstration que la ponderation par la frequence documentaire inverse, qui ameliorait tout au module precedent, change ici de SIGNE selon le chevauchement des parties, faisant perdre du cosinus quand elles sont nettes et en faisant gagner beaucoup quand elles se recouvrent, parce que des comptages bruts sont deja un melange additif dans le premier cas ; refutation enfin du recouvrement des mots dominants comme critere de choix du rang, mesure sur trois corpus ou le minimum de son maximum ne designe jamais le bon, avec la distinction entre une quantite inutile comme critere et precieuse comme pointeur vers la paire de composantes qu un expert doit comparer ; et comptage du cout, qui vaut de huit a vingt-sept fois celui d une decomposition en valeurs singulieres au meme rang et huit fois cela encore dans un navigateur, ce dernier fait ayant impose de recalibrer le corpus du module apres qu une premiere version ait gele la page pendant quatre-vingt-quatre secondes.
• MODULE L105ACI : separation de sources et non-gaussianiteReponse chiffree a la question laissee ouverte au module sur l analyse en composantes principales, celle de l ecart entre decorrelation et independance : sur un melange de deux sources uniformes, un blanchiment annule exactement la correlation lineaire tout en laissant une correlation des carres de plus de quatre dixiemes et un cosinus aux sources vraies de trois quarts seulement, la factorisation en composantes independantes ramenant la premiere a un demi-millieme et le second a plus de dix-neuf vingtiemes ; demonstration que le blanchiment fixe la part symetrique du melange, soit k(k+1)/2 des k carres coefficients, et laisse exactement la dimension du groupe des rotations a determiner ; mise en evidence du piege selon lequel les sources vraies presentent une correlation d echantillonnage superieure a celle du blanchiment, de sorte que minimiser une quantite qui n est pas l objectif designe une solution fausse ayant l air meilleure que la verite ; demonstration du theoreme de non-identifiabilite du cas gaussien, toute rotation d un vecteur gaussien blanchi ayant la meme loi, avec sa consequence pratique qui va contre un reflexe repandu : un avertissement de convergence sur une telle factorisation n est pas un plafond d iterations trop bas mais un diagnostic sur les donnees, mesure a deux cents, quatre cents et mille iterations ou le plafond est atteint a chaque fois sans que le resultat s ameliore, et ou l ordre des trois valeurs obtenues change d une plateforme a l autre ; second diagnostic de non-identifiabilite ne demandant pas de connaitre les sources, l accord entre plusieurs departs aleatoires valant l unite sur des sources identifiables et trois quarts sur des gaussiennes ; inventaire des trois quantites non identifiables — l ordre, dont quatre departs donnent quatre versions pour une solution identique, le signe, et l echelle qui passe pour identifiee alors qu un seul argument de blanchiment la fait varier d un facteur soixante-trois a cosinus inchanges ; evaluation du remede usuel consistant a trier les composantes par kurtosis, mesure aussi reproductible que le kurtosis d echantillon lui-meme, avec la distinction entre la stabilite d un resultat sous relance de l algorithme et sa reproductibilite sous reechantillonnage des donnees ; refutation de l inference selon laquelle une optimisation convergee dont l objectif est atteint aurait retrouve les sources, un bruit egal au signal donnant une convergence en dix iterations, des composantes reellement independantes et une pire source retrouvee a quatre centiemes, ce qui etablit que la non-convergence est un diagnostic fiable d echec et la convergence pas un diagnostic de reussite ; verification que la methode est un blanchiment suivi d une transformation ORTHOGONALE et non d une rotation, le determinant valant plus ou moins un selon la plateforme puisque le signe des composantes n est pas identifiable, et poursuite d un residu de cinq dix-millemes jusqu a son origine — une difference de normalisation entre deux fonctions de la meme bibliotheque, l une divisant par n et l autre par n moins un — qui montre ce qu un seuil choisi a vue aurait cache ; et comptage du cout, ou une factorisation qui converge vaut huit fois un blanchiment et une qui echoue quatre cent dix-sept fois, de sorte que la lenteur est elle-meme un signal d echec.
• MODULE L106Analyse factorielle et modeles a variables latentesPremier modele probabiliste de la partie, et donc premier critere de choix du rang qui fonctionne : la vraisemblance validee croisee designe le vrai nombre de facteurs dans huit cas sur huit, la ou la variance expliquee d une analyse en composantes principales croit de moins de trois dixiemes a plus de huit dixiemes sans jamais rien designer, parce qu elle est calculee sur les donnees memes ; etablissement de ce que la difference avec l analyse en composantes principales probabiliste tient en une seule ligne, la covariance du bruit etant diagonale quelconque au lieu de spherique, et comptage des parametres libres qui en resulte pour montrer que le modele CONTRAINT ses donnees et peut donc etre rejete, avec la borne d identifiabilite au-dela de laquelle le nombre de parametres depasse celui des entrees de la covariance — borne que la bibliotheque ne verifie pas, ajustant onze facteurs sur douze variables sans avertissement ; chiffrage de l avantage procure par le bruit heteroscedastique, mesure sur le sous-espace engendre et proportionnel a l heterogeneite des variances propres, avec un rapport des defauts de plus de trois quand elle est forte et un rapport INFERIEUR A UN quand elle est nulle, l analyse factorielle estimant alors onze parametres de plus sans rien recevoir en echange — de sorte qu il n existe pas de methode dominante mais une hypothese vraie ou fausse, verifiable apres coup en un seul ajustement ; demonstration que les saturations ne sont definies qu a une rotation pres, la covariance impliquee etant identique a la precision machine entre une solution et sa rotation, ce qui invalide la comparaison faite spontanement aux saturations vraies et explique pourquoi cette comparaison donne l analyse en composantes principales gagnante sur des donnees suivant exactement le modele factoriel, avec la regle generale qui en decoule — une quantite ne peut comparer deux solutions que si elle est invariante sous les transformations laissant le probleme inchange — et la place exacte des rotations de type varimax, qui choisissent un representant sans ameliorer l ajustement ; refutation de l argument d invariance d echelle habituellement avance, mesure montrant que l analyse en composantes principales est detruite des un facteur trois, que l equivariance de l analyse factorielle est un theoreme que le solveur ne respecte que sur un ordre de grandeur et perd a un facteur trente, et que la standardisation rend les deux methodes exactement invariantes jusqu a un facteur mille — de sorte que l argument distingue ceux qui standardisent et non les deux methodes, la distinction entre invariance demontree et invariance numerique etant elle-meme la lecon ; tentative echouee de produire un cas de Heywood, la bibliotheque ecrasant toute variance propre negative a un plancher lu dans son code source, et l estimation restant positive meme avec une variance propre vraie exactement nulle sur quatorze observations et onze facteurs, parce que l erreur d estimation laisse toujours un residu a attribuer — d ou le symptome a surveiller a la place, la communaute qui approche l unite ; et comptage du cout, ou le rapport navigateur sur poste vaut trois contre huit pour la factorisation non negative du module precedent, ce qui confirme qu il depend de la methode et se mesure une fois par module.
• MODULE L107MDS et Isomap : preserver les distancesPremier module non lineaire de la partie, et demonstration que la methode la plus connue qui s en reclame ne l est pas : le positionnement multidimensionnel classique de Torgerson, applique a des distances euclidiennes, rend exactement les coordonnees d une analyse en composantes principales, les distances des deux plongements coincidant a huit dix-millemes de milliardieme et les valeurs propres divisees par le nombre d observations moins un valant les variances — le double centrage annulant les termes de norme qui sont constants le long des lignes et des colonnes, par le theoreme de Young-Householder ; demonstration que la methode d Isomap n ajoute aucun algorithme mais remplace la distance euclidienne par la longueur du plus court chemin dans le graphe des plus proches voisins, verification de cette identite a la precision machine contre l implementation de scikit-learn sur deux tailles d echantillon, et consequence pratique que toute la methode tient dans un seul parametre ; mesure de la bande de reglages utilisables et de son deplacement avec la densite d echantillonnage, le meilleur nombre de voisins triplant quand le nombre de points quadruple, avec la constatation que la courbe de qualite n est pas unimodale et qu une procedure cherchant une seule bosse se trompe, et surtout qu une methode non lineaire mal reglee perd de plus de dix points contre la methode lineaire qu elle devait battre ; etablissement d un critere interne ne demandant aucune verite, la part de masse spectrale negative du produit scalaire double-centre mesurant la non-realisabilite euclidienne des dissimilarites calculees, nulle sur des distances euclidiennes et d un tiers sur des distances de Manhattan, dont le plus grand SAUT designe exactement le dernier reglage utilisable trois fois sur trois — le saut plutot que le minimum, celui-ci etant une egalite a trois decimales dans un des trois cas, suivant le principe qu une variation brutale est plus robuste qu un extremum plat ; refutation du stress comme instrument de comparaison entre methodes, le meilleur plongement du module ayant un stress superieur a l unite contre les distances ambiantes, c est-a-dire pire que l immobilite, parce que derouler une surface allonge necessairement les distances — troisieme occurrence dans la partie du principe selon lequel une methode gagne toujours sur son propre objectif ; mise en evidence de ce que les valeurs propres negatives rendent toute part de variance expliquee ambigue, deux denominateurs defendables differant de vingt points sans qu aucun logiciel annonce le sien, ce qui concerne Isomap de plein fouet puisque son produit scalaire geodesique a la moitie de ses valeurs propres negatives ; deux pieges de lecture sur les outils, la bibliotheque completant un graphe deconnecte en avertissant — donc fabriquant des distances absentes des donnees — et un filtre global sur les avertissements supprimant ce seul signal, erreur commise dans le premier releve du module ; et comptage du cout, ou une diagonalisation dense de grande taille coute vingt-six fois plus cher dans un navigateur que sur un poste de calcul, soit le pire rapport de la partie, avec un seuil de connexite du graphe qui n est pas monotone en nombre de points parce qu il depend de l uniformite du tirage.
• MODULE L108LLE : le plongement localement lineaireModule ou la partie abandonne toute ambition globale : la methode ne preserve aucune quantite geometrique mais transporte les POIDS d une reconstruction affine de chaque point par ses voisins, sous la seule contrainte qu ils somment a l unite — contrainte dont on verifie qu elle rend ces poids exactement invariants par translation, rotation et homothetie du voisinage, jusqu a un facteur d echelle de mille, ce qui est precisement ce qui les rend transportables en dimension reduite ; mise en evidence de ce que ces poids sont AFFINES et non convexes, un cinquieme d entre eux etant negatif, a l oppose exact de la factorisation en matrices positives d un module anterieur ou la positivite achetait la lisibilite ; demonstration que le plongement obtenu n a AUCUNE echelle, le produit du nombre de points par la variance de chaque colonne valant exactement un, ce qui est une contrainte du probleme de valeurs propres et non une propriete des donnees — de sorte qu il n existe pas de premiere composante, que l etendue du plongement ne signifie rien, et que toute mesure de qualite doit etre invariante d echelle ; rappel du piege d implementation selon lequel la forme quadratique s annule sur le vecteur constant et qu il faut donc ecarter le premier vecteur propre ; refutation d une prediction naturelle sur la regularisation, la matrice de Gram locale etant singuliere des que le nombre de voisins depasse la dimension INTRINSEQUE du nuage et non son dimension ambiante — verifie en plongeant le meme jeu de la dimension trois a la dimension cinquante sans que le rang local change — ce qui etablit que la regularisation est structurelle et non occasionnelle, et fournit au passage un estimateur de la dimension intrinseque locale pour le prix d une diagonalisation par point echantillonne ; chiffrage du cout du reglage par defaut de la bibliotheque, six points de confiance en dessous de l optimum, avec le mecanisme visible dans la statistique des poids qui tendent vers l uniforme donc vers un barycentre ; et demonstration qu il ne faut pas pour autant reduire la regularisation sans limite, puisque le resultat cesse alors de se reproduire d une plateforme a l autre — la non-reproductibilite etant la mesure directe de l indetermination des poids, donc l argument meme pour regulariser ; etablissement de ce que deux des quatre variantes annoncees donnent le MEME plongement, apres recalage rigide, et que leur borne documentee de nombre de voisins est necessaire sans etre suffisante, les solveurs echouant dans la plage qu elle autorise sur un message qui ne nomme pas la cause ; et resultat principal du module, la mise en garde contre le transport des reglages : cette methode et celle du module precedent partagent leur unique parametre et y reagissent en sens CONTRAIRE, avec vingt-huit points d ecart en faveur de l une a seize voisins et dix-huit points en faveur de l autre a cinq, le mecanisme etant qu un court-circuit produit une erreur globale croissante avec le nombre de voisins tandis qu une reconstruction mal posee produit une erreur locale decroissante — les deux methodes passant par ailleurs sous une analyse en composantes principales quelque part dans la plage, et deux mesures de qualite egalement admissibles les classant en sens inverse selon qu elles jugent le voisinage local ou l ordre global des distances.
• MODULE L109t-SNE : ce que la carte ne dit pasModule consacre a la carte la plus repandue de la science des donnees et, precisement, a ce qu il est impossible d en lire — demontre sur un jeu de cinq amas dont les rayons et les distances sont connus a l avance. Les TAILLES sont effacees et non deformees : un rapport de rayons de quinze et demi dans les donnees devient un rapport de un sur la carte, les cinq amas etant dessines identiques, parce que la perplexite fixe l entropie du voisinage de chaque point et normalise donc l echelle locale avant que l optimisation commence — une analyse en composantes principales conservant au contraire le rapport et l ordre exactement. Les DISTANCES entre groupes ne sont pas conservees et leur ORDRE non plus, la correlation de rang avec les distances vraies valant moins d un dixieme contre plus de dix-neuf vingtiemes pour une analyse en composantes principales, la paire d amas la plus eloignee dans les donnees se retrouvant parmi les plus proches sur la carte — ce qui corrige la mise en garde habituelle, comprise comme une deformation monotone alors qu il ne subsiste aucun ordre, le mecanisme etant que les probabilites de voisinage s effondrent toutes vers la meme valeur negligeable au-dela de quelques voisins, de sorte que l objectif ne contient plus aucune information sur ces distances. Ce que la carte conserve, en revanche, elle le conserve mieux que presque tout le reste de la partie, par une confiance de voisinage superieure a celle d une analyse en composantes principales — et le mecanisme qui fait cette qualite, la queue lourde de la loi de Student qui remplace la gaussienne dans la carte, est exactement celui qui fausse les distances. Localisation de la non-reproductibilite dans l INITIALISATION : avec une initialisation par composantes principales trois graines donnent la meme carte a l unite, tandis qu avec une initialisation aleatoire les geometries ne correlent qu a moins de deux tiers et les voisinages s accordent a plus de dix-neuf vingtiemes — la variabilite touchant exactement ce qui n etait pas interpretable et epargnant ce qui l etait, ce qui fournit un test de validite gratuit a condition de comparer les voisinages et non les images, et d utiliser une source de variabilite. Refutation de deux criteres internes de reglage de la perplexite : la divergence minimisee par la methode, qui decroit d un facteur plusieurs centaines et designe la valeur maximale, et la nettete apparente des amas mesuree sur la carte — cette seconde etant la plus dangereuse puisqu elle ressemble a un juge exterieur — toutes deux calculees sur le resultat donc le validant par construction, seule une mesure comparant la carte aux donnees pouvant trancher. Et mise a l epreuve de la mise en garde la plus repetee sur cette methode, celle selon laquelle elle inventerait des amas a partir de bruit : le gonflement de structure apparente est reel, d un facteur quatre et demi, mais une analyse en composantes principales du meme bruit le produit a l identique — le gonflement etant donc un effet de la reduction a deux dimensions et non de la methode — et la carte ne fait pas passer du bruit pour de vrais amas, l ecart etant de cinquante-huit points de silhouette ; ce qui reste vrai est qu une silhouette absolue lue sur une carte n a pas de reference et exige deux reperes, celui des donnees d origine et celui d une analyse en composantes principales, le perimetre de ce resultat negatif etant explicitement enonce.
• MODULE L110UMAP : le graphe flou, et une promesse qui ne se mesure pasModule consacre a la carte la plus repandue de la science des donnees apres t-SNE, et a l argument qui la vend : elle conserverait la structure globale la ou t-SNE ne conserve que les voisinages. Mesure sur cinq amas dont les rayons et les distances sont connus a l avance, le verdict est negatif deux fois. D abord UMAP ne fait pas mieux que t-SNE mais un peu moins bien, la correlation de rang des distances entre amas ayant pour mediane moins six cent trente-six millemes sur six graines contre moins quatre-vingt-cinq millemes pour t-SNE et plus de dix-neuf vingtiemes pour une analyse en composantes principales, et le rapport des rayons tombant a un pour une verite de quinze et demi comme chez t-SNE. Ensuite, et c est le resultat le plus utile, la quantite qui jugerait la promesse a une etendue de plus d un point sur une echelle qui va de moins un a plus un, donc elle change de signe selon la graine : une mesure instable n autorise pas une conclusion faible, elle autorise les deux conclusions opposees, ce qui explique que la these survive sans mauvaise foi de personne puisqu une graine favorable donne une valeur positive. Le module etablit aussi un resultat de methode qui depasse UMAP : l optimiseur fait partie de la methode. La meme fonction objectif, descendue sur toutes les paires au lieu d etre echantillonnee par arretes et repulsions tirees, perd completement le reglage min_dist et dilate la carte d un facteur six, ce qui refute l idee courante qu une methode est sa fonction objectif et que l optimiseur en est un detail remplacable. Un renversement sur la reproductibilite est etabli de la meme facon : ce n est pas le depart qui decide mais l optimiseur, puisque t-SNE avec une initialisation par analyse en composantes principales donne la carte identique a toutes les graines tandis que UMAP, malgre son depart spectral deterministe, ne la donne jamais, son optimiseur tirant au sort ses arretes et ses repulsions a chaque passe. Les deux reglages de la methode sont montres etre des reglages de dessin et non de modele : min_dist fixe une taille commune a tous les amas sans jamais restituer leurs tailles relatives, et degrade meme leur separation, tandis que n_neighbors ne change la confiance de voisinage que de cinq millemes entre cinq et cinquante voisins. Le temoin de bruit designe une derniere fois le cadre plutot que la methode, une analyse en composantes principales du meme bruit produisant les trois quarts du gonflement de silhouette qu on reproche a la carte. Et comme le paquet umap-learn repose sur numba et n existe pas dans Pyodide, UMAP est ecrite a la main dans ce module puis validee contre umap-learn version zero point cinq point douze : le graphe flou sort identique a un demi-millionieme en relatif, les parametres de la courbe au bit pres, et la carte trouve le meme decoupage exactement, ce qui autorise les enonces du module sur le graphe, sur le decoupage et sur l instabilite, mais pas les comparaisons de temps de calcul.
• MODULE L111Cartes de Kohonen : la grille qu on dessine, et le modele qu on gardeDernier module de la partie, et le seul dont la methode ne rend pas qu un dessin. Une carte de Kohonen produit DEUX objets, une grille de neurones et des prototypes qui sont des vecteurs de l espace des donnees, et les deux lectures de la meme carte ne disent pas la meme chose. Sur le jeu de cinq amas de rayons et de distances connus qui sert aux trois derniers modules, la correlation de rang des dix distances entre amas vaut un tiers environ lue sur la grille et EXACTEMENT UN lue sur les prototypes, soit l ordre integralement conserve, mieux meme qu une analyse en composantes principales — et avec une etendue nulle sur six graines la ou UMAP avait plus d un point. La raison est structurelle : un prototype est un vecteur de l espace d origine, donc la distance entre deux prototypes est une vraie distance, tandis que la grille n a que deux dimensions et des coordonnees entieres et ne peut pas coder les ecarts reels. Les tailles, en revanche, sont fausses des deux cotes : la grille les ecrase et les prototypes les exagerent de presque le double, parce que la quantification reduit l amas le plus serre a un ou deux prototypes, seule une analyse en composantes principales les restituant. Le module etablit ensuite que les dix-huit neurones sur soixante-quatre qui ne gagnent aucun point ne sont pas du gachis mais les FRONTIERES de la carte, leur distance aux voisins valant plus du double de celle des neurones vivants et aucun neurone vivant n ayant de voisin vivant d un autre groupe. Il piege aussi l erreur topographique, censee mesurer la qualite d une carte et qui vaut zero exactement sur une carte effondree dont presque tous les neurones sont morts, donc ne se lit jamais sans l erreur de quantification et le compte des morts. Il chiffre le prix de la topologie, environ trois cinquiemes d erreur de quantification en plus qu un k-moyennes de meme taille, ce qui reste de l ordre du cout d une initialisation mediocre. Il confirme enfin qu une carte a une dimension et grand voisinage retrouve la premiere composante principale, et identiquement a toutes les graines, mais seulement apres avoir mesure le temoin a zero passe qui avait d abord fausse le test — le depart par analyse en composantes principales ordonnant deja les neurones le long de cette composante, troisieme occurrence du meme piege dans la partie. Et il clot la partie par les neuf methodes mesurees sur un meme jeu, en trois colonnes qui ne donnent pas le meme classement : aucune methode ne les gagne toutes, et une etendue nulle ne vaut pas validite puisque t-SNE a depart par composantes principales cumule une reproductibilite parfaite et une absence totale d information sur les distances.

Partie R — Non supervisé : partitionnement

Modules L112 à L120 · Découper les données en groupes, sans étiquette pour dire si le découpage est bon. L’algorithme de Lloyd et ce que « minimiser l’inertie » veut dire, k-means++ et le choix de k qui n’a pas de réponse, les mélanges gaussiens et l’espérance-maximisation, la classification ascendante hiérarchique et le critère de Ward, DBSCAN et la fin des classes sphériques, HDBSCAN et OPTICS pour la densité variable, le décalage de moyenne et la propagation d’affinité, le partitionnement spectral par le laplacien du graphe, et BIRCH pour le passage à l’échelle. La partie précédente mesurait ce qu’une représentation conserve ; celle-ci mesure ce qu’un découpage prétend, et sur le même jeu, dont les cinq groupes et leurs rayons sont connus à l’avance.

• MODULE L112k-means et l algorithme de LloydPremier module de la partie consacree au partitionnement, et la methode la plus utilisee de toute la science des donnees. Le module separe d abord ce que l algorithme de Lloyd garantit de ce qu il ne garantit pas. Ce qu il garantit se demontre en trois lignes : l inertie ne remonte jamais, parce que chacune des deux etapes resout exactement une des deux inconnues l autre etant fixee, et l algorithme s arrete en temps fini parce qu il n existe qu un nombre fini d affectations et qu aucune ne peut reapparaitre, l arret etant exact et non tolerance. Ce qu il ne garantit pas est tout le reste : sur cinquante departs au hasard l inertie finale varie d un facteur huit, treize departs seulement atteignent le minimum, et l indice de Rand ajuste avec la verite descend jusqu a un septieme. Deux a dix iterations suffisent pourtant, de mediane quatre, pour une borne theorique a deux cent dix chiffres : le temps de calcul n est jamais le probleme, la qualite du depart l est toujours. Le module montre ensuite que l inertie est un bon selecteur et un mauvais classement : les departs d inertie minimale sont EXACTEMENT ceux d indice de Rand maximal, une identite d ensembles, mais la correlation de rang vaut moins trois quarts et non moins un, donc garder la meilleure des dix solutions est correct tandis que comparer deux inerties comme des notes est faux. Le resultat le plus transportable concerne la mise en garde universelle sur la methode, qui dit qu elle suppose des variances egales et qui est mal formulee : sur cinq amas dont les ecarts-types varient d un facteur seize, le decoupage est exact, et trois jeux de deux amas de rapports six, douze et vingt-quatre donnent exactement le meme indice de Rand aux quatre decimales des lors qu ils partagent la meme valeur de l ecart-type rapporte a la separation. C est une identite, donc le rapport des variances ne figure pas dans la quantite qui decide ; celle-ci est le maximum, sur les groupes, de l ecart-type par coordonnee rapporte a la distance au plus proche voisin, une quantite sans unite, calculable sans etiquettes, qui designe en plus le groupe fautif, et dont le module verifie le pouvoir predictif en rapprochant les centres sans toucher aux ecarts-types. Le rayon moyen est au contraire la mauvaise statistique, puisqu il vaut environ l ecart-type fois la racine de la dimension et triple donc de la dimension deux a vingt sans que le resultat change. Deux choses que la bibliotheque cache sont mesurees : les groupes vides, que scikit-learn relance en silence, et l effet de la standardisation, qui divise l inertie par quatre-vingt-cinq sans changer le decoupage, ce qui interdit de comparer deux inerties d echelles differentes. Et pour finir, l inertie ne peut pas choisir le nombre de groupes, etant strictement decroissante par construction : la methode du coude, qui en herite, designe trois groupes sur un jeu qui en a cinq, parce qu une somme de carres pondere par la taille et ignore les petits groupes, tandis que la silhouette designe cinq.
• MODULE L113k-means++, mini-batch, et le choix de k qui n a pas de reponseModule qui reprend les deux problemes laisses ouverts par le precedent, le choix du depart et le choix du nombre de groupes, et dont les deux reponses mesurees ne sont pas celles qu annonce l usage courant. Sur le depart, k-means++ n augmente PAS la chance d atteindre le minimum : a cinq groupes elle tombe de trois dixiemes a un dixieme, parce que l echantillonnage par le carre de la distance place les centres loin les uns des autres et tombe donc souvent sur une configuration raisonnable mais pas exactement optimale. Ce qu il fait est interdire les desastres : le pire de cinquante departs passe de plus de six fois l optimum a moins d une fois et demie avec la variante gloutonne, qui tire plusieurs candidats par etape et que scikit-learn utilise par defaut sans le documenter. C est exactement ce que le theoreme borne, une esperance, donc une queue de distribution — et c est ce dont on a besoin puisqu on relance plusieurs fois et qu on garde la meilleure. Sur mini-batch, le module etablit un echec que rien ne signale : a quinze mille points avec les reglages par defaut, trois graines sur huit donnent un exces d inertie de plus d un dixieme et un indice de Rand ajuste de moins de trois quarts, les cinq autres donnant un decoupage exact, la distribution n ayant aucun milieu — soit parfait, soit catastrophique. La cause est que le nombre d essais selectionne sur une inertie BRUITEE, donc dix candidats bruites valent moins que dix candidats exacts, et tripler le nombre d essais corrige. L echec etant invisible sans point de comparaison, un k-means complet est obligatoire comme temoin. Sur le choix du nombre de groupes, sept criteres sont mesures : deux seulement trouvent la bonne valeur sur un jeu facile, et les sept en rendent une sur du bruit uniforme ou il n y en a aucune, la methode du coude rendant meme exactement la valeur qui etait correcte sur le jeu structure. Cette methode depend en outre de la plage de valeurs balayee, qui est un choix de l utilisateur et non une propriete des donnees. Mais la moitie constructive est forte : ce qui ne transporte rien est l argmax de ces criteres, tandis que leur VALEUR separe la structure du bruit d un facteur huit a soixante-dix-huit, et la statistique d ecart de Tibshirani change meme de SIGNE. Lue par son signe, elle repond parfaitement a la question « y a-t-il des groupes », laquelle a une reponse unique, contrairement a « combien ». Et sur un jeu hierarchique de trois familles de quatre sous-groupes, trois et douze groupes donnent tous deux un indice de Rand ajuste de un : deux descriptions parfaites de deux niveaux, aucun critere ne signalant qu il y en a deux, tous designant le niveau le plus fin parce qu ils recompensent la separation. Un critere de choix du nombre de groupes ne repond donc pas a « combien de groupes y a-t-il » mais a « quelle est la resolution la plus fine qui soit encore nette ».
• MODULE L114Melanges gaussiens et EM : le partitionnement soupleModule consacre aux melanges gaussiens et a l algorithme d esperance-maximisation, et dont le sujet est de mettre a l epreuve la phrase qui les presente partout : « k-means en version souple ». Un plan a deux facteurs tranche sans ambiguite. Sur trois amas allonges ou k-means echoue, un EM a affectation DURE mais a covariance pleine retrouve les amas aussi bien que l EM souple, tandis qu un EM souple a covariance spherique fait MOINS BIEN que k-means : l effet du modele de covariance vaut quinze fois celui de la souplesse, donc la souplesse n explique rien du tout du decoupage. Le module montre ensuite que le type de covariance ne se choisit pas en comptant les parametres : une covariance diagonale decrit des ellipses alignees sur les axes des variables mesurees, donc son adequation est une propriete du tableau de donnees et non des donnees, et sur les MEMES donnees tournees de quarante-cinq degres — valeurs propres identiques a un milliardieme — elle passe d excellente a nulle tandis qu une covariance pleine tient. Le meilleur type se trouve etre celui qui correspond a la facon dont les donnees ont ete faites, une covariance partagee gagnant ici au rapport qualite-parametres. Ce que le melange apporte vraiment est mesure, et c est ailleurs : d abord les VARIANCES, puisque sur des amas spheriques il rend exactement la meme partition que k-means tout en estimant les cinq dispersions a quatre pour cent pres, soit precisement l information que toutes les cartes de la partie precedente detruisaient ; ensuite des probabilites CALIBREES, l ecart entre ce que le modele annonce et ce qu on observe valant moins de trois centiemes sur sept tranches, ce qui permet la seule chose qu aucune methode dure n offre — refuser de decider sous un seuil de confiance, le taux d erreur passant de dix-huit pour cent a quatre pour cent sur les points gardes, et ce reglage ne demandant aucune etiquette alors que sa verification en demande. Le prix est chiffre sur trois postes : les parametres, une covariance pleine en demandant plus que le nombre de points des la dimension dix et plus de cent mille a la dimension deux cents ; la divergence, la vraisemblance d un melange n etant pas majoree puisqu une composante de variance nulle sur un point a une densite infinie, de sorte que la plus petite variance vaut exactement le plancher de regularisation et que deux vraisemblances ne se comparent qu a plancher egal ; et la lisibilite du critere BIC, qui herite du probleme d optimisation du modele. Ce dernier point corrige une erreur du module precedent, ou une erreur de l optimiseur avait ete imputee au critere, et il fonde la distinction la plus utile du module : une erreur d optimisation se repare en relancant et se detecte a ce que la vraisemblance monte encore, une erreur de modele ne se repare pas et se detecte a ce que l ajustement reste mauvais quand la vraisemblance a cesse de monter — les deux se ressemblant dans un tableau et se distinguant par une seule mesure.
• MODULE L115Classification ascendante hierarchique et le critere de WardModule consacre a la classification ascendante hierarchique, dont la vertu propre est de ne pas choisir un nombre de groupes. Sur le jeu hierarchique du module precedent, ou trois et douze groupes sont tous deux EXACTEMENT justes, un seul arbre rend les deux niveaux avec un indice de Rand ajuste de un contre chacun des deux etiquetages, et cela pour les six liaisons testees — la ou aucun des sept criteres de choix du nombre de groupes ne savait dire qu il y en avait deux. Mais c est un deplacement et non une solution, et l arbre IMPOSE un emboitement que les donnees n ont pas forcement. Le critere de Ward est ensuite montre etre celui de k-means applique gloutonnement : sa formule, demontree par la decomposition de Huygens, est exactement l augmentation d inertie que la fusion provoque, de sorte que les deux methodes donnent la MEME inertie et le MEME decoupage sur un jeu facile, tandis que le chemin glouton coute jusqu a un cinquieme d inertie en plus sur des formes non convexes — Ward ne descendant jamais sous k-means, ce qui prive une classification hierarchique a nombre de groupes fixe de tout avantage, et en fait en revanche un temoin de convergence bon marche. Le reglage unique de la methode, la liaison, pese plus que tous les reglages des trois modules precedents : l indice de Rand va de moins d un demi a un sur un meme jeu, et le classement s INVERSE sur des formes non convexes ou la liaison simple est la seule a reussir grace a l effet de chaine qu on lui reproche partout. Deux pratiques recommandees sont ensuite refutees par la mesure. La correlation cophenetique, presentee comme le moyen de choisir une liaison sans etiquettes, est ANTI-CORRELEE avec la verite a l interieur d un jeu — elle classe premiere une liaison qui obtient moins d un demi et derniere celle qui obtient un — alors qu elle est positivement correlee sur plusieurs jeux reunis : un paradoxe de Simpson, dont la lecture qui compte est l intra-jeu puisque c est ainsi qu on choisit. Et la regle du plus grand saut de hauteur ne peut structurellement designer que deux ou trois groupes, les hauteurs de Ward croissant avec la taille des groupes fusionnes, de sorte que le plus grand ecart tombe toujours sur l une des deux dernieres fusions. Deux liaisons sont par ailleurs disqualifiees en une ligne, centroid et median produisant des inversions sur pres d une fusion sur quatre, ce qui rend leur dendrogramme faux comme dessin. Enfin le cout est mesure, et sa lecture habituelle est a l envers : sous mille points une classification hierarchique est plus RAPIDE qu un k-means a dix relances, et la limite reelle n est pas le temps mais la memoire, la matrice des distances atteignant quarante gigaoctets a cent mille points.
• MODULE L116DBSCAN : densité, bruit, et la fin des classes sphériquesDBSCAN abandonne le centre et definit un groupe comme une region dense, ce qui lui permet des formes quelconques : sur deux croissants entrelaces il obtient un indice de Rand de un la ou k-means obtient moins d un quart et Ward moins d un tiers, et le nombre de groupes sort du calcul au lieu d etre donne. Mais ce n est pas une methode nouvelle, et la demonstration tient en un paragraphe : a min_samples egal deux, DBSCAN EST la liaison simple coupee a la hauteur eps, les deux affectations etant identiques point par point aux six lignes testees, et l ecart entre leurs comptes de groupes valant exactement le nombre de points isoles que l une appelle groupes et l autre bruit. Ses deux apports reels sont donc le seuil de densite, qui est le remede au chainage que le module precedent avait mesure, et le nom donne aux isoles. Il suppose en revanche, sans que cela soit ecrit nulle part, que tous les groupes ont la meme densite, puisque ses deux reglages sont globaux : sur cinq amas spheriques dont les ecarts-types vont de trois dixiemes a quatre virgule huit, son meilleur resultat sur vingt-huit couples de reglages est de rendre QUATRE groupes sur cinq, et les soixante-trois points qu il declare bruit sont l amas le plus large EN ENTIER. Trois diagnostics de ce bruit sont departages sur deux temoins apparies, et un seul tient : comparer les plus proches voisins du bruit a un tirage uniforme de meme effectif, dont la valeur de reference un n est pas un seuil choisi, le rapport des rayons ne separant pas les deux cas et un DBSCAN recursif les rangeant a l envers. Ce qui ferme la fenetre de reglage est ensuite etabli par deux paires appariees : c est le rapport du rayon des groupes a leurs distances, la quantite meme qui gouvernait k-means, et non l inegalite des densites — de sorte que sur des groupes convexes DBSCAN est PLUS sensible a cette quantite que k-means, qui retrouve encore tout la ou aucun reglage de DBSCAN ne marche. Le coude des k-distances, recommande partout pour choisir le rayon, echoue comme avaient echoue le coude de l inertie et le plus grand saut du dendrogramme, et pour la meme raison : la forme d une courbe monotone est dominee par sa plus grande echelle. Ce qui marche est de chercher un palier du nombre de groupes. Et le remede au defaut central n est pas un reglage mais un changement de distance en trois lignes, la division de chaque distance par la densite locale des deux points, qui rend cinq groupes, zero bruit et un indice de Rand de un sur quatre valeurs consecutives du rayon — tandis que l accessibilite mutuelle, la distance de HDBSCAN, ne change rien du tout : meme indice de Rand a dix decimales que la distance euclidienne, et meme profil de tailles, donc exactement le meme echec — ce qui situe precisement ce que le module suivant apportera, qui est sa coupe a hauteur variable et non sa distance.
• MODULE L117HDBSCAN et OPTICS : la densité variableLe module precedent avait mesure que la distance d accessibilite mutuelle, celle que HDBSCAN emploie, ne repare rien du tout : meme indice de Rand contre la verite que la distance euclidienne a dix decimales, et meme profil de tailles. Celui-ci dit donc ce qui repare, et il le dit en ecrivant la methode a la main : c est la COUPE A HAUTEUR VARIABLE. Du meme arbre, une coupe horizontale a cinq groupes rend un indice de Rand de trois quarts avec deux vrais groupes fusionnes et un point laisse seul, tandis qu une coupe brisee rend un, cinq groupes et zero bruit — les distances au cinquieme voisin variant d un facteur quinze d un groupe a l autre, aucune hauteur unique ne pouvant convenir. Deux objets font cette coupe : l arbre CONDENSE, qui ne retient que les fusions dont les deux cotes atteignent l effectif minimal et qui ramene deux cent quatre-vingt-dix-neuf fusions a neuf groupes candidats, et l EXCES DE MASSE, qui les departage par une recurrence de bas en haut, exacte sur cet arbre. Quarante lignes reproduisent scikit-learn bloc pour bloc sur treize des seize reglages testes, et servent surtout a ce qu une bibliotheque interdit : retirer une piece et mesurer. Oter de la stabilite la masse qu un groupe perd au moment de sa scission fait passer deux croissants entrelaces de deux groupes sans bruit a dix groupes et cent onze points de bruit — et ne change RIEN du tout sur trois jeux d amas spheriques, de sorte qu un jeu facile ne teste pas l exces de masse et que c est le jeu difficile qui a attrape la faute que ma premiere version contenait. Le vrai apport pratique est que l effectif minimal NOMME le niveau : sur trois familles de quatre sous-groupes de vingt-cinq points, il rend douze groupes exactement justes jusqu a vingt-quatre, trois groupes exactement justes de vingt-six a cent, et plus rien au-dela — les deux bascules tombant au point pres sur les deux effectifs vrais, ce qui est la troisieme reponse de la partie a la question laissee ouverte trois modules plus tot, et la plus lisible, puisqu une hauteur de coupe se decouvre et qu un effectif se declare. Le gain sur DBSCAN est une fenetre de reglage qui ne retrecit JAMAIS : sur la meme grille de vingt-huit couples pour chacun, onze contre onze sur des croissants, vingt-quatre contre trois sur des densites inegales, et huit contre ZERO sur des amas de rayons egaux ou DBSCAN n a aucun reglage utilisable — comparer des grilles de tailles differentes avait d abord fait conclure a un retrecissement la ou il y a egalite stricte. Ce qui empeche HDBSCAN d etre toujours preferable est ailleurs : son reglage par DEFAUT rend quatre groupes sur cinq la ou l autre valeur en rend cinq, et ce reglage unique inverse le classement comme le faisait la liaison d une classification hierarchique. Trois lignes du module precedent, la mise a l echelle locale, ne sont jamais battues sur six jeux et gagnent deux fois — ce qui ne condamne pas HDBSCAN, qui passe a l echelle et a une notion de bruit, mais qui etablit qu une methode plus savante n est pas automatiquement meilleure sur le probleme qu elle est censee resoudre. OPTICS, enfin, tient sa promesse du passage unique — en extraire un DBSCAN a un rayon donne retrouve le bon compte de groupes aux huit lignes testees — mais son extraction propre est la pire methode du module et son passage coute dix balayages de quatre DBSCAN : il reste un outil de DIAGNOSTIC, ses deciles disant avant tout essai si un rayon unique peut convenir.
• MODULE L118Décalage de moyenne et propagation d’affinitéDeux methodes qui ne demandent pas le nombre de groupes, et dont le module montre que leurs reglages par DEFAUT sont ce qui les condamne. Le decalage de moyenne tient en une ligne repetee — un point devient la moyenne de ses voisins a moins de h — et cette ligne est une montee de gradient sur un estimateur a noyau plat, dont le pas est fourni par les donnees et dans laquelle la densite n est jamais evaluee. Ecrit ici en quarante lignes vectorisees, il reproduit scikit-learn bloc pour bloc sur les douze reglages testes et va plus vite d un ordre de grandeur, parce qu il fait monter toutes les graines ensemble la ou la bibliotheque boucle en Python sur chaque point de depart. Sa largeur de bande n a de palier sur aucun jeu, et la raison est structurelle : le nombre de composantes connexes d un graphe est une fonction en escalier du rayon, ce qui donnait les paliers des deux modules precedents, mais le nombre de modes varie continument avec la bande. La fonction qui est censee choisir cette bande n est pas une regle mais un quantile libre dont la valeur par defaut n est la meilleure sur aucun des quatre jeux — sur cinq amas de rayons egaux, deux autres quantiles donnent un indice de Rand de un la ou le defaut donne moins d un demi. Deux controles sont ensuite etablis : un nombre de groupes juste ne valide rien, la methode rendant sur deux croissants le bon compte avec un point sur trois du mauvais cote, et un mode n est pas un centre, celui qui portait trois vrais groupes se trouvant loin de chacun d eux. La propagation d affinite, elle, fait circuler deux familles de messages jusqu a ce que certains points s imposent comme exemplaires, et ces exemplaires sont de VRAIS points du jeu — propriete qu aucune autre methode de la partie n offre, et seule vraie raison de l employer. Mais son amortissement, un parametre numerique destine a eviter des oscillations, decide du resultat : a sa valeur par defaut elle rend plus de cent groupes pour trois cents points sans converger, et a une valeur plus haute elle rend le compte exact avec un indice de Rand de un. La non-convergence est le detecteur, gratuit et fiable dans un sens : aucune configuration saturant le nombre maximal d iterations n atteint un bon resultat, et toutes celles qui sont exactes ont converge. Une fois l amortissement corrige, sa preference atteint les deux niveaux d une hierarchie exactement, mais son unite est un carre de distance, donc elle ne se declare pas. Le cout, enfin, la disqualifie plus que sa qualite : quadratique en temps, et trois matrices n par n en memoire, soit le mur du module sur la classification hierarchique multiplie par trois. Les deux methodes n ont AUCUN reglage utilisable sur vingt-huit pour des formes non convexes, et tiennent leur rang sur des amas convexes, ou elles reussissent precisement la ou DBSCAN n avait aucun reglage.