FR
Une méthode estime comment les cibles d’entraînement modifient les prédictions
Influence Is the Target-Response Jacobian Times Residuals · arXiv:2610.27689
En termes simples
Cet article présente une méthode qui estime comment les prédictions d’un modèle changeraient si des réponses ou des étiquettes individuelles de ses données d’entraînement étaient modifiées. Elle calcule cette réaction à partir du modèle ajusté, sans le réentraîner.
Les auteurs comparent ses estimations aux changements obtenus en réajustant les modèles après modification des cibles. Sur trois jeux de données tabulaires, la nouvelle méthode correspond étroitement aux réajustements ; une méthode courante fondée sur la modification du poids des exemples prédit moins bien que la variation moyenne observée après réajustement. Ce résultat se limite aux modèles et aux changements testés.
La recherche
Si la modification d’une étiquette ou d’une valeur d’entraînement peut changer les prédictions d’un modèle, comment estimer cet effet sans réentraîner le modèle ? Les méthodes d’attribution existantes mesurent la réaction des prédictions lorsque les exemples reçoivent des poids différents dans la fonction de perte.
Reste à savoir si cette réaction aux poids peut représenter de façon fiable l’effet d’un changement des cibles elles-mêmes.
Le target-response Jacobian estime comment chaque cible d’entraînement influe sur les prédictions du modèle, une question que l’attribution fondée sur les poids ne mesure pas.
Les chercheurs ont entraîné des modèles, modifié les cibles d’entraînement de plusieurs façons échantillonnées, puis réajusté chaque modèle à partir de ses paramètres ajustés d’origine. Pour chaque méthode, ils ont comparé le changement prédit au changement obtenu après réajustement.
Ils ont calculé un score pour chaque prédiction sur plusieurs changements de cible, puis pris la médiane sur les prédictions évaluées. Un score négatif signifie que les estimations faisaient moins bien que la prédiction du changement moyen après réajustement.
Sur trois jeux de données tabulaires, les variations estimées par le target-response Jacobian correspondaient étroitement aux réajustements, tandis que la méthode d’influence obtenait des scores négatifs.
Cela étaye l’idée que, dans ces tests, la sensibilité aux poids remplaçait mal la sensibilité aux cibles.
Le target-response Jacobian estime une réponse du premier ordre au point stationnaire où le modèle est ajusté. Sa précision pour des changements de cible plus importants dépend donc du degré de non-linéarité du réajustement.
La méthode nécessite l’accès aux dérivées du modèle et la résolution de systèmes faisant intervenir la Hessienne. Les résultats présentés portent sur des modèles, des changements de cibles et des contextes d’évaluation précis.
Ce que montrent les preuves
- Deux formes de sensibilité
L’article présente le target-response Jacobian, une méthode qui estime comment les prédictions d’un modèle changent lorsque des cibles d’entraînement individuelles sont modifiées, sans réentraîner le modèle. Il répond à une question différente de celle des méthodes courantes d’attribution aux données d’entraînement, qui mesurent la sensibilité au poids attribué à un exemple dans la fonction de perte.
L’article cherche à savoir si cette sensibilité aux poids peut remplacer de façon fiable la sensibilité aux valeurs des cibles elles-mêmes.
- Le lien entre les deux mesures
Pour un modèle ajusté, le target-response Jacobian combine les gradients des prédictions, la résolution d’un système avec l’inverse de la Hessienne, et les dérivées du gradient de la fonction de perte par rapport aux cibles.
Les auteurs établissent aussi une identité qui le relie à l’influence du poids des exemples : pour des fonctions de perte courantes à lien canonique, l’influence correspond au Jacobian multiplié par le résidu de chaque exemple d’entraînement.
Cela explique pourquoi l’influence peut réduire l’effet estimé d’un changement de cible ou en affaiblir la direction.
- Les réajustements mettent les estimations à l’épreuve
Pour comparer directement les estimations, les chercheurs ont modifié les cibles d’entraînement, réajusté chaque modèle à partir de ses paramètres ajustés d’origine, puis comparé les variations de prédiction obtenues à celles estimées par chaque méthode.
Sur trois jeux de données tabulaires, les estimations du Jacobian correspondaient étroitement aux réajustements, tandis que celles de la méthode d’influence faisaient moins bien que la prédiction de la variation moyenne après réajustement. Ces résultats étayent l’avantage du Jacobian sur la méthode d’influence pour les modèles et les changements testés.
- Un test sur des étiquettes multiclasses
Sur un classificateur softmax MNIST, les chercheurs ont déplacé des étiquettes d’entraînement vers d’autres classes choisies au hasard, puis mesuré les changements des prédictions sur les images de test.
Là encore, le Jacobian suivait bien mieux les réajustements que la méthode d’influence. Les auteurs relient cet écart au fait que la méthode d’influence donne la même estimation quelle que soit la classe de destination, ce qui limite la portée du résultat au classificateur et aux changements d’étiquette testés.
- Un scénario hypothétique sur le logement
Un scénario hypothétique fondé sur California Housing a testé des augmentations finies de cibles d’entraînement plafonnées au sommet de la plage enregistrée. Dans les groupes de quartiers réservés à l’évaluation, les estimations du Jacobian suivaient étroitement les réajustements pour chaque augmentation testée, tandis que celles de la méthode d’influence étaient moins précises.
Ces résultats apportent un élément de preuve supplémentaire pour un changement de cible structuré, mais ils reposent sur un seul découpage des données et ne lèvent pas la limite liée au caractère de premier ordre de la méthode.
Détails
- Auteurs de l’article original
- Paul Geertsema, Simon Geertsema
- Soumis à arXiv
- Licence
- CC BY 4.0