Que change-t-on d’autre en corrigeant un modèle ?

Un modèle peut apprendre à partir d’un nouveau corpus tout en perdant des comportements antérieurs, recevoir du bruit destiné à protéger la confidentialité tout en perdant en précision sur sa tâche, ou refuser un prompt préjudiciable tout en refusant une demande inoffensive voisine. Réussir la modification visée laisse une question proche sans réponse.

Les études suggèrent une méthode d’examen aux conclusions circonscrites : repérer ce qui change, choisir un point de comparaison et examiner la limite pertinente la plus proche. Cette limite diffère selon qu’il s’agit de mises à jour pendant l’entraînement, du calibrage de la confidentialité ou de la réparation des prompts. Un mécanisme plausible ou un score général rassurant ne répond pas aux questions des autres études.

Imaginons qu’on adapte un modèle de langage à un nouveau corpus tout en lui demandant de continuer à traiter les contenus appris auparavant. Les nouveaux exemples peuvent rarement mentionner certains mots que le modèle utilisait jusque-là.

Pourtant, même les mots absents de ces exemples en tant que réponses attendues peuvent voir leur représentation changer dans le mécanisme qui produit les sorties du modèle. Si les anciennes capacités se dégradent, savoir simplement que le modèle a appris le nouveau contenu ne permet pas de déterminer quelle partie de l’adaptation mérite qu’on s’y intéresse.

Considérons maintenant une méthode d’entraînement qui ajoute du bruit pour limiter ce qu’on peut déduire sur l’utilisation d’un enregistrement précis. Un niveau de bruit plus élevé peut sembler rassurant à cet égard, mais il peut aussi affecter la précision du modèle dans sa tâche.

Le choix pratique ne consiste donc pas seulement à décider s’il faut ajouter du bruit : il s’agit de comparer différentes façons d’en régler le niveau, en définissant précisément la question de confidentialité.

Autre cas : un modèle a fourni une aide préjudiciable, et une modification ciblée l’amène à refuser cette demande. Mais il pourrait aussi refuser une demande inoffensive formulée de manière similaire.

Un test général des capacités du modèle pourrait à peine changer, alors que cette erreur sur une demande proche subsiste. Dans ces situations, la question est de savoir comment évaluer une modification ciblée en examinant la limite la plus susceptible de révéler ce que sa réussite annoncée laisse encore incertain.