Un cadre de compte rendu montre comment le moment choisi modifie les étiquettes financières

Quand un benchmark de traitement du langage financier utilise la transcription ou l’enregistrement complet d’une conférence téléphonique sur les résultats pour prévoir les mouvements boursiers, que signifie son résultat si la période de rendement commence avant la fin de l’appel ?

Il peut inclure les mouvements de prix pendant la publication, plutôt que mesurer une prévision réalisée après que toutes les données d’entrée sont disponibles.

L’Availability Contract consigne les limites des données d’entrée, les preuves temporelles et les périodes de rendement afin que les affirmations des benchmarks financiers correspondent à ce que ces mesures permettent d’étayer.

Les auteurs appliquent le cadre aux conférences téléphoniques sur les résultats en comparant les rendements ayant le même point d’arrivée, mais des départs différents : une approximation documentaire du début de l’appel et une approximation de la fin de l’audio avec un délai de 15 minutes.

Parmi 552 appels comparés par paires, le passage à l’approximation de fin a inversé le signe du rendement pour 9,4 % des appels.

Comme la comparaison porte sur les mêmes appels et le même point d’arrivée, le résultat montre que la cible de rendement dépend de l’heure de départ choisie.

Une approximation de la fin rend l’hypothèse temporelle explicite, mais ne permet pas d’établir à quel moment les données d’entrée complètes ou le modèle étaient réellement prêts.

L’audit utilise des approximations rétrospectives des horaires. Il ne permet pas d’observer quand les transcriptions ou l’inférence du modèle étaient terminées.

Il étaye donc des conclusions correspondant à ces approximations, et non des affirmations vérifiées sur des prédictions après réception des données ou sur un déploiement.