HiLO coordina il rallentamento dei servizi per proteggere la qualità

In parole semplici

La ricerca

Cosa mostrano le prove

• Il problema a livello di prodotto

  HiLO (High Load Optimizer) è un sistema automatizzato che coordina il modo in cui i servizi di un prodotto riducono il lavoro durante un sovraccarico. La domanda a cui risponde è come proteggere la qualità del prodotto quando i suoi servizi dipendono gli uni dagli altri.

  Le protezioni indipendenti possono mantenere disponibile ogni servizio, ma chi lo utilizza può continuare a inviare richieste a un collo di bottiglia, causando più latenza, errori e instabilità prolungata.

• La disponibilità non ha protetto la qualità

  Un incidente di Bing mostra perché la sola disponibilità di un servizio può essere una misura incompleta. Dopo che un rilascio ha aumentato le chiamate a un servizio condiviso che eroga modelli, un breve picco di traffico ha portato oltre la capacità un datacenter quasi al completo.

  Il servizio è rimasto disponibile, ma i servizi che lo chiamavano hanno continuato a inviargli lavoro; la pertinenza è scesa di 1.11 punti e la stabilità del prodotto è calata da circa 90% a 63%, impiegando più di quattro ore a recuperare. L’incidente illustra il tipo di guasto, ma non è un test controllato di HiLO.

• Coordinare le modifiche ai servizi

  HiLO combina i segnali di carico dei servizi e sceglie un product state predefinito, che assegna livelli di servizio coordinati ai servizi partecipanti. Le dipendenze tra servizi chiamanti e servizi chiamati vengono definite mentre gli stati sono progettati e testati: al momento della scelta, il sistema non deve scoprire come i servizi dipendono gli uni dagli altri.

  L’approccio rinuncia a un controllo molto dettagliato in favore di un insieme ristretto di modalità di prodotto, pensate per rendere prevedibile il degrado.

• Le evidenze riportate dalla produzione

  A gennaio 2026 HiLO ha gestito nove picchi di traffico degli utenti che hanno superato la soglia di sovraccarico in tre regioni di Bing. Tra questi eventi, il calo peggiore di OneDCG riportato è stato di 0.425 punti, con un picco pari a 2.38 volte il picco di riferimento: un valore inferiore all’obiettivo dichiarato di 0.5 punti.

  Questo risultato in produzione supporta una conclusione circoscritta ai picchi di Bing riportati; non è una media degli eventi né un’evidenza proveniente da altre aziende.

• Cosa aggiungono gli altri test

  Due brevi test di capacità offrono un confronto distinto. Con aumenti graduali di traffico sintetico fino a circa il doppio del picco di riferimento, OneDCG non è cambiata con HiLO, mentre senza il sistema ha registrato piccoli cali.

  I test differivano per durata e picco di carico; il paper indica che gli eventi in produzione sono più rappresentativi. HiLO è usato anche in Copilot Search, dove vengono modificate le funzionalità dell’interfaccia, ma questo caso non riporta un confronto quantitativo.