IT
Il gateway di PayPal riunisce sotto regole comuni l’accesso all’AI di più fornitori
Governing Enterprise AI Traffic at Scale: Design and Operation of a Policy-Driven, Multi-Vendor LLM Gateway on Envoy · arXiv:2610.35509
In parole semplici
Il paper descrive Cosmos LLM Gateway, un sistema costruito da PayPal per offrire alle applicazioni aziendali un unico accesso regolato ai modelli di diversi fornitori. Un servizio separato verifica identità, accessi e budget, mentre un filtro nel proxy di traffico traduce le richieste e tiene traccia dei token man mano che arrivano le risposte.
Nei test con un servizio upstream simulato, il tempo aggiunto al percorso della richiesta è rimasto a una mediana di 4 ms anche quando il carico è salito a circa 2,300 richieste al secondo. Il test non ha misurato l’elaborazione del corpo della risposta né le prestazioni vicino alla saturazione.
La ricerca
Quando le applicazioni si collegano direttamente a più fornitori di modelli, credenziali, formati delle richieste, controlli di spesa e regole sui dati possono frammentarsi.
Un’organizzazione può riunire queste funzioni in un unico punto di accesso condiviso mantenendo basso il ritardo aggiunto alle richieste?
Cosmos LLM Gateway centralizza l’accesso ai modelli e la governance, separando le decisioni di controllo dalla traduzione nel proxy per contenere il ritardo del traffico in streaming.
Cosmos LLM Gateway centralizza l’accesso ai modelli e la governance, separando le decisioni di controllo dalla traduzione nel proxy per contenere il ritardo del traffico in streaming. Con due istanze, raddoppiare il carico da 1,137 a 2,257 richieste al secondo ha lasciato invariati a 4, 10 e 11 ms i ritardi aggiunti alla mediana, al 95º e al 99º percentile.
Gli autori hanno misurato il tempo fino alla risposta upstream, sottraendo il tempo di servizio dell’upstream simulato; anche i risultati con quattro istanze sono rimasti stabili, sostenendo la loro tesi di un ritardo aggiunto contenuto nelle condizioni testate.
Queste misurazioni sostengono la conclusione degli autori secondo cui un’unica azienda può centralizzare la governance tra fornitori con un ritardo misurato di pochi millisecondi alla mediana nel percorso della richiesta.
Il test di latenza ha usato un servizio upstream simulato e ha misurato solo il percorso della richiesta prima della risposta upstream; ha escluso l’elaborazione del corpo della risposta e gli autori non hanno testato il sistema vicino alla saturazione. Il sistema e i risultati in produzione riguardano una sola organizzazione.
Cosa mostrano le prove
- Un unico accesso ai modelli
Cosmos LLM Gateway è il sistema di PayPal in produzione che offre alle applicazioni aziendali un unico accesso regolato a modelli di diversi fornitori. Il paper affronta un problema dei collegamenti diretti tra ogni applicazione e ogni fornitore: credenziali, formati dei dati, controlli di spesa e governance possono frammentarsi tra i team.
Gli autori chiedono se un gateway condiviso possa riunire queste funzioni mantenendo reattivo il percorso della richiesta.
- Separare le decisioni dalla traduzione
Il gateway divide il lavoro in base alle esigenze di ciascuna operazione. Un servizio separato gestisce identità, credenziali e decisioni sulle policy che dipendono da informazioni esterne.
Un filtro nel proxy di traffico traduce le richieste e misura l’uso dei token mentre arrivano i blocchi della risposta. Per impostazione predefinita, così i blocchi trasmessi in streaming non devono attendere una chiamata esterna, anche se alcuni casi d’uso per la protezione dei dati richiedono di elaborare la risposta.
- Testare il percorso della richiesta
Gli autori hanno misurato il ritardo aggiunto al percorso della richiesta inviando richieste attraverso il gateway a un upstream simulato con latenza fissa, poi sottraendo il tempo di servizio dell’upstream. Con due istanze, raddoppiare il carico da 1,137 a 2,257 richieste al secondo ha lasciato invariati a 4, 10 e 11 ms i ritardi aggiunti alla mediana, al 95º e al 99º percentile.
Anche i risultati con quattro istanze sono rimasti stabili ai carichi testati, senza richieste fallite.
- Aggiungere dati di produzione
Il risultato sulla latenza copre soltanto il percorso della richiesta prima che inizi la risposta upstream. Il paper aggiunge dati di produzione e osservazioni sulle implementazioni durante chiamate vocali in diretta: a settembre 2026, il gateway serviva più di 12,000 sviluppatori e, in oltre dieci implementazioni durante il traffico in diretta, ha gestito più di 2,000 chiamate simultanee senza interruzioni segnalate.
Queste osservazioni mostrano il funzionamento del sistema in PayPal; la conclusione degli autori resta circoscritta a un’unica azienda e alle condizioni descritte.
Dettagli
- Autori del paper originale
- Mithun Sasidharan, Srinivasan Manoharan, Rupesh Thakur, Abhinav TK, Ashwin Hegde
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive