Un monitor basato solo sulle query individua account coordinati nonostante i prompt aggiunti
In parole semplici
Un provider può vedere le query provenienti da molti account senza avere informazioni che permettano di collegarli. Se una campagna distribuisce le proprie query, ogni account può sembrare normale; allo stesso tempo, anche gli utenti legittimi possono fare domande simili.
Il paper presenta un monitor che confronta i modelli di query degli account con quelli del precedente traffico benigno e cerca gruppi che si muovono insieme. Nei test sui log di chat consumer, il metodo rivisto per selezionare gli account ha continuato a rilevare alcune campagne anche dopo aver mescolato prompt naturali nelle query di ciascun account, sebbene le campagne testate rappresentassero una quota insolitamente alta dei gruppi monitorati.
La ricerca
Se un provider non può collegare gli account tramite metadati, può riconoscere una campagna dalle sole query quando ogni account sembra normale? Il problema è che anche gli utenti legittimi si coordinano attorno ad argomenti, tendenze, script e modelli condivisi.
Perciò, per valutare quanto sia insolito un gruppo, occorre confrontarlo con attività benigna reale.
Gli autori confrontano i modelli di query degli account con il traffico benigno passato e introducono un metodo di selezione che rileva campagne con prompt aggiunti nelle settimane di test successive.
Gli autori confrontano i modelli di query degli account con il traffico benigno precedente, poi verificano se un metodo rivisto per selezionare gli account coordinati può ancora individuare campagne che mescolano prompt naturali nelle query di ogni account.
Nelle 17 settimane successive di WildChat, non usate in precedenza, la selezione hollowed ha rilevato campagne con prompt aggiunti alla metà delle query in diverse impostazioni testate, mentre il rilevatore a due scale non ne ha rilevata nessuna.
Questo sostiene la capacità del metodo di continuare a rilevarle in quelle impostazioni dopo il congelamento della pipeline, anche se i falsi allarmi e i tassi di rilevamento sono variati a seconda dell’impostazione.
I risultati provengono dai log di chat consumer: gli IP sottoposti a hash approssimano soltanto gli account e gli account con pochi messaggi sono stati esclusi.
Le campagne costituivano il 14–50% delle finestre testate, una quota molto superiore a quella in produzione; lo studio non stabilisce le prestazioni sul traffico API o a una scala di produzione realistica.
Analisi
Dettagli
- Autori
- Snigdha Chandan Khilar
- Licenza
- arXiv non-exclusive