CyberArk (NASDAQ: CYBR), leader mondiale nell’identity security, ha presentato FuzzyAI, un innovativo framework open source che si è rivelato capace di effettuare il jailbreak di tutti i principali modelli di AI testati. FuzzyAI aiuta le aziende a identificare e risolvere le vulnerabilità dei modelli di AI – come il bypass dei guardrail e la generazione di output pericolosi – ospitati nel cloud e in-house.
Perché FuzzyAI?
I modelli di intelligenza artificiale stanno trasformando ogni settore con applicazioni innovative dedicate a interazioni con i clienti, miglioramento dei processi interni e automazione. Il loro utilizzo interno porta con sé anche nuove sfide per la sicurezza, di fronte alle quali la maggior parte delle aziende è ancora impreparata.
FuzzyAI aiuta a risolverne alcune, offrendo un approccio sistematico per testare i modelli di AI rispetto a vari input malevoli, scoprendo potenziali punti deboli nei sistemi di sicurezza e rendendo quindi più sicuro lo sviluppo e l’implementazione dell’AI. Il cuore di FuzzyAI è un potente fuzzer – uno strumento che rivela difetti e vulnerabilità del software – in grado di esporre quelle trovate utilizzando oltre dieci tecniche di attacco differenti, dal bypass di filtri etici all’esposizione di prompt di sistema nascosti.
Tra le caratteristiche principali di FuzzyAI ritroviamo:
- Capacità estese di fuzzing: FuzzyAI sonda i modelli di intelligenza artificiale utilizzando diverse tecniche di attacco per evidenziare vulnerabilità, quali bypass dei guardrail, fuga di informazioni, prompt injection o generazione di output pericolosi.
- Un framework estendibile: aziende e ricercatori possono aggiungere proprie metodologie di attacco per personalizzare i test su vulnerabilità specifiche del dominio.
- Collaborazione con la community: un ecosistema in crescita, guidato dagli utenti, garantisce un continuo progresso delle tecniche di attacco e dei meccanismi di difesa.