CyberArk presenta FuzzyAI, un innovativo strumento open source per proteggersi dai jailbreak dei modelli di AI

 CyberArk (NASDAQ: CYBR), leader mondiale nell’identity security, ha presentato FuzzyAI, un innovativo framework open source che si è rivelato capace di effettuare il jailbreak di tutti i principali modelli di AI testati. FuzzyAI aiuta le aziende a identificare e risolvere le vulnerabilità dei modelli di AI – come il bypass dei guardrail e la generazione di output pericolosi – ospitati nel cloud e in-house.

Perché FuzzyAI?

I modelli di intelligenza artificiale stanno trasformando ogni settore con applicazioni innovative dedicate a interazioni con i clienti, miglioramento dei processi interni e automazione. Il loro utilizzo interno porta con sé anche nuove sfide per la sicurezza, di fronte alle quali la maggior parte delle aziende è ancora impreparata.

FuzzyAI aiuta a risolverne alcune, offrendo un approccio sistematico per testare i modelli di AI rispetto a vari input malevoli, scoprendo potenziali punti deboli nei sistemi di sicurezza e rendendo quindi più sicuro lo sviluppo e l’implementazione dell’AI. Il cuore di FuzzyAI è un potente fuzzer – uno strumento che rivela difetti e vulnerabilità del software – in grado di esporre quelle trovate utilizzando oltre dieci tecniche di attacco differenti, dal bypass di filtri etici all’esposizione di prompt di sistema nascosti.

Tra le caratteristiche principali di FuzzyAI ritroviamo:

  • Capacità estese di fuzzing: FuzzyAI sonda i modelli di intelligenza artificiale utilizzando diverse tecniche di attacco per evidenziare vulnerabilità, quali bypass dei guardrail, fuga di informazioni,  prompt injection o generazione di output pericolosi.
  • Un framework estendibile: aziende e ricercatori possono aggiungere proprie metodologie di attacco per personalizzare i test su vulnerabilità specifiche del dominio.
  • Collaborazione con la community: un ecosistema in crescita, guidato dagli utenti, garantisce un continuo progresso delle tecniche di attacco e dei meccanismi di difesa.