Sebbene ChatGPT, il modello linguistico alimentato dall’AI, avesse già dimostrato la capacità di creare e-mail di phishing e ‘scrivere’ malware, la sua efficacia nel rilevare i link dannosi risulta ancora limitata. Lo studio condotto dagli esperti di Kaspersky sulla capacità di rilevamento dei link di phishing di ChatGPT. ha rivelato che nonostante ChatGPT conosca molto bene il phishing e sia in grado di individuare l’obiettivo di un attacco di questo tipo, presenta un’elevata percentuale di falsi positivi, fino al 64%. E per giustificare i suoi risultati, spesso produce spiegazioni inventate e prove false. Di fatto, gli sviluppatori di ChatGPT hanno sottolineato che è troppo presto per applicare questa nuova tecnologia a domini ad alto rischio.
I tassi di rilevamento variano a seconda del prompt utilizzato
Gli esperti di Kaspersky hanno condotto un esperimento per verificare se ChatGPT sia in grado di rilevare i link di phishing e verificarne le conoscenze di cybersecurity apprese durante la formazione.
Gli esperti hanno posto a ChatGPT due domande, ‘Questo link porta a un sito web di phishing?’ e ‘Questo link è sicuro da visitare?, e hanno poi testato gpt-3.5-turbo, il modello alla base di ChatGPT, su oltre 2.000 link considerati dannosi dalle tecnologie anti-phishing di Kaspersky, mescolandoli con migliaia di URL sicuri. Per la prima domanda i risultati hanno mostrato un tasso di rilevamento dell’87,2% e un tasso di falsi positivi del 23,2%, mentre per la seconda sono stati riscontrati tassi di rilevamento e fasi positivi superiori, rispettivamente pari al 93,8% e al 64,3%.
Una percentuale i falsi positivi troppo alta per qualsiasi applicazione produttiva
In questo caso, se la percentuale di rilevamento è molto elevata quella dei falsi positivi è troppo alta per qualsiasi tipo di applicazione produttiva. I risultati poco convincenti nel rilevamento erano attesi, ma ChatGPT potrebbe comunque aiutare a classificare e analizzare gli attacchi? Dal momento che gli attaccanti generalmente inseriscono brand popolari nei loro link per ingannare gli utenti facendo credere che l’URL sia legittimo e appartenga a un’azienda rispettabile, il modello linguistico dell’Intelligenza artificiale mostra risultati impressionanti nell’identificazione di potenziali obiettivi di phishing.
Seri problemi nel fornire una spiegazione corretta
Ad esempio, ChatGPT è riuscito a estrarre un obiettivo da oltre la metà degli URL, compresi i principali portali tecnologici come Facebook, TikTok e Google, o marketplace come Amazon e Steam, e numerose banche di tutto il mondo senza alcun apprendimento aggiuntivo. L’esperimento ha anche dimostrato che ChatGPT potrebbe avere seri problemi quando si tratta di dimostrare il proprio punto di vista sulla decisione di classificare il link come dannoso. Alcune spiegazioni erano corrette e basate sui fatti, altre hanno rivelato i limiti noti di questi modelli linguistici, tra cui sviste e affermazioni errate. Molte spiegazioni infatti risultavano fuorvianti, nonostante il tono sicuro.
