El viaje de GPT al análisis de malware | Por Check Point Software

Principales conclusiones

Nos adentramos en los puntos fuertes inherentes y en los retos comunes a los que se enfrenta GPT (GPT-4 de OpenAI, en adelante "GPT") cuando participa en el ámbito del análisis de malware, proporcionando ejemplos tangibles para mayor claridad.
Examinando la causa y la estructura del "techo" que obstaculiza la eficacia de GPT en varias tareas de análisis de malware, pretendemos descubrir ideas y posibles soluciones.
Nuestro objetivo es superar las limitaciones planteadas por el "techo" antes mencionado y mejorar las capacidades de razonamiento de GPT en el campo del análisis de malware.
Mediante una prueba de concepto, mostramos cómo puede mejorarse significativamente la capacidad de GPT para guiar a los analistas en la selección de muestras binarias.

Introducción

En el ámbito de la tecnología, GPT ha surgido como una fuerza transformadora, a menudo considerada como una herramienta milagrosa en el ciclo tecnológico actual. Los escépticos cuestionan su verdadera inteligencia, estableciendo paralelismos con palabras de moda como NFT y blockchain. Sin embargo, quienes se han adentrado en las capacidades de GPT comprenden su profundo impacto, convirtiendo proyectos de una semana en cuestión de horas. En medio de la exageración y el escepticismo se esconde una realidad llena de matices, que hemos explorado a través de pruebas prácticas, desafiando a GPT con la intrincada tarea del análisis de malware.

Fortalezas naturales de GPT

La proeza de GPT reside en su agudeza verbal, un pensador verbal que destaca a la hora de decidir las palabras más adecuadas y su colocación. Esta fortaleza lingüística permite a GPT acceder a una extensa base de conocimientos humanos. Si existe una respuesta pertinente en sus datos de entrenamiento, GPT puede reproducirla con una precisión asombrosa. Por ejemplo, cuando se le presenta un informe de GandCrab (el ransomware GradCrab cifra los archivos de la víctima y exige el pago de un rescate para recuperar el acceso a sus datos. GandCrab está dirigido a consumidores y empresas con ordenadores que ejecutan Microsoft Windows), GPT recuperó la información sin esfuerzo e incluso demostró su capacidad para realizar una búsqueda en Google Scholar.

Completar frases

GPT es un pensador totalmente verbal. Toda su potencia se basa en su extraordinaria capacidad para decidir cuál es la palabra más adecuada y dónde ponerla en su respuesta. Esta es una de las cosas más importantes que hay que entender sobre GPT: gran parte del comportamiento que veremos más adelante se deriva, en cierto sentido, de esta propiedad. Si alguien, en cualquier momento de la historia, ha respondido a la pregunta que se le ha formulado y esta respuesta se ha incluido en los datos de entrenamiento de GPT, este muestra una asombrosa capacidad para reproducir la respuesta.

Resúmenes generales

Gracias a su red de asociaciones de palabras, GPT domina la gramática y la diferencia entre hechos clave y hechos secundarios. Como resultado, una de las tareas en las que se puede confiar más en GPT es la producción de "un resumen del panorama general" cuando se le dan datos demasiado extensos para el consumo humano. Por ejemplo, cuando se le dio parte de un registro de llamadas API muy largo, producido por una pieza de malware, y se le pidió que resumiera el registro, GPT produjo la siguiente salida útil:

💡 El malware parece estar interactuando fuertemente con la API de Windows y realizando diversas operaciones como operaciones con archivos, gestión de memoria, escalada de privilegios, carga de librerías y, sobre todo, operaciones relacionadas con la criptografía.

La brecha entre el conocimiento y la acción

Sin embargo, surge un reto notable: la brecha entre el conocimiento y la acción, que recuerda a la crítica de Richard Feynman a los estudiantes que memorizaban sin comprender. Esto se repite en los encuentros de GPT con las tareas de análisis de malware, donde sus dificultades parecen estar enraizadas en la comprensión de la esencia de la información. La dicotomía entre tener acceso a la información y comprender su significado plantea retos en tareas que requieren una comprensión más profunda del contexto.

Retos habituales en el análisis de malware

La complejidad del análisis de malware plantea retos a GPT. Cuando se le asignó la tarea de identificar binarios benignos o maliciosos, GPT mostró limitaciones.

Al final, ver cómo GPT se enfrentaba a esta tarea aparentemente sencilla nos proporcionó una gran cantidad de información sobre su capacidad para razonar en este ámbito.

Aunque GPT es una construcción artificial, muchos de los desafíos que uno encuentra al aplicar GPT al dominio del análisis de malware parecen extrañamente humanos por parte de GPT. Recopilamos muchos ejemplos en los que GPT se topaba con estos retos al intentar abordar alguna tarea, e intentamos en la medida de lo posible clasificarlos en categorías más amplias y generales. El resultado fue la siguiente lista de 6 obstáculos principales generales:

Desviación de la ventana de memoria
La brecha entre el conocimiento y la acción
Techo de razonamiento lógico
Desvinculación de la experiencia
Orientación por objetivos
Ceguera espacial
Superar los retos

Reconociendo estos retos, buscamos hacks y mitigaciones para elevar las capacidades de GPT en el análisis de malware. Una prueba de concepto, en la que se utilizó un prompt fuertemente manipulado, mostró mejoras en la capacidad de GPT para guiar a un analista durante el triaje (proceso de identificación y clasificación).

Puede ver una demostración de cómo se comporta GPT en las tareas de triaje con todas las mitigaciones descritas anteriormente introducidas:

Conclusión

El viaje de GPT hacia el análisis de malware pone de manifiesto sus puntos fuertes naturales y los retos a los que se enfrenta a la hora de razonar en este ámbito. Aunque su agudeza verbal y su vasto repositorio de conocimientos son ventajas innegables, la brecha entre el conocimiento y la acción presenta obstáculos. La exploración de los hackeos y las medidas de mitigación supone un esfuerzo continuo por mejorar la aplicabilidad de GPT en tareas complejas, abriendo vías para futuros avances en la sinergia entre inteligencia artificial y ciberseguridad,

Lea el informe detallado de este análisis en nuestra página Check Point Research.