OpenAI bloquea cuentas relacionadas con China y Corea del Norte por uso malicioso de ChatGPT en actividades de vigilancia y ciberataques
OpenAI bloquea cuentas vinculadas con países sospechosos que usaban ChatGPT para actividades de vigilancia, phishing y desarrollo de malware, ante riesgos de ciberataques.
OpenAI ha bloqueado cuentas vinculadas a China, Corea del Norte y otros países que supuestamente usaban ChatGPT para campañas de vigilancia, desarrollo de técnicas de phishing, malware y otras actividades maliciosas. En un nuevo informe, la compañía señaló que ha detectado a individuos relacionados con entidades gubernamentales chinas u organizaciones estatales que empleaban su modelo de lenguaje a gran escala (LLM) para redactar propuestas dirigidas a sistemas de vigilancia y tecnologías de perfilado. Estas incluían herramientas para monitorizar personas y analizar patrones de comportamiento.
Algunas de las cuentas bloqueadas intentaban usar ChatGPT para diseñar herramientas de vigilancia masiva, analizar conjuntos de datos obtenidos de plataformas sociales occidentales o chinas y generar materiales promocionales relacionados. No obstante, OpenAI aclaró que estos usuarios solicitaban ayuda para diseñar las herramientas o crear documentación, en lugar de implementar directamente los sistemas de monitoreo. Los planteamientos se formulaban de forma que evitaban activar los filtros de seguridad, presentándose como consultas académicas o técnicas.
Aunque el contenido generado no facilitaba directamente la vigilancia, los resultados se usaban para perfeccionar la planificación y documentación de estos sistemas ilícitos. Por otro lado, las autoridades norcoreanas utilizaron ChatGPT para explorar técnicas de phishing, robo de credenciales y desarrollo de malware para macOS. La compañía informó que estas cuentas probaban prompts relacionados con ingeniería social, captura de contraseñas y depuración de código malicioso enfocado en sistemas de Apple.
OpenAI señaló que el modelo se niega a generar código malicioso de forma directa, aunque los actores maliciosos intentan evitar las medidas de seguridad reformulando sus peticiones o solicitando ayuda técnica general. Como cualquier otra herramienta, los modelos de lenguaje grande se utilizan tanto por actores con motivaciones económicas como por entidades estatales para actividades dañinas.
El uso indebido de la inteligencia artificial está evolucionando, ya que los agentes de amenaza integran cada vez más estas tecnologías en sus flujos de trabajo para aumentar su eficiencia. A pesar de los esfuerzos de desarrolladoras como OpenAI para minimizar los riesgos y prevenir el uso malicioso, existe una zona gris en la que los prompts pueden oscilar entre el uso legítimo y el malicioso, lo que requiere estrategias de detección más sofisticadas para hacerles frente.