Ciberseguridad en la era de la Inteligencia Artificial: los casos de KGM y Meta

Uno de los temas más comentados sobre la inteligencia artificial es la pérdida de empleos. Un grupo de personas piensa que la inteligencia artificial acabará con la humanidad. Otro grupo teme que todas las profesiones desaparezcan.

En mi opinión, hoy nos enfrentamos a un peligro mucho más real.

Se trata de la conexión irreflexiva de la inteligencia artificial a los sistemas de las instituciones.

Dos incidentes que he presenciado en los últimos días han demostrado una vez más lo grave que es este problema. Lo interesante es que uno de los casos ocurrió en una institución pública en Turquía, mientras que el otro tuvo lugar en una de las empresas tecnológicas más grandes del mundo.

El caso de KGM

Al regresar de las vacaciones, entré en el sistema de la Dirección General de Carreteras (KGM) para comprobar si había algún problema con mis registros del sistema de peaje HGS.

El panorama que encontré fue bastante sorprendente.

Se podía acceder a los registros de tránsito solo con la información de la matrícula, sin realizar ninguna autenticación de identidad.

Más interesante aún, aunque el vehículo que consultamos es modelo 2023, en el sistema aparecían registros del año 2017.

Poco después entendí la razón.

El sistema no seguía al vehículo, sino a la matrícula.

Es decir, si la misma matrícula se utilizó en otro vehículo en el pasado, también se podían visualizar los registros de ese periodo. En otras palabras, una persona podía acceder a los viajes pasados de otra persona.

Llamé al centro de atención al cliente para informar sobre el asunto.

Me atendió un sistema de respuesta de voz basado en inteligencia artificial.

Por curiosidad, proporcioné una matrícula.

El sistema comenzó a compartir la información de tránsito correspondiente sin verificar si la matrícula me pertenecía.

El punto al que hay que prestar atención aquí no es la inteligencia artificial.

El verdadero problema es cómo se definen los datos y los permisos a los que accede la inteligencia artificial.

Justo en este punto, viene a la mente la decisión de la KVKK (Autoridad de Protección de Datos Personales) publicada la semana pasada.

La Autoridad de Protección de Datos Personales adoptó un enfoque bastante restrictivo contra el uso de datos biométricos como huellas dactilares, geometría facial, retina e iris en el seguimiento de la jornada laboral de los empleados.

La justificación es extremadamente lógica.

Estos datos son sumamente sensibles. Una vez comprometidos, es imposible cambiarlos.

Sin embargo, uno no puede evitar hacerse la siguiente pregunta:

Si por un lado se examinan los sistemas de seguimiento de jornada laboral mediante huella dactilar en las empresas, mientras que por otro lado la información sobre el historial de viajes de los ciudadanos puede ser accesible sin una verificación suficiente, ¿se está estableciendo correctamente el orden de prioridades?

Existe una diferencia significativa entre saber a qué hora llega una persona al trabajo y saber en qué ciudades ha estado, qué rutas ha utilizado y en qué fechas ha viajado.

En los debates sobre seguridad de datos, no solo hay que mirar qué datos se recopilan, sino también quién puede acceder a ellos.

El caso de Meta

En esos mismos días, se publicó una noticia llamativa sobre Meta.

Los hackers lograron apoderarse de cientos de cuentas. Entre ellas había cuentas de personas conocidas y grandes marcas.

Según las acusaciones, el método era extremadamente sencillo.

Contactaron con el servicio de atención al cliente basado en inteligencia artificial y realizaron algunas solicitudes de cambio relacionadas con la cuenta.

El sistema de inteligencia artificial cumplió con estas solicitudes sin realizar una verificación suficiente.

Se cambiaron las direcciones de correo electrónico.

Los enlaces de restablecimiento de contraseña se enviaron a las nuevas direcciones.

Como resultado, las cuentas pasaron a estar bajo el control de los atacantes.

Meta anunció posteriormente que la vulnerabilidad había sido cerrada.

Pero aquí tampoco el problema fundamental era la existencia de la inteligencia artificial.

El problema era qué permisos se le otorgaron a la inteligencia artificial y con qué controles se limitaron esos permisos.

El verdadero problema no es la inteligencia artificial

Estos dos ejemplos parecen completamente diferentes a primera vista.

Uno está en el sector público.

El otro en el sector privado.

Uno en Turquía.

El otro en Estados Unidos.

Pero ambos cuentan lo mismo.

Muchas instituciones, al intentar integrar la inteligencia artificial en el sistema, piensan primero en la eficiencia.

Atención al cliente más rápida.

Menos personal.

Menores costes.

Mayor automatización.

Sin embargo, la mayoría de las veces no se hace suficiente la siguiente pregunta:

"¿Qué pasa si este sistema toma una decisión incorrecta?"

Más importante aún:

"¿Qué pasa si un atacante engaña a este sistema?"

Hoy en día, en muchas instituciones el proceso funciona al revés.

Primero se inicia el proyecto de inteligencia artificial.

Luego se conectan los sistemas CRM.

Se abren los datos de los clientes.

Se conectan los sistemas contables.

Se conectan los centros de llamadas.

Se definen los permisos.

Pero los estudios de modelado de amenazas a menudo se consideran al final.

Sin embargo, el enfoque correcto es todo lo contrario.

Antes de que comience un proyecto de inteligencia artificial, se deben identificar los posibles escenarios de ataque.

¿A qué datos accederá?

¿Qué operaciones podrá realizar?

¿Qué decisiones podrá tomar por sí sola?

¿En qué punto se requerirá la aprobación humana?

¿Cuál será el peor escenario si un atacante engaña al sistema?

Implementar la inteligencia artificial en el entorno de producción sin dar respuesta a estas preguntas supone un riesgo grave.

En el pasado, los atacantes buscaban vulnerabilidades en el software.

Hoy en día, apuntan a los mecanismos de decisión.

Intentan engañar a la inteligencia artificial.

Intentan superar los límites de autoridad.

Intentan manipular la lógica del sistema.

Por esta razón, en los proyectos de inteligencia artificial, la ciberseguridad ya no es una capa que se añade después, sino que debe ser el punto de partida del proyecto.

Los ejemplos de KGM y Meta nos dan la misma lección.

Los sistemas de inteligencia artificial no suponen un riesgo porque sean peligrosos, sino porque se les otorgan permisos sin la suficiente reflexión.

En la era de la inteligencia artificial, el verdadero problema de seguridad no son los algoritmos en sí, sino las puertas que les abrimos.

Lo que he analizado esta semana: Bombilla LED WiFi inteligente Günsan

Uno de los productos que llamó mi atención esta semana fueron las bombillas LED WiFi inteligentes de Günsan.

Los productos de Günsan no me son totalmente ajenos. Ya había tenido la oportunidad de analizar el enchufe inteligente de la marca y, sinceramente, debo decir que me pareció exitoso. Me gustó especialmente que permitiera entrar en el mundo del hogar inteligente sin complicar la instalación.

El producto que encontré esta vez fueron las bombillas LED WiFi inteligentes.

Aunque las tecnologías de hogar inteligente han estado en nuestras vidas durante años, recientemente han comenzado a ser más accesibles. Muchas funciones que antes requerían instalaciones serias ahora se pueden utilizar simplemente cambiando una bombilla.

Uno de los aspectos llamativos de los modelos que analicé es que pueden funcionar no solo con su propia aplicación, sino también con plataformas comunes como Tuya y Smart Life, además de GG SMART. Esto supone una ventaja importante para los usuarios que desean construir una estructura de hogar inteligente compuesta por diferentes marcas.

Las bombillas, que utilizan tecnología LED de 9W, funcionan con un bajo consumo de energía. En el modelo de luz blanca, hay tonos de luz ajustables entre 2700K y 6500K. Es posible preferir una luz más viva en el estudio o cambiar a tonos más cálidos durante las horas de la tarde.

En el modelo RGB, se ofrecen 16 millones de opciones de color. Se pueden crear diferentes escenarios al ver películas, leer libros o simplemente cuando se desea cambiar el ambiente del lugar.

Debo decir que encontré especialmente útiles las funciones de temporizador. Que las luces se enciendan a una hora determinada por la mañana o que se activen automáticamente por la tarde se encuentran entre los detalles pequeños pero efectivos que facilitan la vida diaria.

A medida que las tecnologías de hogar inteligente se generalicen, parece que veremos este tipo de productos con más frecuencia. Estas bombillas, que analicé después del enchufe inteligente de Günsan, también demuestran que la marca avanza de manera constante en la expansión de su familia de productos en el ámbito del hogar inteligente.