Esto se conoce como Data Poisoning.
El objetivo consiste en alterar deliberadamente los datos utilizados para entrenar un modelo con la intención de modificar su comportamiento.
Por ejemplo, si un sistema de IA aprende a identificar determinadas imágenes, un atacante podría intentar introducir datos manipulados para provocar clasificaciones incorrectas.
El problema puede ser especialmente grave cuando los modelos se entrenan continuamente utilizando información obtenida de fuentes externas.
Las organizaciones deben considerar la procedencia de los datos, su integridad y los mecanismos utilizados para incorporarlos al proceso de entrenamiento.
Algunas medidas de protección incluyen:
- Validación de datos.
- Control de procedencia.
- Detección de anomalías.
- Versionado de conjuntos de datos.
- Revisión de fuentes externas.
- Pruebas periódicas del modelo.
La seguridad de la inteligencia artificial no depende exclusivamente del modelo.
Los datos utilizados para construirlo también forman parte de la superficie de ataque.
Tip Winxgo
Cuando trabajes con IA, no preguntes únicamente “¿qué tan bueno es el modelo?”. Pregunta también “¿de dónde provienen los datos con los que fue entrenado?”.
¿Crees que la calidad y seguridad de los datos llegará a ser tan importante como el propio algoritmo?
Leave a Reply