1. Los datos son el nuevo perímetro
El modelo es tan seguro como los datos que lo alimentan. Recomendamos que las organizaciones cambien su enfoque de proteger el modelo a limpiar la cadena de suministro. Aquí es donde se puede utilizar el descubrimiento automatizado y la privacidad diferenciada para garantizar que la información de identificación personal nunca pase a formar parte de la memoria del modelo.
SAIF Data Controls aborda los riesgos en la fuente, la gobernanza y el uso de los datos para la capacitación de modelos y la interacción del usuario, garantizando la privacidad, la integridad y el uso autorizado durante todo el ciclo de vida de la IA. Las herramientas clave de seguridad de datos en Google Cloud incluyen: administración de identidad y acceso, control de acceso para Cloud Storage y BigQuery, Dataplex para administración de datos y conjuntos de datos administrados por Vertex AI.
2. Trate las indicaciones como código
Cuando los datos y la infraestructura están protegidos, queremos proteger el modelo en sí. Los modelos pueden ser atacados directamente a través de entradas maliciosas (solicitudes) y sus salidas pueden manipularse para causar daños. En términos de facilidad de uso para los actores de amenazas, la inyección rápida es la nueva inyección SQL.
Los controles del modelo SAIF están diseñados para generar resiliencia en el modelo y desinfectar sus entradas y salidas para proteger contra estas nuevas amenazas. Recomendamos instalar un firewall de IA dedicado (como Model Armor) para inspeccionar cada entrada en busca de intenciones maliciosas y cada salida en busca de fugas de datos confidenciales antes de que lleguen al usuario. Las herramientas clave adicionales de Google Cloud incluyen: usar Gemini como modelo de guardia y Apigee como una puerta de enlace API sofisticada.
3. La IA agente requiere propagación de identidad
Pasar de chatbots a agentes autónomos o semiautónomos aumenta el radio de explosión para comprometer la seguridad. Para ayudar a reducir el riesgo de acciones maliciosas y divulgación de datos confidenciales, recomendamos encarecidamente no utilizar cuentas de servicio que tengan acceso amplio: cualquier acción realizada por agentes de IA en nombre de un usuario debe ser examinada y autorizada adecuadamente, y se debe instruir a los agentes para que propaguen la identidad y los permisos del usuario real a cada herramienta de backend que toquen.
SAIF recomienda controles de aplicaciones para asegurar la interfaz entre el usuario final y el modelo de IA. Como se describe en las Pautas de seguridad para kits de desarrollo de agentes de Google, los desarrolladores de agentes de IA deben considerar cuidadosamente si las interacciones con las herramientas de backend deben autenticarse con la propia identidad del agente o con la identidad del usuario controlador. Como explicamos en el nuevo informe SAIF, implementar la autorización de usuario para agentes requiere varios pasos: autenticación de front-end, propagación de identidad, protocolo de contexto modelo (MCP) y autorización de protocolo de agente a agente (A2A), e IAM para los servicios de Google Cloud.
Audaz y responsable: construir con SAIF
Secure AI Framework proporciona una hoja de ruta para navegar por el complejo panorama de seguridad de la inteligencia artificial. Estos tres enfoques clave son esenciales para SAIF, pero hay más en el marco. Los controles de gobernanza, los controles de garantía (incluidos los equipos rojos y la gestión de vulnerabilidades) y los controles de aplicaciones son componentes críticos de SAIF y una parte importante de nuestra alineación con los principios y capacidades de seguridad global de Google Cloud.
Para obtener más información sobre cómo su organización puede poner en funcionamiento SAIF, puede leer el informe completo aquí.
