Proyecto de hackatón14 nov 2026BogotáTrack 1: Seguridad de agentes

Seguridad de agentes: del bloqueo probabilístico al determinista

Brandon Jahir Cabra, César Rivas, Julio Rodríguez Buelvas, Jonathan Meza y Adriana La Rotta

Presentado al Defensive Acceleration Hackathon. Es un trabajo temprano de sus participantes y no una publicación de AI Safety Colombia.

Resumen

Los agentes de IA no solo responden preguntas, también ejecutan acciones como leer, compartir, borrar o enviar información utilizando los permisos que tienen disponibles. Esto los hace vulnerables a manipulaciones que pueden llevarlos a realizar acciones indebidas. Las defensas actuales dependen de clasificadores u otros modelos que intentan identificar instrucciones maliciosas, pero siguen siendo probabilísticas y pueden fallar ante ataques que se reformulan y repiten.

Para enfrentar este problema construimos una solución que busca hacer estas comprobaciones de forma determinista. Su componente principal, TaintWarden, identifica el contenido externo, clasifica la sensibilidad de los datos y bloquea las acciones que puedan exponer información a destinos externos. A diferencia de las defensas tradicionales, analiza directamente las llamadas a herramientas, lo que permite auditar sus decisiones sin depender de otro modelo. También integramos AgentDojo, un agente supervisor y una interfaz para ejecutar las pruebas.

En las evaluaciones con CyberSecEval, el 30,2 % de 523 propuestas de parches fueron aceptadas en el primer intento y el 57,9 % después de varios intentos; además, las compuertas rechazaron 31 propuestas. El arnés de evaluación ya está implementado con 25 escenarios para medir tanto los ataques detenidos como las tareas legítimas que el agente logra conservar.


Comentarios del jurado

Escritos por el jurado durante la evaluación. Se publican sin nombre, sin nota y en orden aleatorio.

  1. TL;DR: Autopatch está bien documentado. El escudo, que es la afirmación principal, aún no tiene resultados con un modelo real. Qué funciona - Autopatch registra todo: versión del dataset, hash de reglas y hash de prompts. (outputs/autopatch/metrics.report.json, línea 13) - Las verificaciones rechazaron 31 parches que solo borraban el patrón marcado. (outputs/autopatch/metrics.report.json, línea 28) Qué limita la evidencia - El atacante del benchmark está programado. El agente obedece una lista fija, no un modelo real. (apps/dojo_school/pipeline.py, línea 639) - La prueba completa de 5 ataques, con y sin escudo, no se ha corrido. (Ficha técnica, línea 98) Baseline más barato - No midieron una alternativa barata, como un system prompt más estricto o un LLM judge. Solo compararon el escudo encendido y apagado. Siguiente paso - Corran AgentDojo con un modelo real que pueda ser engañado. - Reporten el resultado del escudo separado de Autopatch. Literatura relevante (muy similar, no exhaustiva) - APPA: Recoverable Information-Flow Control for Real-World LLM Agents (2026), arXiv 2607.24625 - Ghost in the Agent: Redefining Information Flow Tracking for LLM Agents (2026), arXiv 2604.23374 Comentario preparado por un jurado con apoyo de Claude Opus 5.5. Verificamos cada punto contra sus propios archivos (se indica archivo y línea) y lo comparamos con trabajos publicados.

  2. Propuesta relevante para la seguridad de agentes, con un enfoque de control determinista de flujos de información y autorización de acciones críticas que busca reducir la dependencia de detectores probabilísticos. Se destaca el diseño de evaluación factorial, la intención de medir consecuencias observables y la consideración explícita de la utilidad del agente. Sin embargo, la principal limitación es que el benchmark completo no se ejecutó, por lo que los resultados parciales no permiten establecer la efectividad general de la defensa. Recomendamos completar las pruebas por familia de ataque, incorporar ablaciones para distinguir el efecto de RBAC y TaintWarden, y evaluar los canales de salida que actualmente quedan fuera del control. También sería importante diferenciar las garantías deterministas de una política concreta de la seguridad integral del agente. El proyecto tiene potencial, pero necesita mayor evidencia experimental.

  3. El problema esta delimitado a un caso particular, lo cual es bueno.

Citar este proyecto

BibTeX

@misc{jahir2026seguridad,
  title={{Seguridad de agentes: del bloqueo probabilístico al determinista}},
  author={Brandon Jahir Cabra and César Rivas and Julio Rodríguez Buelvas and Jonathan Meza and Adriana La Rotta},
  year={2026},
  month={November},
  note={Presentado al Defensive Acceleration Hackathon, AI Safety Colombia, Bogotá},
  howpublished={\url{https://aisafetycolombia.org/defacchackathon/proyectos/centinela-z13}},
  url={https://aisafetycolombia.org/defacchackathon/proyectos/centinela-z13}
}

Más del Defensive Acceleration Hackathon

Ver todos los proyectos →