Proyecto de hackatón14 nov 2026BogotáTrack 1: Seguridad de agentes

Agente Auditor de Confianza Cero

Santiago Gómez Ordóñez, Sergio Alejandro Castaño Arcila, Angie Camila Gutiérrez Trujillo y Johan Camilo Murcia Valencia

Presentado al Defensive Acceleration Hackathon. Es un trabajo temprano de sus participantes y no una publicación de AI Safety Colombia.

Resumen

Problema. Los agentes de IA que leen documentos externos y tienen acceso a datos sensibles son vulnerables a la inyección indirecta de instrucciones: una orden escondida en un pliego, una factura, un PDF o una imagen los convierte en cómplices que abren expedientes reservados y los sacan. En nuestras pruebas, un agente único sin defensas causó daño en el 96 % de 338 ataques.

Lo que construimos. Un Agente Auditor de Confianza Cero para contratación pública. Lo dividimos en tres compartimentos: un Orquestador que fija el plan antes de leer datos externos y no tiene herramientas, una Aduana que lee lo externo sin acceso a la bóveda y un Trabajador de Bóveda que lee lo reservado sin red. Un broker determinista, sin IA, es el único camino a las herramientas: tokens firmados de un solo uso, taint que impide que lo reservado salga a la red y canaries. La Aduana filtra cada documento con regex y Galvanize-3, un clasificador de Hugging Face, y lee las imágenes con WARD-2b.

Evidencia. En 614 casos (338 ataques) contra un atacante simulado que obedece toda inyección, el daño baja de 0.96 a 0.00. Sin filtro, el modelo fue secuestrado en los 338 ataques y ninguno causó daño. El filtro bloquea el 84 % de los ataques antes de que un modelo los vea, con 13 % de falsos bloqueos (utilidad 0.87). Con llama3 real, en una muestra pequeña de 16 casos: 2/8 ataques con daño sin defensas y 0/8 con nuestro sistema.


Comentarios del jurado

Escritos por el jurado durante la evaluación. Se publican sin nombre, sin nota y en orden aleatorio.

  1. Propuesta técnicamente sólida y relevante, con una arquitectura de separación de privilegios, control determinista de herramientas y restricciones de flujo de información que busca contener ataques incluso cuando el LLM obedece instrucciones maliciosas. Destacan las pruebas de extremo a extremo, las ablaciones que aíslan el efecto de la arquitectura y la verificación de consecuencias observables. Como oportunidades de mejora, recomendamos ampliar la evaluación con agentes y modelos reales, fortalecer el aislamiento entre componentes y publicar la evidencia experimental completa. También sería importante diferenciar con mayor precisión las contribuciones propias frente a arquitecturas existentes como CaMeL. Es un proyecto prometedor, especialmente por su enfoque de seguridad por diseño.

  2. TL;DR: La arquitectura contiene los ataques. El filtro de detección no suma seguridad medible. Qué funciona - La arquitectura sola contiene los 338 ataques obedecidos, sin perder utilidad. (docs/RESULTS.md, línea 65) - Las inyecciones en base64 pasan el detector, pero la arquitectura igual las contiene. (docs/benchmarks/ml_20261114/report.md, línea 66) Qué limita la evidencia - El threshold del filtro se ajustó sobre el mismo test set que reportan. (docs/RESULTS.md, línea 150) - La prueba con un modelo real tiene solo 16 casos, sin datos por caso. (docs/PITCH.md, línea 49) Baseline más barato - Sin el filtro, la arquitectura logra 0 ataques exitosos y mejor utilidad. El filtro parece innecesario. (docs/benchmark_e2e/latest/report.md, línea 16) Siguiente paso - Separen un held-out set que nadie vea antes de fijar el threshold. - Prueben un adaptive attacker que use el canal de tamaño y tiempo que ustedes señalan. Literatura relevante (muy similar, no exhaustiva) - Defeating Prompt Injections by Design (CaMeL) (2025), arXiv 2503.18813 - Progent: Securing AI Agents with Privilege Control (2025), arXiv 2504.11703 Comentario preparado por un jurado con apoyo de Claude Opus 5.5. Verificamos cada punto contra sus propios archivos (se indica archivo y línea) y lo comparamos con trabajos publicados.

  3. con un método tan efectivo sería bueno tener una medición de que tanto afecta a un modelo ese prompt injection

  4. El problema esta bien delimitado enfocado en la contratación publica, sin embargo en la solución nunca vuelven al problema, parece una solucion genial.

Citar este proyecto

BibTeX

@misc{gomez2026agente,
  title={{Agente Auditor de Confianza Cero}},
  author={Santiago Gómez Ordóñez and Sergio Alejandro Castaño Arcila and Angie Camila Gutiérrez Trujillo and Johan Camilo Murcia Valencia},
  year={2026},
  month={November},
  note={Presentado al Defensive Acceleration Hackathon, AI Safety Colombia, Bogotá},
  howpublished={\url{https://aisafetycolombia.org/defacchackathon/proyectos/no-prompt-no-party}},
  url={https://aisafetycolombia.org/defacchackathon/proyectos/no-prompt-no-party}
}

Más del Defensive Acceleration Hackathon

Ver todos los proyectos →