Proyecto de hackatón14 nov 2026BogotáTrack 6: Riesgos multiagente

Quórum: procedencia y compuerta determinista contra fugas repartidas entre agentes de IA

Jhostin Sánchez, Laura Isabel Zabaleta Manrique, Julián Lizcano, Hermann Galvis y Thomas Chisica

Presentado al Defensive Acceleration Hackathon. Es un trabajo temprano de sus participantes y no una publicación de AI Safety Colombia.

Resumen

Quórum es una compuerta determinista que se pone delante de cualquier pipeline de agentes. No le pregunta a un modelo si algo es peligroso: sigue de dónde viene cada dato. Cada lectura deja una etiqueta (secreto, no confiable) que se propaga a lo que el agente escribe, y una política escrita por quien opera el sistema dice qué puede salir por cada sumidero. Lo que la viola, la compuerta lo detiene.

En una licitación pública sintética con tres agentes, cuando uno, dos o los tres se coluden para filtrar el valor de una oferta sellada, sin defensa se filtró en 16 de 30 ataques; la compuerta bloqueó las 16 fugas y ninguno de los 60 episodios honestos. Para no evaluarnos solo con ataques propios, reprodujimos 7127 trazas de AgentDojo (banca), un benchmark externo de inyección de prompt, con la política congelada antes de verlas: en el corte principal los ataques que llegan a una acción crítica bajan de 90 de 144 a 0, y 16 de 25 tareas limpias siguen funcionando, frente a 1 de 144 y 9 de 25 del detector DeBERTa.

Límites: la compuerta es correcta por construcción dentro de su política; su valor está en no depender de un modelo. Su costo depende del agente: si un agente honesto abre ofertas por una inyección, como gpt-4o-mini, frena publicaciones correctas en 50 de 120 episodios con inyección. Y con los puntajes publicados, un oferente rival deduce el monto sellado con un error de 0,04 %.


Comentarios del jurado

Escritos por el jurado durante la evaluación. Se publican sin nombre, sin nota y en orden aleatorio.

  1. TL;DR: La compuerta bloquea fugas por construcción. Pero en el caso realista un buen prompt logra lo mismo. Qué funciona - En 7127 trazas externas de AgentDojo, la regla detuvo 1506 de 1521 secuestros (99 %). (quorum/eval/agentdojo/RESULTADOS.md, línea 43) - Nueve formas de disfrazar el valor fueron bloqueadas. La etiqueta sigue el origen, no el texto. (docs/intentos-de-evasion.md, línea 11) Qué limita la evidencia - El pre-registro fue tardío y no ciego. Se congeló después de ver puntajes. (datos/README.md, línea 22) - Los contenedores de los agentes tienen salida a internet sin filtro. (docs/uso-responsable.md, línea 8) Baseline más barato - Con un buen prompt hubo 0 fugas en 600 episodios. Un monitor LLM por agente también detectó 16 de 16 fugas. (docs/resultados-monitores.md, línea 216) Siguiente paso - Prueben agentes coludidos que se adapten a la compuerta. - Reporten el costo en tareas limpias bloqueadas junto al resultado principal. Literatura relevante (muy similar, no exhaustiva) - Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors (2026), arXiv 2607.07368 - Securing AI Agents with Information-Flow Control (FIDES) (2025), arXiv 2505.23643 Comentario preparado por un jurado con apoyo de Claude Opus 5.5. Verificamos cada punto contra sus propios archivos (se indica archivo y línea) y lo comparamos con trabajos publicados.

  2. El problema de la colusión es adecuado, pertinente y riesgoso en MA.

Citar este proyecto

BibTeX

@misc{sanchez2026quorum,
  title={{Quórum: procedencia y compuerta determinista contra fugas repartidas entre agentes de IA}},
  author={Jhostin Sánchez and Laura Isabel Zabaleta Manrique and Julián Lizcano and Hermann Galvis and Thomas Chisica},
  year={2026},
  month={November},
  note={Presentado al Defensive Acceleration Hackathon, AI Safety Colombia, Bogotá},
  howpublished={\url{https://aisafetycolombia.org/defacchackathon/proyectos/quorum}},
  url={https://aisafetycolombia.org/defacchackathon/proyectos/quorum}
}

Más del Defensive Acceleration Hackathon

Ver todos los proyectos →