kIieret/facebookresearch-ProgramBench
Herramienta de terminal
¿Es de fiar?
Conviene mirarlo con calma antes de usarlo.
Avisos Revisa
Muy nuevo: se creó hace 3 días. Espera un poco antes de instalarlo.
Estrellas de cuentas reales Sin datos
Todavía no hemos comprobado si sus estrellas son falsas.
Activo Bien
Último cambio hace 26 días.
Licencia Bien
MIT: puedes usarlo gratis, también en un producto comercial. Conserva el aviso de licencia.
Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.
Qué es
Un benchmark que evalúa si los agentes de IA son capaces de reconstruir un programa desde cero. Partiendo únicamente de un binario compilado y su documentación, los agentes deben diseñar e implementar una base de código que reproduzca el comportamiento del programa original…
Para quién es
Investigadores y desarrolladores que evalúan agentes de programación y modelos de lenguaje en tareas de ingeniería de software
Cómo usarlo
Instalación
uvx programbench --helpSacado de su README. Compruébalo allí antes de ejecutarlo.
Pide a tu IA que lo instale
Pega esto en Claude, ChatGPT o tu asistente de programación.
Ayúdame a instalar y configurar kIieret/facebookresearch-ProgramBench en mi proyecto. Sigue su README: https://github.com/kIieret/facebookresearch-ProgramBench. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.
Curva de estrellas
Recibe alertas de repos como este
Te escribimos cuando algo de Agentes de IA empiece a subir. Gratis, una vez por semana, solo lo que encaja.
Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad
Para quien mantiene el repo
Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.
[](https://repoalerts.com/repo/kIieret/facebookresearch-ProgramBench?ref=badge)Repos parecidos
- facebookresearch/swe-sweep
Un benchmark que mide cuántos errores pueden encontrar y corregir los modelos de lenguaje y los agentes en repositorios reales de gran tamaño. Los agentes no reciben pistas sobre el tipo de error ni s
- kIieret/SWE-agent-SWE-agent
Un marco de agentes en el que un modelo de lenguaje utiliza herramientas de forma autónoma para resolver incidencias de GitHub en repositorios reales, y otras tareas como retos de ciberseguridad ofens
- TIGER-AI-Lab/WebsiteBench
Un benchmark en el que agentes de IA exploran un sitio web de producción a través de un navegador y deben reconstruir una versión full-stack que coincida con su apariencia y comportamiento. Incluye 70
- aicodeking/leanrea
Un archivo de skill de agente de 8 KB que ofrece a los agentes de programación con IA reglas de enrutamiento y comandos de línea de comandos listos para ejecutar en ingeniería inversa de binarios, app
- Balanov/verdict
Un clasificador local de 197 KB que lee el comando, el código de salida, la salida estándar y la salida de error de una llamada a herramienta de CLI y etiqueta el resultado como success, failure, bloc
- kingdee/lingee-bench
Un marco de evaluación y un benchmark para comprobar si los agentes de IA completan tareas con resultados verificables en sistemas empresariales de tipo ERP. Incluye adaptadores de arneses, proxies de