garrytan/g-harness-evals
Recurso
¿Es de fiar?
Conviene mirarlo con calma antes de usarlo.
Avisos Revisa
Muy nuevo: se creó hace 12 días. Espera un poco antes de instalarlo.
Estrellas de cuentas reales Sin datos
Todavía no hemos comprobado si sus estrellas son falsas.
Activo Bien
Último cambio ayer.
Licencia Bien
MIT: puedes usarlo gratis, también en un producto comercial. Conserva el aviso de licencia.
Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.
Qué es
Un benchmark que compara arneses de agentes de IA (el prompt de sistema, las herramientas y la memoria que envuelven a un modelo) con el mismo modelo y las mismas tareas, midiendo tasa de éxito, coste por tarea resuelta y tiempo. Recoge resultados de programación en 52 tareas de…
Para quién es
Desarrolladores que eligen un arnés de agente de programación con IA y comparan el coste por tarea resuelta
Cómo usarlo
Pide a tu IA que lo instale
Pega esto en Claude, ChatGPT o tu asistente de programación.
Ayúdame a instalar y configurar garrytan/g-harness-evals en mi proyecto. Sigue su README: https://github.com/garrytan/g-harness-evals. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.
Curva de estrellas
Recibe alertas de repos como este
Te escribimos cuando algo de Agentes de IA empiece a subir. Gratis, una vez por semana, solo lo que encaja.
Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad
Para quien mantiene el repo
Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.
[](https://repoalerts.com/repo/garrytan/g-harness-evals?ref=badge)Repos parecidos
- google-research/harness2
Un marco en Python para la optimización recursiva de harnesses de agentes, que refina los prompts, herramientas, memoria y orquestación que rodean a un modelo con pesos fijos. Ejecuta un bucle propose
- pzs19/HarnessPro
Un marco que mejora de forma recursiva el harness de un agente de IA (sus instrucciones, herramientas y políticas de ejecución) mediante el diagnóstico de trazas de ejecución y la selección de cambios
- rsi-gear/gear
Un framework en TypeScript que optimiza los harnesses de agentes de IA (instrucciones, herramientas, flujos de trabajo y ajustes del modelo) sobre un benchmark de tareas. Un agente Meta analiza las tr
- YuhuaJiang2002/HarnessMM
Implementación de investigación de HarnessMM, que reutiliza decisiones que un agente ya ha tomado: una llamada lenta al modelo registra acciones futuras de herramientas en un grafo de decisiones, y co
- zgcagi/Harness-RSI
Un survey y una lista de lectura complementaria sobre cómo la experiencia de ejecución se convierte en estado persistente del harness para un modelo base fijo. Cubre objetivos de actualización, búsque
- IsuruMaduranga/harness-engineering-101
Serie de libros en Markdown que explica cómo funcionan los agentes de IA construyendo un arnés de prueba de unas 300 líneas en Python puro. Abarca el array de mensajes, las llamadas a herramientas, el