awslabs/ai-eval-studio
App
¿Es de fiar?
Nuestras comprobaciones no ven nada raro.
Estrellas de cuentas reales Sin datos
Todavía no hemos comprobado si sus estrellas son falsas.
Activo Bien
Último cambio hace 12 días.
Licencia Bien
Apache-2.0: puedes usarlo gratis, también en un producto comercial. Conserva el aviso de licencia.
Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.
Qué es
Plataforma prototipo de evaluación de LLM de extremo a extremo. Subes un conjunto de datos en CSV o Excel, describes tu objetivo en un chat con un agente coordinador y el sistema ejecuta evaluaciones sobre modelos candidatos en Amazon Bedrock, optimiza iterativamente el prompt…
Para quién es
Ingenieros de ML y desarrolladores que evalúan prompts y modelos LLM en Amazon Bedrock y quieren un arnés de evaluación ejecutable en CI
Cómo usarlo
Instalación
cd backend && uv syncSacado de su README. Compruébalo allí antes de ejecutarlo.
Los instaladores, cuando el proyecto los publica, están en su última versión (release).
Pide a tu IA que lo instale
Pega esto en Claude, ChatGPT o tu asistente de programación.
Ayúdame a instalar y configurar awslabs/ai-eval-studio en mi proyecto. Sigue su README: https://github.com/awslabs/ai-eval-studio. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.
Curva de estrellas
En el radar
Su puesto entre los 100 primeros del radar, día a día, con el n.º 1 arriba. Los huecos son días en que estuvo fuera.
Logros
- Mejor puesto en RepoAlerts: n.º 16, el 18 nov 2026
Alternativas
Proyectos parecidos que cita su ficha. Cada enlace busca en el directorio.
Recibe alertas de repos como este
Te escribimos cuando algo de Modelos e inferencia empiece a subir. Gratis, una vez por semana, solo lo que encaja.
Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad
Para quien mantiene el repo
Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.
[](https://repoalerts.com/repo/awslabs/ai-eval-studio?ref=badge)Repos parecidos
- hyperionaidev/smolmaxxing
Un proyecto de investigación que ejecuta modelos de lenguaje grandes en dispositivos de bajo consumo, como cajas de TV y tablets antiguas. Parchea llama.cpp con kernels propios, menor uso de memoria y
- NVIDIA/cuPotential
Biblioteca CUDA-X para el cálculo eficiente de interacciones moleculares de los campos de fuerza estándar de dinámica molecular. Incluye un plugin para OpenMM con fuerzas no enlazantes, un integrador
- lalipa2003-arch/JailbreakHub
Recopilación de prompts y técnicas presentados como capaces de eludir los filtros de seguridad de LLM, reunidos de foros en línea y redactados por los mantenedores. El README indica que están pensados
- n4ze3m/tiny-voca
Un modelo de texto a voz en inglés de 4,5 millones de parámetros, con dos voces (F2 femenina y M2 masculina) a 24 kHz. Entrenado desde cero, funciona en CPU, con PyTorch, ONNX Runtime o en el navegado
- higurashi-ai/Haru
Un modelo de diálogo hablado de baja latencia y multilingüe, con comunicación full-duplex que escucha y habla a la vez en tramos de 133 ms a 7,5 Hz. Ofrece implementaciones en PyTorch, MLX (Apple sili
- basetenlabs/deepseek-ultrafast
Un motor de inferencia para DeepSeek-V4.1-Flash en GPU NVIDIA sm_100a y sm_103a, con contexto de 1M de tokens y compartición de caché KV entre servidores mediante RDMA, coordinada con Redis. Incluye u