parallel-web/parallel-search-evals
¿Es de fiar?
Conviene mirarlo con calma antes de usarlo.
Avisos Revisa
Muy nuevo: se creó ayer. Espera un poco antes de instalarlo.
Estrellas de cuentas reales Sin datos
Todavía no hemos comprobado si sus estrellas son falsas.
Activo Bien
Último cambio hoy.
Licencia Bien
MIT: puedes usarlo gratis, también en un producto comercial. Conserva el aviso de licencia.
Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.
Qué es
Arnés en Python para evaluar modelos de lenguaje con las herramientas Search y Extract de Parallel frente a una línea base sin búsqueda, usando los benchmarks DeepSearchQA y Humanity's Last Exam con un juez de OpenAI. Las ejecuciones se lanzan desde una CLI, un modelo, un…
Para quién es
Investigadores y desarrolladores que evalúan LLM con herramientas de búsqueda web en DeepSearchQA o HLE
Cómo usarlo
Instalación
uv sync --frozen --python 3.12Sacado de su README. Compruébalo allí antes de ejecutarlo.
Pide a tu IA que lo instale
Pega esto en Claude, ChatGPT o tu asistente de programación.
Ayúdame a instalar y configurar parallel-web/parallel-search-evals en mi proyecto. Sigue su README: https://github.com/parallel-web/parallel-search-evals. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.
Curva de estrellas
Recibe alertas de repos como este
Te escribimos cuando algo de Modelos e inferencia empiece a subir. Gratis, una vez por semana, solo lo que encaja.
Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad
Para quien mantiene el repo
Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.
[](https://repoalerts.com/repo/parallel-web/parallel-search-evals?ref=badge)Repos parecidos
- awslabs/ai-eval-studio
Plataforma prototipo de evaluación de LLM de extremo a extremo. Subes un conjunto de datos en CSV o Excel, describes tu objetivo en un chat con un agente coordinador y el sistema ejecuta evaluaciones
- antins-labs/VisSearch-Bench-v1
Un benchmark de 204 tareas redactadas por personas para evaluar cómo los agentes multimodales mantienen el seguimiento de la evidencia visual en secuencias largas de búsqueda visual. Incluye el cargad
- apple-aiml-research/ml-rsi-inference-bench
Un banco de pruebas de horizonte largo para agentes de programación que mejoran la pila de inferencia de modelos de lenguaje grandes en vLLM o SGLang. Las tareas abarcan dar soporte a un modelo el día
- phonny40rowle/rag-search
Un servicio FastAPI autoalojado para búsqueda aumentada con recuperación. Combina búsqueda web mediante Serper, extracción de contenido, embeddings almacenados en Zilliz y generación de respuestas a t
- Prophetlab/Investor-Last-Exam
Un banco de pruebas para evaluar agentes de IA en la investigación de inversiones en renta variable, mediante un corpus congelado en el tiempo que solo muestra la información disponible en una fecha h
- garrytan/g-harness-evals
Un benchmark que compara arneses de agentes de IA (el prompt de sistema, las herramientas y la memoria que envuelven a un modelo) con el mismo modelo y las mismas tareas, midiendo tasa de éxito, coste