NVIDIA/local-inference
App
¿Es de fiar?
Conviene mirarlo con calma antes de usarlo.
Avisos Revisa
Muy nuevo: se creó hace 7 días. Espera un poco antes de instalarlo.
Estrellas de cuentas reales Sin datos
Todavía no hemos comprobado si sus estrellas son falsas.
Activo Bien
Último cambio hoy.
Licencia Bien
Apache-2.0: puedes usarlo gratis, también en un producto comercial. Conserva el aviso de licencia.
Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.
Qué es
Servidor de inferencia local para GPU NVIDIA SM120/SM121, orientado a conversaciones largas, agentes de programación y uso repetido de herramientas. Los modelos se preparan en tiempo de compilación con PyTorch, Transformers y FlashInfer, y los sirve un runtime en Rust (Helios)…
Para quién es
Desarrolladores que ejecutan inferencia local de modelos de lenguaje en estaciones de trabajo NVIDIA SM120/SM121 o en sistemas DGX Spark, sobre todo para agentes de programación
Cómo usarlo
Los instaladores, cuando el proyecto los publica, están en su última versión (release).
Pide a tu IA que lo instale
Pega esto en Claude, ChatGPT o tu asistente de programación.
Ayúdame a instalar y configurar NVIDIA/local-inference en mi proyecto. Sigue su README: https://github.com/NVIDIA/local-inference. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.
Curva de estrellas
En el radar
Su puesto entre los 100 primeros del radar, día a día, con el n.º 1 arriba. Los huecos son días en que estuvo fuera.
Logros
- Mejor puesto en RepoAlerts: n.º 22, el 22 oct 2026
- Entre los 100 primeros 2 días desde el 21 oct 2026
Alternativas
Proyectos parecidos que cita su ficha. Cada enlace busca en el directorio.
Recibe alertas de repos como este
Te escribimos cuando algo de Modelos e inferencia empiece a subir. Gratis, una vez por semana, solo lo que encaja.
21.414 repos de GitHub vigilados y ordenados cada hora. Cifras a 27 de octubre de 2026.
Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad
Para quien mantiene el repo
Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.
[](https://repoalerts.com/repo/NVIDIA/local-inference?ref=badge)Repos parecidos
- jesdga95/basalt
Motor de inferencia local en C++ para el modelo de mezcla de expertos Qwen3.8-Flash-Next en GPU NVIDIA Blackwell (sm_120) bajo Linux y Windows. Los expertos que no caben en la VRAM se mantienen en la
- Indras-Mirror/Xolotl
Motor de inferencia local para LLM grandes de tipo MoE y densos (DeepSeek-V4.1-Flash, GLM-5.3-Flash y modelos Qwen3.8) en una sola GPU NVIDIA, con los pesos de los expertos repartidos entre VRAM, RAM
- prabanta-dev/janas
Un motor de inferencia escrito en C para ejecutar modelos de lenguaje grandes de tipo mezcla de expertos en computadoras corrientes, con o sin GPU. Los pesos permanecen en disco, y los expertos que ne
- VecSzn/PolyStrata
Ejecuta modelos de lenguaje grandes de pesos abiertos en local con una GPU NVIDIA, y expone endpoints de API compatibles con OpenAI y Anthropic en localhost. Incluye un segundo motor de inferencia, ex
- ekzhang/resin
Biblioteca experimental de Python y Rust con bloques de construcción para motores de inferencia de LLM. Ofrece un planificador headless en Rust, una caché KV y un servidor de métricas, y tú escribes l
- Lore-Hex/token-exchange-neocloud-in-a-box
Kit de código abierto para montar un pequeño servidor de inferencia confidencial con GPU: un modelo se ejecuta dentro de una máquina virtual confidencial Intel TDX, con GPU NVIDIA en modo de computaci