affifuddin-hazam/ghost-infer
App
¿Es de fiar?
Nuestras comprobaciones no ven nada raro.
Estrellas de cuentas reales Sin datos
Todavía no hemos comprobado si sus estrellas son falsas.
Activo Bien
Último cambio hace 3 días.
Licencia Bien
Apache-2.0: puedes usarlo gratis, también en un producto comercial. Conserva el aviso de licencia.
Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.
Qué es
Motor de inferencia de LLM local escrito en Rust para GPU NVIDIA, que ejecuta modelos GGUF, ofrece una API compatible con OpenAI con streaming y llamadas a herramientas, e incluye una aplicación de escritorio para Windows con un agente de chat y edición de archivos.
Para quién es
Desarrolladores y usuarios avanzados que ejecutan modelos de lenguaje grandes en local en una única GPU NVIDIA de consumo
Cómo usarlo
Instalación
cargo build --releaseSacado de su README. Compruébalo allí antes de ejecutarlo.
Los instaladores, cuando el proyecto los publica, están en su última versión (release).
Pide a tu IA que lo instale
Pega esto en Claude, ChatGPT o tu asistente de programación.
Ayúdame a instalar y configurar affifuddin-hazam/ghost-infer en mi proyecto. Sigue su README: https://github.com/affifuddin-hazam/ghost-infer. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.
Curva de estrellas
Alternativas
Proyectos parecidos que cita su ficha. Cada enlace busca en el directorio.
Recibe alertas de repos como este
Te escribimos cuando algo de Modelos e inferencia empiece a subir. Gratis, una vez por semana, solo lo que encaja.
Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad
Para quien mantiene el repo
Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.
[](https://repoalerts.com/repo/affifuddin-hazam/ghost-infer?ref=badge)Repos parecidos
- RustingStudio/RustingStrata
Motor de inferencia escrito en Rust puro para modelos GGUF de mezcla de expertos de la familia Qwen3.5/3.6, con kernels CUDA compilados en tiempo de ejecución mediante NVRTC y un backend Vulkan. Ejecu
- Veloresearch/kinetic
Un motor de inferencia escrito en Rust que ejecuta modelos en formato GGUF, el formato de llama.cpp, en CPU y en GPU de NVIDIA, AMD e Intel desde un único binario. Incluye decodificación especulativa
- NVIDIA/hyperflare-inference
Servidor de inferencia local para GPU NVIDIA SM120/SM121, orientado a conversaciones largas, agentes de programación y uso repetido de herramientas. Los modelos se preparan en tiempo de compilación co
- dangxingyu/megakernel-zoo
Colección de motores de inferencia para LLM, cada uno formado por un único kernel persistente de GPU diseñado para un checkpoint y una GPU concretos, escrito por un agente de programación. Incluye un
- wici-ai/inferssd
Ejecuta modelos GGUF grandes de mezcla de expertos que superan la RAM o la VRAM disponibles, transmitiendo los pesos de los expertos desde el SSD. Está basado en llama.cpp e incluye un chat en termina
- ashhart/TensorFold
Un motor de inferencia escrito en Zig que sirve modelos de lenguaje en Apple Silicon y GPUs NVIDIA mediante kernels de Metal y CUDA. Lee los checkpoints, tokeniza las peticiones y ofrece las APIs de c