manuelgscom/inside-llm
App
¿Es de fiar?
Conviene mirarlo con calma antes de usarlo.
Avisos Revisa
Muy nuevo: se creó ayer. Espera un poco antes de instalarlo.
Estrellas de cuentas reales Sin datos
Todavía no hemos comprobado si sus estrellas son falsas.
Activo Bien
Último cambio hoy.
Licencia Bien
MIT: puedes usarlo gratis, también en un producto comercial. Conserva el aviso de licencia.
Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.
Qué es
Un binario nativo que carga uno o dos modelos GGUF con llama.cpp y muestra en el navegador las probabilidades de cada token, las alternativas descartadas, el efecto de los muestreadores y el token donde las salidas de dos modelos divergen. Se ejecuta en local con CUDA o Vulkan…
Para quién es
Ingenieros de ML e investigadores que comparan cuantizaciones o ajustes finos de modelos GGUF, y desarrolladores que estudian el muestreo de LLM locales
Cómo usarlo
Instalación
./inside-llm-v1.0.0-linux-vulkan/inside-llmSacado de su README. Compruébalo allí antes de ejecutarlo.
Los instaladores, cuando el proyecto los publica, están en su última versión (release).
Pide a tu IA que lo instale
Pega esto en Claude, ChatGPT o tu asistente de programación.
Ayúdame a instalar y configurar manuelgscom/inside-llm en mi proyecto. Sigue su README: https://github.com/manuelgscom/inside-llm. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.
Curva de estrellas
Alternativas
Proyectos parecidos que cita su ficha. Cada enlace busca en el directorio.
Recibe alertas de repos como este
Te escribimos cuando algo de Modelos e inferencia empiece a subir. Gratis, una vez por semana, solo lo que encaja.
Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad
Para quien mantiene el repo
Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.
[](https://repoalerts.com/repo/manuelgscom/inside-llm?ref=badge)Repos parecidos
- JakeATX/llamAmpere
Una bifurcación de llama.cpp optimizada para las GPU Ampere de NVIDIA de la serie RTX 30, especialmente las RTX 3090 y 3090 Ti. Ejecuta modelos Qwen3.8, incluido Qwen3.8-27B con su cabezal de borrador
- Veloresearch/kinetic
Un motor de inferencia escrito en Rust que ejecuta modelos en formato GGUF, el formato de llama.cpp, en CPU y en GPU de NVIDIA, AMD e Intel desde un único binario. Incluye decodificación especulativa
- huawei-csl/MACaQ
Un conjunto de herramientas de cuantización independiente del modelo que cuantiza modelos de texto, imagen, vídeo y audio a formatos de baja precisión, incluidos GGUF de 2, 3 y 4 bits para llama.cpp y
- samir-sarwar/samir-vllm
Un motor de inferencia de LLM con fines didácticos, escrito en C++17 y CUDA, que ejecuta Llama 3.2 1B Instruct. Carga los pesos de safetensors en la GPU, implementa tokenizador, prefill y decode con c
- cobanov/PS5LM
Una aplicación homebrew para PS5 que ejecuta llama.cpp en la GPU de la consola y sirve modelos GGUF mediante APIs HTTP compatibles con OpenAI y Anthropic en la red local, con una interfaz para la tele
- orailnoor/cross-platform-llm-client
Cliente de chat en Flutter para Android e iOS que ejecuta modelos de lenguaje en formato GGUF directamente en el dispositivo mediante llama.cpp, con aceleración Vulkan o Metal, y que también se conect