samir-sarwar/samir-vllm
Recurso
¿Es de fiar?
Ten cuidado con este.
Estrellas de cuentas reales Sin datos
Todavía no hemos comprobado si sus estrellas son falsas.
Activo Bien
Último cambio hace 12 días.
Licencia Cuidado
Sin licencia: legalmente no puedes reutilizar el código, salvo que el README diga otra cosa.
Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.
Qué es
Un motor de inferencia de LLM con fines didácticos, escrito en C++17 y CUDA, que ejecuta Llama 3.2 1B Instruct. Carga los pesos de safetensors en la GPU, implementa tokenizador, prefill y decode con caché KV paginada y generación voraz por lotes, y incluye tutoriales en vídeo y…
Para quién es
Desarrolladores y estudiantes que quieran entender el funcionamiento interno de la inferencia de LLM leyendo una implementación pequeña en C++ y CUDA
Cómo usarlo
Pide a tu IA que lo instale
Pega esto en Claude, ChatGPT o tu asistente de programación.
Ayúdame a instalar y configurar samir-sarwar/samir-vllm en mi proyecto. Sigue su README: https://github.com/samir-sarwar/samir-vllm. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.
Curva de estrellas
En el radar
Su puesto entre los 100 primeros del radar, día a día, con el n.º 1 arriba. Los huecos son días en que estuvo fuera.
Logros
- Mejor puesto en RepoAlerts: n.º 48, el 10 nov 2026
- En la portada de Hacker News el 9 nov 2026
Alternativas
Proyectos parecidos que cita su ficha. Cada enlace busca en el directorio.
En Hacker News
- 6 Hours of YouTube and 85 handtyped pages of notes on LLM Inference – Start here80 puntos · 12 comentarios · 9 nov 2026
Recibe alertas de repos como este
Te escribimos cuando algo de Modelos e inferencia empiece a subir. Gratis, una vez por semana, solo lo que encaja.
Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad
Para quien mantiene el repo
Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.
[](https://repoalerts.com/repo/samir-sarwar/samir-vllm?ref=badge)Repos parecidos
- Veloresearch/kinetic
Un motor de inferencia escrito en Rust que ejecuta modelos en formato GGUF, el formato de llama.cpp, en CPU y en GPU de NVIDIA, AMD e Intel desde un único binario. Incluye decodificación especulativa
- apple-aiml-research/ml-rsi-inference-bench
Un banco de pruebas de horizonte largo para agentes de programación que mejoran la pila de inferencia de modelos de lenguaje grandes en vLLM o SGLang. Las tareas abarcan dar soporte a un modelo el día
- JakeATX/llamAmpere
Una bifurcación de llama.cpp optimizada para las GPU Ampere de NVIDIA de la serie RTX 30, especialmente las RTX 3090 y 3090 Ti. Ejecuta modelos Qwen3.8, incluido Qwen3.8-27B con su cabezal de borrador
- datawhalechina/zero-to-sglang
Un curso gratuito y bilingüe (inglés y chino) sobre inferencia de LLM. Cubre conceptos como la caché KV o el prefill y el decode, y te guía paso a paso para construir un mini-sglang, leer el código fu
- manuelgscom/inside-llm
Un binario nativo que carga uno o dos modelos GGUF con llama.cpp y muestra en el navegador las probabilidades de cada token, las alternativas descartadas, el efecto de los muestreadores y el token don
- Betelgeuse-AI/Betelgeuse
Una bifurcación de llama.cpp que ejecuta modelos de mezcla de expertos más grandes que la memoria de la GPU en una RTX 3060 de 12 GB. Los pesos densos se mantienen en la GPU y los expertos enrutados s