RepoAlerts

samir-sarwar/samir-vllm

Recurso

¿Es de fiar?

Ten cuidado con este.

  • Estrellas de cuentas reales Sin datos

    Todavía no hemos comprobado si sus estrellas son falsas.

  • Activo Bien

    Último cambio hace 12 días.

  • Licencia Cuidado

    Sin licencia: legalmente no puedes reutilizar el código, salvo que el README diga otra cosa.

Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.

Qué es

Un motor de inferencia de LLM con fines didácticos, escrito en C++17 y CUDA, que ejecuta Llama 3.2 1B Instruct. Carga los pesos de safetensors en la GPU, implementa tokenizador, prefill y decode con caché KV paginada y generación voraz por lotes, y incluye tutoriales en vídeo y…

Para quién es

Desarrolladores y estudiantes que quieran entender el funcionamiento interno de la inferencia de LLM leyendo una implementación pequeña en C++ y CUDA

Cómo usarlo

Pide a tu IA que lo instale

Pega esto en Claude, ChatGPT o tu asistente de programación.

Ayúdame a instalar y configurar samir-sarwar/samir-vllm en mi proyecto. Sigue su README: https://github.com/samir-sarwar/samir-vllm. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.

Leer el README

Curva de estrellas

223De 0 a 223 estrellas entre el 6 oct 2026 y el 16 nov 2026.

En el radar

10 nov 2026: #48
Mejor puesto: n.º 48, el 10 nov 2026. Entre los 100 primeros 1 de los últimos 30 días.

Su puesto entre los 100 primeros del radar, día a día, con el n.º 1 arriba. Los huecos son días en que estuvo fuera.

Logros

  • Mejor puesto en RepoAlerts: n.º 48, el 10 nov 2026
  • En la portada de Hacker News el 9 nov 2026

Alternativas

Proyectos parecidos que cita su ficha. Cada enlace busca en el directorio.

En Hacker News

Recibe alertas de repos como este

Te escribimos cuando algo de Modelos e inferencia empiece a subir. Gratis, una vez por semana, solo lo que encaja.

Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad

Para quien mantiene el repo

Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.

[![samir-sarwar/samir-vllm on RepoAlerts](https://repoalerts.com/badge/samir-sarwar/samir-vllm.svg)](https://repoalerts.com/repo/samir-sarwar/samir-vllm?ref=badge)
Compartir en X

  • Veloresearch/kinetic

    Un motor de inferencia escrito en Rust que ejecuta modelos en formato GGUF, el formato de llama.cpp, en CPU y en GPU de NVIDIA, AMD e Intel desde un único binario. Incluye decodificación especulativa

    Herramienta de terminalModelos e inferenciaRust · 90 estrellas · +89 esta semana · 6 días

  • apple-aiml-research/ml-rsi-inference-bench

    Un banco de pruebas de horizonte largo para agentes de programación que mejoran la pila de inferencia de modelos de lenguaje grandes en vLLM o SGLang. Las tareas abarcan dar soporte a un modelo el día

    Agentes de IAPython · 166 estrellas · +26 esta semana · 31 días

  • JakeATX/llamAmpere

    Una bifurcación de llama.cpp optimizada para las GPU Ampere de NVIDIA de la serie RTX 30, especialmente las RTX 3090 y 3090 Ti. Ejecuta modelos Qwen3.8, incluido Qwen3.8-27B con su cabezal de borrador

    AppModelos e inferenciaC++ · 383 estrellas · +83 esta semana · 70 días

  • datawhalechina/zero-to-sglang

    Un curso gratuito y bilingüe (inglés y chino) sobre inferencia de LLM. Cubre conceptos como la caché KV o el prefill y el decode, y te guía paso a paso para construir un mini-sglang, leer el código fu

    RecursoInfraestructuraPython · 2143 estrellas · +402 esta semana · 82 días

  • manuelgscom/inside-llm

    Un binario nativo que carga uno o dos modelos GGUF con llama.cpp y muestra en el navegador las probabilidades de cada token, las alternativas descartadas, el efecto de los muestreadores y el token don

    AppModelos e inferenciaTypeScript · 70 estrellas · +70 esta semana · 1 día

  • Betelgeuse-AI/Betelgeuse

    Una bifurcación de llama.cpp que ejecuta modelos de mezcla de expertos más grandes que la memoria de la GPU en una RTX 3060 de 12 GB. Los pesos densos se mantienen en la GPU y los expertos enrutados s

    AppModelos e inferenciaC++ · 154 estrellas · +31 esta semana · 16 días