Zguoxu/tiny-transformer-from-scratch
Recurso
¿Es de fiar?
Nuestras comprobaciones no ven nada raro.
Estrellas de cuentas reales Sin datos
Todavía no hemos comprobado si sus estrellas son falsas.
Activo Bien
Último cambio hace 14 días.
Licencia Bien
MIT: puedes usarlo gratis, también en un producto comercial. Conserva el aviso de licencia.
Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.
Qué es
Un Transformer pequeño implementado desde cero en PyTorch, sin nn.Transformer ni nn.MultiheadAttention, que cubre embeddings, codificación posicional, atención multicabezal, codificador, decodificador, entrenamiento y generación voraz. Incluye una demostración de traducción del…
Para quién es
Estudiantes con conocimientos básicos de PyTorch que quieran entender los cálculos internos de un Transformer para traducción automática
Cómo usarlo
Instalación
python -m pip install -r requirements.txtSacado de su README. Compruébalo allí antes de ejecutarlo.
Pide a tu IA que lo instale
Pega esto en Claude, ChatGPT o tu asistente de programación.
Ayúdame a instalar y configurar Zguoxu/tiny-transformer-from-scratch en mi proyecto. Sigue su README: https://github.com/Zguoxu/tiny-transformer-from-scratch. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.
Curva de estrellas
Recibe alertas de repos como este
Te escribimos cuando algo de Modelos e inferencia empiece a subir. Gratis, una vez por semana, solo lo que encaja.
Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad
Para quien mantiene el repo
Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.
[](https://repoalerts.com/repo/Zguoxu/tiny-transformer-from-scratch?ref=badge)Repos parecidos
- aa1143/NamiGPT
Un tutorial paso a paso, en chino, que construye GPT-2 desde cero en PyTorch sin usar módulos Transformer existentes. Recorre la tokenización, los embeddings, la atención y los bloques con un ejemplo
- prabeakarve/microgpt
Implementación de GPT sin dependencias en NumPy puro, con tokenizador a nivel de byte, autoatención multicabeza causal, pasada hacia atrás escrita a mano, entrenamiento con AdamW con calentamiento y p
- Interactive-Active-AI/NextTransformer
Un marco de investigación y benchmark para comparar arquitecturas Transformer con un presupuesto de entrenamiento fijo. Entrena variantes de profundidad recurrente, atención dispersa y lineal, variant
- YeonwooSung/llm-architecture-from-scratch
Una colección de implementaciones desde cero en PyTorch de arquitecturas de LLM modernas, como GPT-2 XL, variantes de Llama, DeepSeek V3, Qwen3 y Gemma 3. Una tabla comparativa recoge para cada modelo
- SheepSeb/tinyworldformer
Proyecto en Rust que ejecuta dos redes neuronales pequeñas en una Raspberry Pi Pico 2 W: un modelo del mundo basado en un transformador en bucle que genera fotogramas y recompensas de un juego, y un a
- datawhalechina/zero-to-sglang
Un curso gratuito y bilingüe (inglés y chino) sobre inferencia de LLM. Cubre conceptos como la caché KV o el prefill y el decode, y te guía paso a paso para construir un mini-sglang, leer el código fu