RepoAlerts

Zguoxu/tiny-transformer-from-scratch

Recurso

¿Es de fiar?

Nuestras comprobaciones no ven nada raro.

  • Estrellas de cuentas reales Sin datos

    Todavía no hemos comprobado si sus estrellas son falsas.

  • Activo Bien

    Último cambio hace 14 días.

  • Licencia Bien

    MIT: puedes usarlo gratis, también en un producto comercial. Conserva el aviso de licencia.

Comprobaciones rápidas con datos públicos. Ayudan, pero no son una garantía.

Qué es

Un Transformer pequeño implementado desde cero en PyTorch, sin nn.Transformer ni nn.MultiheadAttention, que cubre embeddings, codificación posicional, atención multicabezal, codificador, decodificador, entrenamiento y generación voraz. Incluye una demostración de traducción del…

Para quién es

Estudiantes con conocimientos básicos de PyTorch que quieran entender los cálculos internos de un Transformer para traducción automática

Cómo usarlo

Instalación

python -m pip install -r requirements.txt

Sacado de su README. Compruébalo allí antes de ejecutarlo.

Pide a tu IA que lo instale

Pega esto en Claude, ChatGPT o tu asistente de programación.

Ayúdame a instalar y configurar Zguoxu/tiny-transformer-from-scratch en mi proyecto. Sigue su README: https://github.com/Zguoxu/tiny-transformer-from-scratch. Explícame cada paso y comprueba que es seguro antes de ejecutar nada.

Curva de estrellas

103De 0 a 103 estrellas entre el 2 nov 2026 y el 13 nov 2026.

Recibe alertas de repos como este

Te escribimos cuando algo de Modelos e inferencia empiece a subir. Gratis, una vez por semana, solo lo que encaja.

Qué te llega: un email los lunes con los repos que encajan, nunca más. Mira el de la semana pasada. Privacidad

Para quien mantiene el repo

Pon esta insignia en tu README. Muestra el puesto del repo en el radar, se actualiza cada hora y enlaza a esta página.

[![Zguoxu/tiny-transformer-from-scratch on RepoAlerts](https://repoalerts.com/badge/Zguoxu/tiny-transformer-from-scratch.svg)](https://repoalerts.com/repo/Zguoxu/tiny-transformer-from-scratch?ref=badge)
Compartir en X

  • aa1143/NamiGPT

    Un tutorial paso a paso, en chino, que construye GPT-2 desde cero en PyTorch sin usar módulos Transformer existentes. Recorre la tokenización, los embeddings, la atención y los bloques con un ejemplo

    RecursoModelos e inferenciaPython · 236 estrellas · +27 esta semana · 20 días

  • prabeakarve/microgpt

    Implementación de GPT sin dependencias en NumPy puro, con tokenizador a nivel de byte, autoatención multicabeza causal, pasada hacia atrás escrita a mano, entrenamiento con AdamW con calentamiento y p

    LibreríaModelos e inferenciaPython · 51 estrellas · 11 días

  • Interactive-Active-AI/NextTransformer

    Un marco de investigación y benchmark para comparar arquitecturas Transformer con un presupuesto de entrenamiento fijo. Entrena variantes de profundidad recurrente, atención dispersa y lineal, variant

    LibreríaModelos e inferenciaPython · 427 estrellas · +27 esta semana · 16 días

  • YeonwooSung/llm-architecture-from-scratch

    Una colección de implementaciones desde cero en PyTorch de arquitecturas de LLM modernas, como GPT-2 XL, variantes de Llama, DeepSeek V3, Qwen3 y Gemma 3. Una tabla comparativa recoge para cada modelo

    Modelos e inferenciaPython · 857 estrellas · 62 días

  • SheepSeb/tinyworldformer

    Proyecto en Rust que ejecuta dos redes neuronales pequeñas en una Raspberry Pi Pico 2 W: un modelo del mundo basado en un transformador en bucle que genera fotogramas y recompensas de un juego, y un a

    AppModelos e inferenciaRust · 372 estrellas · +7 esta semana · 25 días · HN 272 pts

  • datawhalechina/zero-to-sglang

    Un curso gratuito y bilingüe (inglés y chino) sobre inferencia de LLM. Cubre conceptos como la caché KV o el prefill y el decode, y te guía paso a paso para construir un mini-sglang, leer el código fu

    RecursoInfraestructuraPython · 2143 estrellas · +402 esta semana · 82 días