rasbt/LLMs-from-scratch

GPT 같은 대규모 언어모델을 밑바닥부터 구현하고 학습하는 실습용 코드 저장소 및 교재

학습 자료확인 필요 · NOASSERTIONLLM 도구·RAGJupyter Notebook난이도
100,167+0이번 주0 찜
15,399포크2이슈
데모·홈페이지 열기amzn.to

중간맛 분석

스택: PyTorch, Jupyter Notebook | 난이도: Python 기초 필수, 신경망 경험 있으면 도움 | 바로 쓸 수 있나: 교육/학습용으로 즉시 실행 가능, 노트북과 Python 스크립트 제공 | 데모: 7개 주요 챕터(텍스트 처리→어텐션→GPT 구현→사전학습→분류 파인튜닝→명령어 파인튜닝) + 부록에 LoRA, MoE, KV 캐시 등 고급 주제 포함. 일반 노트북에서도 합리적인 시간 내 실행 가능하도록 설계됨.

이런 레포예요

이럴 때 쓰면 좋아요

  • LLM의 내부 작동 원리를 처음부터 학습하고 싶을 때
  • 분류 또는 명령어 추종 능력을 갖춘 커스텀 언어모델 개발 시
  • LoRA나 MoE 같은 고급 최적화 기법을 실습으로 이해하고 싶을 때

핵심 기능

순수 PyTorch로 GPT 모델 구현사전학습·분류 파인튜닝·명령어 파인튜닝 전체 파이프라인 실습Llama, Qwen, Gemma 등 최신 모델 아키텍처 구현 보너스 자료

대안 대비 차별점

외부 LLM 라이브러리 없이 순수 PyTorch만으로 구현하며, 교육용 소규모 모델 학습이 실제 대규모 모델 학습 방식을 완벽히 반영하도록 설계됨.

먹어본 사람들

실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.

시식평 · 먹어본 사람 한마디

아직 시식평이 없어요. 먹어보셨다면 첫 한마디를 남겨주세요.

다른 레포 시식평 구경하기 →

이 레포로 만든 것들

🖋 완주 인증하기

아직 이 레포로 만든 완주 인증이 없어요. 첫 밥도장을 찍어보세요!

이 레포, 해먹는 법

처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.

준비물

  • Python 프로그래밍 기초
  • PyTorch 기초 또는 부록 A 학습

바로 차려먹기Python (uv)

깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.

git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git &&
cd LLMs-from-scratch &&
uv sync

uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.

코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.

README가 안내하는 자세한 단계 보기
  1. 저장소 클론
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
  1. Python 및 패키지 설치 (setup 폴더의 README.md 참고)
  2. 각 장의 Jupyter Notebook 실행 (예: ch02/01_main-chapter-code/ch02.ipynb)
  3. 또는 Python 스크립트 직접 실행 (예: ch05/01_main-chapter-code/gpt_train.py)

깃밥트라이로 맛보기

받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.

터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.

npx gitbap-try rasbt/LLMs-from-scratch

Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →

별 추이 · 7일

100,167+0 / 7일

활용성 · 따라 만들기 좋은가

샘플 점수 14/100
  • 관대한 라이선스
  • 테스트 있음
  • 예제 디렉토리
  • 최근 활동
  • AGENTS.md
  • llms.txt
  • 템플릿

🟢 최근 활동 있음 · 2023년 생성

「LLM 도구·RAG」 이런 레포, 매주 받아보실래요?

매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.

내 레포인가요? README에 깃밥 배지 달기
[![깃밥](https://www.gitbap.com/badge/rasbt/LLMs-from-scratch.svg)](https://www.gitbap.com/r/rasbt/LLMs-from-scratch)
🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법

깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.

방법 ① 커넥터 URL

클로드 설정 → 커넥터에 이 주소를 붙여넣기.

https://www.gitbap.com/api/mcp
방법 ② 플러그인 (체험까지)

플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.

/plugin marketplace add jakeparkcolde/gitbap-cowork
/plugin install gitbap-cowork@gitbap
연결 방법 자세히 →

AI가 README 기반으로 요약했습니다 · 원문 보기