rasbt/LLMs-from-scratch

GPT 같은 대규모 언어모델을 밑바닥부터 구현하고 학습하는 실습용 코드 저장소 및 교재

학습 자료확인 필요 · NOASSERTIONLLM 도구·RAG난이도
97,240+1이번 주14,8763Jupyter Notebook
데모·홈페이지 열기amzn.to
중간맛 분석

스택: PyTorch, Jupyter Notebook | 난이도: Python 기초 필수, 신경망 경험 있으면 도움 | 바로 쓸 수 있나: 교육/학습용으로 즉시 실행 가능, 노트북과 Python 스크립트 제공 | 데모: 7개 주요 챕터(텍스트 처리→어텐션→GPT 구현→사전학습→분류 파인튜닝→명령어 파인튜닝) + 부록에 LoRA, MoE, KV 캐시 등 고급 주제 포함. 일반 노트북에서도 합리적인 시간 내 실행 가능하도록 설계됨.

이런 레포예요

이럴 때 쓰면 좋아요

  • LLM의 내부 작동 원리를 처음부터 학습하고 싶을 때
  • 분류 또는 명령어 추종 능력을 갖춘 커스텀 언어모델 개발 시
  • LoRA나 MoE 같은 고급 최적화 기법을 실습으로 이해하고 싶을 때

핵심 기능

순수 PyTorch로 GPT 모델 구현사전학습·분류 파인튜닝·명령어 파인튜닝 전체 파이프라인 실습Llama, Qwen, Gemma 등 최신 모델 아키텍처 구현 보너스 자료

대안 대비 차별점

외부 LLM 라이브러리 없이 순수 PyTorch만으로 구현하며, 교육용 소규모 모델 학습이 실제 대규모 모델 학습 방식을 완벽히 반영하도록 설계됨.

준비물
  • Python 프로그래밍 기초
  • PyTorch 기초 또는 부록 A 학습
바로 시작하기
  1. 저장소 클론
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
  1. Python 및 패키지 설치 (setup 폴더의 README.md 참고)
  2. 각 장의 Jupyter Notebook 실행 (예: ch02/01_main-chapter-code/ch02.ipynb)
  3. 또는 Python 스크립트 직접 실행 (예: ch05/01_main-chapter-code/gpt_train.py)
별 추이 · 7일
97,240+1 / 7일
활용성 · 따라 만들기 좋은가
샘플 점수 14/100
  • 관대한 라이선스
  • 테스트 있음
  • 예제 디렉토리
  • 최근 활동
  • AGENTS.md
  • llms.txt
  • 템플릿

🟢 최근 활동 있음 · 2023년 생성

AI가 README 기반으로 요약했습니다 · 원문 보기