ゼロから大規模言語モデルを構築して、訓練・ファインチューニングするための実装ガイドです。
優良食堂ギット飯が実際に動かして検証し、選んだリポジトリです解説ページへ →中辛 の解説
PyTorchベースで、テキスト前処理、マルチヘッドアテンション、GPT風モデルの実装、事前学習、テキスト分類ファインチューニング、指示追従のファインチューニングを段階的にカバーします。通常のパソコンで実行でき、GPUがあれば自動で利用されます。各章はJupyter Notebookと実行可能なPythonスクリプト両方で提供され、演習問題と解答も含まれています。LoRAによるパラメータ効率的なファインチューニング、KVキャッシュ、Mixture-of-Expertsなどの拡張トピックもボーナス教材として備えられています。
こんなリポジトリです
こんなときに便利です
- LLMの内部動作を理論と実装の両面から深く学びたい学生や研究者向け
- 指示追従型モデルやテキスト分類用のカスタムLLMを自分で訓練したい開発者向け
- ChatGPTのような大規模モデルがどのように構築されるかを実践的に理解したい技術者向け
主な機能
ほかとの違い
書籍と完全に連動し、単なるコード集ではなく章立てに沿った学習教材として設計されており、テキスト分類やDPOなど実務的なファインチューニング手法まで網羅しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
準備するもの
- Python プログラミングの基礎知識
- PyTorchの基本的な理解(Appendix Aで学習可能)
すぐに始める
- リポジトリを複製します
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
-
セットアップディレクトリのREADMEを確認してPython環境を整えます(詳細は./setup/README.mdを参照)
-
各章のJupyter Notebookを開きます(例: ch02/01_main-chapter-code/ch02.ipynb)
-
セルを順番に実行して、テキスト処理やアテンション機構の実装を学びます
-
Pythonスクリプトで訓練を実行します(例: ch05/01_main-chapter-code/gpt_train.py)
-
生成や分類タスク用のスクリプトで結果を確認します(例: ch05/01_main-chapter-code/gpt_generate.py)
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try rasbt/LLMs-from-scratch
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
確認日時
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2023 年に作成
「LLM ツール・RAG」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/rasbt/LLMs-from-scratch)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る