ChatGPT Path
tokenizer から agent 評価まで、作る順番と現在動かせるコマンドを一枚にまとめます。
全体導線へLLM / Transformer Guide
ChatGPT までの処理を、小さく作って順番に理解する。
Dataset、Tokenizer、base pretraining、post-training、chat runtime、 reasoning、RAG、tool use、agent を、最小の実験から段階的に追う解説サイトです。
Dataset
→
Tokenizer
→
Pretrain
→
Align
→
Product
Build map
ChatGPT級システムを、処理ごとの影響として見る
何を変えると何が変わるのかを先に押さえると、モデル作成や agent 開発で prompt、tool、dataset、validation を混同しにくくなります。
Tokenizer
同じ文章やコードでも、token の切り方で系列長、語彙数、未知語の扱いが変わります。
Token の章へAttention
現在の token が過去のどこを見るかを決め、構文、照応、文脈の扱いに効きます。
Attention の章へDataset
モデルが見る世界そのものです。文体、知識、癖、バイアス、暗記リスクに直結します。
Dataset の章へReasoning
hidden scratchpad、reasoning effort、verifier を推論時の設計要素として分けて見ます。
Reasoning 応用編へ 対応するハンズオンへCode Walkthrough
各解説とハンズオンが、実際にはどの Python コードを動かしているかを抜粋で読みます。
コード解説へImplementation Plan
Planned の章を、追加CLI、ファイル、テスト、完了条件つきのPR単位に分けます。
実装計画へReview Gate
教材PRが現実的な順序になっているか、LLM/AI専門レビュワーで確認します。
レビュー手順へHands-on path
読むだけで終わらせず、小さな実験で確かめる
自然言語とコードの小さな dataset を使い、base model、post-training、 chat runtime、RAG、tool use、運用評価までを分けて進めます。