LLM101n 是由 Andrej Karpathy 開發的一門課程，旨在從頭開始構建一個 AI 大型語言模型 (LLM)，專注於故事生成。該課程涵蓋從基本語言模型、機器學習到高階的深度學習技術，並涉及 Python、C 和 CUDA 等多種程式語言。目標是讓學習者最終能夠理解並實現類似 ChatGPT 的 AI 應用。

主要內容

  1. 語言模型：從 Bigram 模型到 Transformer 的全過程。
  2. 深度學習：包括優化、分布式訓練和推理技術。
  3. 多模態應用：結合圖像、音訊和影片的生成技術。