📃前言

🌟在这里学习LLM，你将获得

• 超生动形象的技术讲解 ：我们摒弃了那些充斥着大量简单复制粘贴以及生硬 AI 合成内容的技术博客，每一篇技术文章都经过精心打磨，让你轻松理解复杂的知识。

• 超有料的技术实战 ：从零开始一步步实现代码，带你在实战中深入探究原理，真正掌握 LLM 的精髓。

📚 LLM知识地图

• 基础部分

  • Python基础

    • logging模块 (logging模块)

    • import模块 (import模块)

    • multiprocessing模块 (multiprocessing模块)

  • 机器学习基础

    • 特征提取

      • 文本表示模型

        • Bag-of-words (Bag-of-words)

        • Topic Model (Topic Model)

        • Static Word Embedding (Static Word Embeddings)

  • 深度学习基础

  • LLM基础

• Prompt工程

• Transformer结构

  • Tokenizer (Tokenizer)

  • Embedding (Embeddings)

    • EMLO (ELMO)

    • BERT (BERT)

    • GPT (GPT)

  • Positional Encoding (Positional Encoding)

  • Self Attention (Self Attention)

  • Multi-Head Attention (Multi-Head Attention)

  • Add & Norm (Add & Norm)

  • FeedForward (FeedForward)

  • Linear & Softmax (Linear & Softmax)

  • Decoding Strategy (Decoding Strategy)

• LLM训练

  • LLM显存需求 (LLM显存需求)

    • LLM精度问题 (LLM精度问题)

    • LLM训练需要多少显存 (LLM训练需要多少显存)

  • 分布式训练并行 (WIP)

• 模型推理/部署

• MoE

  • 专家并行 (专家并行)

• 知识编辑

• LLM应用

  • RAG

    • Graph RAG

• 多模态大模型

• LLM安全

🤝 与社区一起成长

本文档正在快速迭代中。 分享你的见解，提出你的疑问，共同进步。