系统学习LLM

《人人都能学会的 AI 教程》资源合集 https://rn...

本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这本书开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。

本项目旨在作为一个大规模预训练语言模型的教程，从数据准备、模型构建、训练策略到模型评估与改进，以及模型在安全、隐私、环境和法律道德方面的方面来提供开源知识。

本书更关注为大模型初学者提供整体的技术讲解，为此我们在内容上进行了大范围的更新与重组，力图展现一个系统的大模型技术框架和路线图。本书适用于具有深度学习基础的读者阅读，可以作为一本基础的大模型参考书籍。在准备中文书的过程中，我们广泛阅读了现有的经典论文、相关代码和学术教材，从中提炼出核心概念、算法与模型，并进行了系统性的组织与讲解。我们对于每个章节的内容初稿都进行了多次修正，力求表达的清晰性与准确性。

大语言模型（Large Language Models，LLM）是一种由包含数百亿以上权重的深度神经网络构建的语言模型，使用自监督学习方法通过大量无标记文本进行训练。自2018年以来，包含Google、OpenAI、Meta、百度、华为等公司和研究机构都纷纷发布了包括BERT， GPT等在内多种模型，并在几乎所有自然语言处理任务中都表现出色。2021年开始大模型呈现爆发式的增长，特别是2022年11月ChatGPT发布后，更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互，从而实现包括问答、分类、摘要、翻译、聊天等从理解到生成的各种任务。大型语言模型展现出了强大的对世界知识掌握和对语言的理解。本书将介绍大语言模型的基础理论包括语言模型、分布式模型训练以及强化学习，并以Deepspeed-Chat框架为例介绍实现大语言模型和类ChatGPT系统的实践。

本项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，通过一个课程完成大模型开发的重点入门

微软官方推出的 “Generative AI for Beginners”，是专为 AI 初学者设计的免费课程，帮助零基础用户系统掌握生成式 AI 技术

Transformers 是由 Hugging Face 开...

Implementation of all RAG techniques in a simpler way

这是一份入门AI/LLM大模型的逐步指南，包含教程和演示代码，带你从API走进本地大模型部署和微调

『结构化提示词』社区是国内最大的提示词社区。LangGPT ...

The OpenAI Cookbook is an open-source collection of examples and guides for building with the OpenAI API.To run these examples, you'll need an OpenAI account and API key. You can create a free account here.Most code examples are written in Python, though the concepts can be applied in any language.

本课程为不熟悉 AI 和 PE 的初学者量身打造，它将是你完美的起点。然而即使你不是初学者，你仍然会在本课程中找到有价值的见解。本课程是目前最全面的提示工程课程，内容涵盖 AI 简介到高级 PE 技术

提示工程是一个较新的学科，应用于开发和优化提示词（Promp...

Quick Prompt是一款功能强大的浏览器扩展，专注于提示词管理与快速输入。它可以帮助您创建、管理和组织提示词库，并在任何网页的输入框中快速插入预设的Prompt内容，大幅提高您与AI工具交互的效率。