本项目旨在作为一个大规模预训练语言模型的教程，从数据准备、模型构建、训练策略到模型评估与改进，以及模型在安全、隐私、环境和法律道德方面的方面来提供开源知识。
数据统计
相关导航
Openai Cookbook
The OpenAI Cookbook is an open-source collection of examples and guides for building with the OpenAI API.To run these examples, you'll need an OpenAI account and API key. You can create a free account here.Most code examples are written in Python, though the concepts can be applied in any language.
提示工程指南
提示工程是一个较新的学科，应用于开发和优化提示词（Promp...
Quick Prompt
Quick Prompt是一款功能强大的浏览器扩展，专注于提示词管理与快速输入。它可以帮助您创建、管理和组织提示词库，并在任何网页的输入框中快速插入预设的Prompt内容，大幅提高您与AI工具交互的效率。
LangGPT结构化提示词知识库
『结构化提示词』社区是国内最大的提示词社区。LangGPT ...
动手学大模型应用开发
本项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，通过一个课程完成大模型开发的重点入门
大规模语言模型：从理论到实践
大语言模型（Large Language Models，LLM）是一种由包含数百亿以上权重的深度神经网络构建的语言模型，使用自监督学习方法通过大量无标记文本进行训练。自2018年以来，包含Google、OpenAI、Meta、百度、华为等公司和研究机构都纷纷发布了包括BERT， GPT等在内多种模型，并在几乎所有自然语言处理任务中都表现出色。2021年开始大模型呈现爆发式的增长，特别是2022年11月ChatGPT发布后，更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互，从而实现包括问答、分类、摘要、翻译、聊天等从理解到生成的各种任务。大型语言模型展现出了强大的对世界知识掌握和对语言的理解。本书将介绍大语言模型的基础理论包括语言模型、分布式模型训练以及强化学习，并以Deepspeed-Chat框架为例介绍实现大语言模型和类ChatGPT系统的实践。
all-rag-techniques
Implementation of all RAG techniques in a simpler way