Google Dataset Search
Google Dataset Search 索引了超过 4500 万个数据集，来自 13000 个不同的来源。这些数据集涵盖了多个学科领域，包括环境科学、社会科学、政府数据、新闻机构数据等
目前各行各业都在积极探索微调自己行业的大模型，其实微调的过程不是难事，目前市面上也有比较多成熟的工具，比较难的是前期的数据集准备的环节，数据集的质量直接决定了模型微调后的效果，高质量领域数据集的构建始终面临多重挑战，大家在构建数据集的过程中可能会普遍遇到以下问题：
- 完全不知道怎么做，目前就在纯人工去做，想提高效率
- 直接将文档丢给 AI ，但是 AI 对于大文件生成的 QA 对效果比较差
- AI 本身有上下文的限制，一次不能生成太多的问题，分批生成后面又会生成重复的问题
- 已经有整理出来的数据集了，想有一个批量管理数据集的地方，可以进行标注和验证
- 对于数据集有细分领域的需求，不知道如何去构建领域标签
- 想要微调推理模型，但是不知道推理微调数据集中的 COT 怎么构造
- 想从一个格式的数据集转换成另一个格式的数据集，不知道怎么转换
为了解决这些问题，Easy DataSet 应运而生，通过系统性解决方案实现从文献解析到数据集构造、标注、导出、评估的全流程闭环，以下是工具预期要解决的问题：
- 能够支持多种文献处理，将各种格式的文献处理为模型可理解的格式
- 能够做到基于 AI 辅助生成数据集，而且不丢失准确性
- 能够解决由于模型上下文限制导致的截断问题
- 能够批量构造数据集，能生成 COT，而且不生成重复的数据集
- 能够构建领域标签，并且按照领域树组织数据集
- 能够合理的管理数据集，方便对数据集进行质量校验等操作
- 能够方便的对生成的数据集进行格式转换，比如 Alpaca 和 ShareGPT 格式
- 能够基于数据集对模型进行有效评估
数据统计
相关导航
Unsloth
Unsloth 可使微调 Llama-3、Mistral、Phi-4 和 Gemma 等大型语言模型的速度提升 2 倍，内存占用减少 70%，且不会降低准确性
Kaggle
Kaggle 拥有全球最大的公共数据集仓库，涵盖金融、医疗、社会科学等多个领域。用户可以免费下载和使用这些数据集，用于训练模型、进行数据分析或参与竞赛。
Hugging Face
The platform where the machine learning community collaborates on models, datasets, and applications.
OpenDataLab
OpenDataLab 是上海人工智能实验室的大模型数据基座团队打造的数据开放平台，现已成为中国大模型语料数据联盟开源数据服务指定平台，为开发者提供全链条的 AI 数据支持
Anaconda
Anaconda AI 平台是唯一的开源统一平台，它将可信的软件发行、简化的工作流程、实时洞察和治理控制相结合，以提高从业者的生产力，并为组织节省时间、资金和降低风险