项目简介
Curator 是 NVIDIA NeMo 团队推出的开源数据预处理工具包,专门用于大语言模型(LLM)训练的数据准备。它旨在帮助开发者从海量原始语料中提取高质量数据,提升训练效果。
核心功能
- 文本清洗:去除噪声和无关内容。
- 质量过滤:基于规则或模型筛选低质量样本。
- 去重:消除重复数据,减少冗余。
技术栈
项目主语言为 Python,但核心组件使用 Rust 重写,以提供出色的性能。这种混合设计让 Curator 既能保持 Python 的易用性,又能获得 Rust 的高效处理能力。
许可证
Curator 采用 Apache-2.0 许可证,允许自由使用和修改。
如何上手
根据 README 摘要,Curator 设计为模块化流水线,可无缝集成到现有数据处理流程中。具体安装和使用方法请参考项目官方文档。










评论
暂无评论
成为第一个评论的人