进阶Python

CuratorNVIDIA NeMo 团队的开源数据预处理工具

Curator 是 NVIDIA NeMo 团队开发的开源数据预处理工具包,专为大语言模型训练设计。它提供可扩展、模块化的流水线,涵盖文本清洗、质量过滤和去重等核心任务,帮助开发者从原始语料中高效提取高质量数据。核心组件用 Rust 重写,性能卓越,可无缝集成到现有数据管道。项目主要使用 Python,采用 Apache-2.0 许可证。

1.6K 星标
290 分叉
230 问题
108 浏览
Python
Apache-2.0
收录日期

项目概述

Curator 是 NVIDIA NeMo 团队开发的开源数据预处理工具包,专为大语言模型训练设计。它提供可扩展、模块化的流水线,涵盖文本清洗、质量过滤和去重等核心任务,帮助开发者从原始语料中高效提取高质量数据。核心组件用 Rust 重写,性能卓越,可无缝集成到现有数据管道。项目主要使用 Python,采用 Apache-2.0 许可证。

项目简介

Curator 是 NVIDIA NeMo 团队推出的开源数据预处理工具包,专门用于大语言模型(LLM)训练的数据准备。它旨在帮助开发者从海量原始语料中提取高质量数据,提升训练效果。

核心功能

  • 文本清洗:去除噪声和无关内容。
  • 质量过滤:基于规则或模型筛选低质量样本。
  • 去重:消除重复数据,减少冗余。

技术栈

项目主语言为 Python,但核心组件使用 Rust 重写,以提供出色的性能。这种混合设计让 Curator 既能保持 Python 的易用性,又能获得 Rust 的高效处理能力。

许可证

Curator 采用 Apache-2.0 许可证,允许自由使用和修改。

如何上手

根据 README 摘要,Curator 设计为模块化流水线,可无缝集成到现有数据处理流程中。具体安装和使用方法请参考项目官方文档。

数据预处理LLM训练数据整理NVIDIA开源工具Python工具包可扩展数据管道大语言模型数据清洗MinHash去重NeMo生态

项目评分

0.0 (0 评价)

分享

常见问题

Curator: NVIDIA NeMo 团队的开源数据预处理工具 是什么?

Curator 是 NVIDIA NeMo 团队开发的开源数据预处理工具包,专为大语言模型训练设计。它提供可扩展、模块化的流水线,涵盖文本清洗、质量过滤和去重等核心任务,帮助开发者从原始语料中高效提取高质量数据。核心组件用 Rust 重写,性能卓越,可无缝集成到现有数据管道。项目主要使用 Python,采用 Apache-2.0 许可证。

Curator: NVIDIA NeMo 团队的开源数据预处理工具 用什么语言开发?

Curator: NVIDIA NeMo 团队的开源数据预处理工具 主要使用 Python 开发。

Curator: NVIDIA NeMo 团队的开源数据预处理工具 使用什么开源协议?

Curator: NVIDIA NeMo 团队的开源数据预处理工具 基于 Apache-2.0 协议开源。

相关项目

暂无结果

探索更多

评论

评论

0
0/500 字符

暂无评论

成为第一个评论的人

开源项目

探索、学习并参与开源 AI 项目,推动人工智能技术发展

查看全部