中級Python

CuratorNVIDIA NeMo チームによるオープンソースのデータ前処理ツール

Curator は、NVIDIA NeMo チームが開発したオープンソースのデータ前処理ツールキットで、大規模言語モデルのトレーニング向けに設計されています。拡張可能でモジュール化されたパイプラインを提供し、テキストクリーニング、品質フィルタリング、重複排除などの主要タスクをカバーしています。これにより、開発者は生のコーパスから高品質なデータを効率的に抽出できます。コアコンポーネントは Rust で書き直されており、優れたパフォーマンスを発揮し、既存のデータパイプラインにシームレスに統合できます。プロジェクトは主に Python を使用し、Apache-2.0 ライセンスを採用しています。

1.6K スター
290 フォーク
230 イシュー
108 閲覧
Python
Apache-2.0
登録日

プロジェクト概要

Curator は、NVIDIA NeMo チームが開発したオープンソースのデータ前処理ツールキットで、大規模言語モデルのトレーニング向けに設計されています。拡張可能でモジュール化されたパイプラインを提供し、テキストクリーニング、品質フィルタリング、重複排除などの主要タスクをカバーしています。これにより、開発者は生のコーパスから高品質なデータを効率的に抽出できます。コアコンポーネントは Rust で書き直されており、優れたパフォーマンスを発揮し、既存のデータパイプラインにシームレスに統合できます。プロジェクトは主に Python を使用し、Apache-2.0 ライセンスを採用しています。

プロジェクト概要

Curator は、NVIDIA NeMo チームが開発したオープンソースのデータ前処理ツールキットです。大規模言語モデル(LLM)のトレーニング用データ準備に特化しており、開発者が膨大な生コーパスから高品質なデータを抽出し、トレーニング効果を高めることを目的としています。

主な機能

  • テキストクリーニング:ノイズや無関係なコンテンツを除去します。
  • 品質フィルタリング:ルールまたはモデルに基づいて低品質なサンプルを選別します。
  • 重複排除:重複データを排除し、冗長性を削減します。

技術スタック

プロジェクトの主要言語は Python ですが、コアコンポーネントは Rust で書き直され、優れたパフォーマンスを提供します。このハイブリッド設計により、Curator は Python の使いやすさを保ちつつ、Rust の高い処理能力を活用できます。

ライセンス

Curator は Apache-2.0 ライセンスを採用しており、自由な使用と変更が許可されています。

はじめ方

README の要約によると、Curator はモジュール式パイプラインとして設計されており、既存のデータ処理フローにシームレスに統合できます。具体的なインストール方法や使用方法については、プロジェクトの公式ドキュメントを参照してください。

データ前処理LLMトレーニングデータ整理NVIDIAオープンソースツールPythonツールキット拡張可能なデータパイプライン大規模言語モデルのデータクリーニングMinHash重複排除NeMoエコシステム

プロジェクト評価

0.0 (0 レビュー)

共有

よくある質問

Curator: NVIDIA NeMo チームによるオープンソースのデータ前処理ツールとは?

Curator は、NVIDIA NeMo チームが開発したオープンソースのデータ前処理ツールキットで、大規模言語モデルのトレーニング向けに設計されています。拡張可能でモジュール化されたパイプラインを提供し、テキストクリーニング、品質フィルタリング、重複排除などの主要タスクをカバーしています。これにより、開発者は生のコーパスから高品質なデータを効率的に抽出できます。コアコンポーネントは Rust で書き直されており、優れたパフォーマンスを発揮し、既存のデータパイプラインにシームレスに統合できます。プロジェクトは主に Python を使用し、Apache-2.0 ライセンスを採用しています。

Curator: NVIDIA NeMo チームによるオープンソースのデータ前処理ツールはどのプログラミング言語で開発されていますか?

Curator: NVIDIA NeMo チームによるオープンソースのデータ前処理ツールは主にPythonで開発されています。

Curator: NVIDIA NeMo チームによるオープンソースのデータ前処理ツールのライセンスは何ですか?

Curator: NVIDIA NeMo チームによるオープンソースのデータ前処理ツールはApache-2.0ライセンスで公開されています。

関連プロジェクト

該当する結果がありません

もっと見る

類似ツール

PakBot

PakBot

PakBot は、パキスタン初の AI アシスタントと自称しており、ウルドゥー語、英語、パンジャブ語、シンド語、パシュトゥー語などで無料でチャットでき、画像生成、音声対話、インターネット検索にも対応しています。

Filently

Filently

Filentlyはスイス製のAIツールで、Google Drive内のドキュメントを自動的にリネームし、アーカイブします。既存のフォルダ構造を学習し、OCRにより日付、仕入先、金額を認識します。

Nika

Nika

Nika は、AI コンパニオンアプリ群です。Nika AI 彼女、Sebastian AI 彼氏、そして恋愛シミュレーションゲームの Aurora City を含みます。Telegram とウェブ版で、テキスト・音声・マルチメディアのロールプレイを提供しており、レベルに応じて進行する親密度システムを備えています。

WeiClaw

WeiClawはAgentソフトウェアと連携して動作するスマートハードウェアデバイスで、Agentの状態をリアルタイムで監視し、メッセージチャネルを引き継ぎます。ホストはタスクがないときはスリープし、メッセージがあれば自動的に起動してリクエストを処理します。

Tomo

Tomo

TomoはWhatsAppとTelegram内で動作するAIアシスタントで、ダウンロードや複雑な設定は不要です。ユーザーは自然言語でスケジュールを入力でき、そのスケジュールはGoogle Calendarに自動同期されます。また、Tomoは文脈を記憶し、朝のブリーフィングを送信し、日常の習慣を学習します。

PDFPuddle

PDFPuddle

PDFPuddleは完全にブラウザ上で動作するPDFツールボックスで、32の結合、変換、編集、署名、OCR、AI要約などの機能を提供し、ファイルはローカルで処理され、サーバーにアップロードされません。

コメント

コメント

0
0/500 文字

コメントはまだありません

最初のコメントを書きましょう

オープンソースプロジェクト

オープンソースAIプロジェクトを探求し、学び、貢献して、人工知能技術の発展を推進しましょう

すべて表示