中級Python

FlashInferNVIDIA GPU 向け LLM 推論カーネルライブラリ

FlashInfer は、大規模言語モデル（LLM）推論に特化したオープンソースの CUDA ライブラリで、アテンション、GEMM、MoE カーネルを提供します。Turing から Blackwell アーキテクチャまでの NVIDIA GPU をサポートしており、主に Python で記述されており、Apache-2.0 ライセンスが採用されています。このプロジェクトは GitHub で 5876 スターを獲得しており、広く注目されていることを示しています。

5.9K スター

1.1K フォーク

734 イシュー

85 閲覧

Python

Apache-2.0

登録日2026年7月1日

Githubリポジトリオンラインデモ

プロジェクト概要

FlashInfer は、NVIDIA GPU 上での大規模言語モデル（LLM）の推論処理を高速化するために設計された、オープンソースの CUDA ライブラリです。アテンション、GEMM、MoE など多様なコアカーネルをカバーし、推論パフォーマンスの向上を目指しています。

主な機能

LLM 推論向けに最適化されたアテンションカーネルを提供。
高効率な GEMM（汎用行列乗算）カーネルを搭載。
混合エキスパート（MoE）モデル向けのカーネル実装に対応。

技術スタック

プロジェクトは主に Python で記述され、基盤には CUDA テクノロジーを採用しています。NVIDIA GPU アーキテクチャに対応し、Turing から Blackwell までの幅広いハードウェアをサポートしています。

ライセンス

FlashInfer は Apache-2.0 ライセンスを採用しており、ユーザーは自由に使用、改変、再配布することができます。

オープンソースの状況

オープンソースプロジェクトとして、FlashInfer は GitHub 上で公開されています。現在 5876 スターを獲得しており、コミュニティも活発に活動しています。

FlashInferLLM推論加速FlashAttentionPageAttentionCUDA kernel大規模モデルデプロイvLLM高性能計算オープンソースカーネルライブラリ

プロジェクト評価

0.0 (0 レビュー)

ログイン後に評価できます

よくある質問

FlashInfer：NVIDIA GPU 向け LLM 推論カーネルライブラリとは？

FlashInfer：NVIDIA GPU 向け LLM 推論カーネルライブラリはどのプログラミング言語で開発されていますか？

FlashInfer：NVIDIA GPU 向け LLM 推論カーネルライブラリは主にPythonで開発されています。

FlashInfer：NVIDIA GPU 向け LLM 推論カーネルライブラリのライセンスは何ですか？

FlashInfer：NVIDIA GPU 向け LLM 推論カーネルライブラリはApache-2.0ライセンスで公開されています。

類似ツール

Cursor

VS Codeをベースに二次開発されたインテリジェントコードエディターで、「ネイティブ搭載AI」をコアセールスポイントとしています。プラグインに依存せず、AIをエディターの基層に深く統合し、プロジェクト全体のコンテキストコードベースを理解することができ、VS Codeのすべての設定とプラグインのシームレスな移行をサポートします。

Google Antigravity

Antigravityは、Gemini 3 Pro、Claude Sonnet 4.5、GPT-OSSなどの複数モデルをサポートしており、開発者は同じ環境内でタスクに最適なモデルを選択できます。

Codex

OpenAI Codexは、OpenAIが開発したAIプログラミングモデル兼アシスタントであり、自然言語の指示を対応するソースコードに翻訳し、開発者にインテリジェントな補完やコード生成などの機能を提供します。このモデルは、2021年にOpenAI APIのコードモデルとして初めてリリースされ、GitHub Copilotの中核的サポートを担っていました。OpenAIの技術進化に伴い、Codexは2025年に「AIプログラミングエージェント」として新たな姿で復帰し、複雑な要件を理解し、コードの自動記述やデバッグを実行することで、開発効率とソフトウェアの提供速度を大幅に向上させています。

Kiro

KiroはAWSが提供するAIプログラミングIDEであり、仕様駆動開発モデルを採用し、自然言語の要求を明確な仕様書とタスクに変換します。その後、組み込みのAIエージェントがコードを生成し、デバッグと最適化を行い、大規模プロジェクト開発の全プロセスを支援します。

Trae

Trae（公式サイト trae.ai）は、ByteDanceによって開発されたAIネイティブな統合開発環境（IDE）です。単なるプログラミングアシスタントではなく、「協働パートナー」として、大規模言語モデル（LLM）を深く統合し、開発者が要件定義からコード構築、デバッグ、デプロイまで、より知的で自動化されたソフトウェア開発を実現することを支援します。

Claude

Claudeは、米国のAI企業Anthropicが開発した知的言語インタラクションプラットフォームです。深いテキスト理解、情報整理、コード支援、タスク分析などの能力を統合し、チャット対話を超えて、長文要約、画像解析、論理的推論、プログラミング支援など、より複雑な問題に対応できます。一部の単純な質問応答ボットと比べて、Claudeは推論ロジックと拡張機能を備えた知的ツールと言えます。

使い方ガイド

Googleアンチグラビティの返信における言語問題を徹底的に解決する

Google Antigravityは、タスク計画、アプリケーション生成、コード構築などのシナリオで優れた性能を発揮していますが、多くのユーザーが同じ悩みに直面しています：特定の言語で出力させたいのに、Antigravityが頻繁に自動的に英語に切り替わってしまうことです。タスク計画、実行計画、アプリケーションの文案、最終成果物のいずれにおいても、「デフォルトで英語が出力される」問題が発生し、使用体験に影響を与えています。