中級Python

vllm-mlxApple Silicon向けに最適化されたMLX推論サーバー

vllm-mlx は MLX ベースの推論サーバーで、Apple Silicon ハードウェア向けに最適化されており、OpenAI および Anthropic API 互換のインターフェースを提供します。テキストおよび視覚言語モデルをサポートし、継続的バッチ処理機能を備えています。公式発表によると、M1 Ultra 上で毎秒400トークン以上のスループットを達成可能で、ローカル開発やプライバシーに敏感な環境でのデプロイに適しています。プロジェクトは主に Python で書かれており、Apache-2.0 ライセンスが採用されています。

1.4K スター
189 フォーク
56 イシュー
154 閲覧
Python
Apache-2.0
登録日

プロジェクト概要

vllm-mlx は MLX ベースの推論サーバーで、Apple Silicon ハードウェア向けに最適化されており、OpenAI および Anthropic API 互換のインターフェースを提供します。テキストおよび視覚言語モデルをサポートし、継続的バッチ処理機能を備えています。公式発表によると、M1 Ultra 上で毎秒400トークン以上のスループットを達成可能で、ローカル開発やプライバシーに敏感な環境でのデプロイに適しています。プロジェクトは主に Python で書かれており、Apache-2.0 ライセンスが採用されています。

プロジェクト概要

vllm-mlx は、Apple Silicon デバイス向けに設計されたネイティブ MLX 推論サーバーです。OpenAI および Anthropic の API と互換性があり、既存アプリケーションへの統合が容易です。

主な機能

  • テキストモデルと視覚言語モデルに対応
  • 連続バッチ処理(continuous batching)
  • OpenAI および Anthropic の API 仕様と互換

パフォーマンス

README によると、M1 Ultra 上で毎秒400トークン以上の生成速度を達成可能で、ローカル開発やプライバシー重視のデプロイに適しています。

技術スタックとライセンス

主要なプログラミング言語は Python で、ライセンスは Apache-2.0 です。

はじめに

具体的なインストール方法や利用手順については、プロジェクトの README ドキュメントを参照してください。

vllm-mlxApple SiliconMLXLLMデプロイ視覚言語モデルローカル推論継続的バッチ処理MCPツール呼び出しOpenAI互換Anthropic互換

プロジェクト評価

0.0 (0 レビュー)

共有

よくある質問

vllm-mlx:Apple Silicon向けに最適化されたMLX推論サーバーとは?

vllm-mlx は MLX ベースの推論サーバーで、Apple Silicon ハードウェア向けに最適化されており、OpenAI および Anthropic API 互換のインターフェースを提供します。テキストおよび視覚言語モデルをサポートし、継続的バッチ処理機能を備えています。公式発表によると、M1 Ultra 上で毎秒400トークン以上のスループットを達成可能で、ローカル開発やプライバシーに敏感な環境でのデプロイに適しています。プロジェクトは主に Python で書かれており、Apache-2.0 ライセンスが採用されています。

vllm-mlx:Apple Silicon向けに最適化されたMLX推論サーバーはどのプログラミング言語で開発されていますか?

vllm-mlx:Apple Silicon向けに最適化されたMLX推論サーバーは主にPythonで開発されています。

vllm-mlx:Apple Silicon向けに最適化されたMLX推論サーバーのライセンスは何ですか?

vllm-mlx:Apple Silicon向けに最適化されたMLX推論サーバーはApache-2.0ライセンスで公開されています。

関連プロジェクト

該当する結果がありません

もっと見る

類似ツール

Cursor

Cursor

VS Codeをベースに二次開発されたインテリジェントコードエディターで、「ネイティブ搭載AI」をコアセールスポイントとしています。プラグインに依存せず、AIをエディターの基層に深く統合し、プロジェクト全体のコンテキストコードベースを理解することができ、VS Codeのすべての設定とプラグインのシームレスな移行をサポートします。

Google Antigravity

Google Antigravity

Antigravityは、Gemini 3 Pro、Claude Sonnet 4.5、GPT-OSSなどの複数モデルをサポートしており、開発者は同じ環境内でタスクに最適なモデルを選択できます。

Codex

Codex

OpenAI Codexは、OpenAIが開発したAIプログラミングモデル兼アシスタントであり、自然言語の指示を対応するソースコードに翻訳し、開発者にインテリジェントな補完やコード生成などの機能を提供します。このモデルは、2021年にOpenAI APIのコードモデルとして初めてリリースされ、GitHub Copilotの中核的サポートを担っていました。OpenAIの技術進化に伴い、Codexは2025年に「AIプログラミングエージェント」として新たな姿で復帰し、複雑な要件を理解し、コードの自動記述やデバッグを実行することで、開発効率とソフトウェアの提供速度を大幅に向上させています。

Kiro

Kiro

KiroはAWSが提供するAIプログラミングIDEであり、仕様駆動開発モデルを採用し、自然言語の要求を明確な仕様書とタスクに変換します。その後、組み込みのAIエージェントがコードを生成し、デバッグと最適化を行い、大規模プロジェクト開発の全プロセスを支援します。

Trae

Trae

Trae(公式サイト trae.ai)は、ByteDanceによって開発されたAIネイティブな統合開発環境(IDE)です。単なるプログラミングアシスタントではなく、「協働パートナー」として、大規模言語モデル(LLM)を深く統合し、開発者が要件定義からコード構築、デバッグ、デプロイまで、より知的で自動化されたソフトウェア開発を実現することを支援します。

Claude

Claude

Claudeは、米国のAI企業Anthropicが開発した知的言語インタラクションプラットフォームです。深いテキスト理解、情報整理、コード支援、タスク分析などの能力を統合し、チャット対話を超えて、長文要約、画像解析、論理的推論、プログラミング支援など、より複雑な問題に対応できます。一部の単純な質問応答ボットと比べて、Claudeは推論ロジックと拡張機能を備えた知的ツールと言えます。

コメント

コメント

0
0/500 文字

コメントはまだありません

最初のコメントを書きましょう

オープンソースプロジェクト

オープンソースAIプロジェクトを探求し、学び、貢献して、人工知能技術の発展を推進しましょう

すべて表示