AppleのMLXフレームワークがMacサイドAI推論の事実上の標準になりつつある。OllamaのMac版エンジンがllama.cppからMLXに切り替わり、MLX-VLMはそのエコシステムでビジョン言語モデルを担当するピースだ。
MLX-VLMは何をするか
BlaizzyがメンテナンスするPythonパッケージで、目的は明確：Mac（Apple Silicon）でVLMの推論とファインチューニングを動かすこと。
対応機能：
- VLM推論：VLMをロード、画像+テキストプロンプトを入力、応答を取得
- モデルファインチューニング：Mac上でVLMのLoRAファインチューニング
- マルチモデル対応：主要オープンソースVLMをカバー
なぜMLXか
MLXはApple公式の機械学習フレームワークで、Apple Siliconのユニファイドメモリアーキテクチャに深く最適化されている。CPU推論と比べてMLXはGPUとNeural Engineを直接活用する。クロスプラットフォームソリューションと比べて、フレームワーク適応のオーバーヘッドを排除する。
3月にOllamaがMacエンジンをMLXに切り替え——ある種の公式お墨付きだ。MLX-VLMはMacサイドVLM推論の代表的選択肢の一つになった。
現実的な制約
MLX-VLMはApple Silicon Macでしか動かない。Intel MacもWindows/Linuxも不可。モデルサイズはMacのメモリに制限される——M2 Proなら7Bは問題なし、より大きいモデルにはM2/M3 Ultraが必要かも。
だが「そこそこのMacを持っていて、ローカルでマルチモーダルAIをいじりたい」人にとって、MLX-VLMは現在最もスムーズな選択肢だ。
主な情報源：