注）本稿執筆時点では、プレビュー版です。今後、機能などが変わる場合がありますので、ご留意ください。
仮想マシンで Azure AI Foundry Localで試します。今回は、Hyper-V上のWindows 11にてAzure AI Foundry Localで試す形ですね。
CPUを使うモデル、NPUを使うモデルの順で確認します。
インストールは問題無く完了。
これまでの確認と同様に進めるので、まずはCPUを使うモデルを確認します。
英語のプロンプトを与えてみます。
最終的に、メモリ16GBで固定化し、ファイルサイズが最も軽量なモデルにしてみましたが、レスポンスが多少改善する程度です。
最新のCPUではどうなのかという点はあるものの、当方の環境（Intel(R) Xeon(R) CPU E5-2430 0 @ 2.20GHz）では、ある意味これが限界なのかも知れません。
注）本稿執筆時点では、プレビュー版です。今後、機能などが変わる場合がありますので、ご留意ください。
仮想マシンで Azure AI Foundry Localで試します。今回は、MacOS上のParallels DesktopでWindows 11にてAzure AI Foundry Localで試す形ですね。
CPUを使うモデル、NPUを使うモデルの順で確認します。NPUを使うモデルについては、そもそも仮想マシンでも使えるの？、というかGPUが不透過なのでどういう挙動になるかが興味深いだけです。
インストールは、問題なく完了。
これまでの確認と同様に進めるので、まずはCPUを使うモデルを確認します。
英語のプロンプトを与えました。スムーズに回答返ってきます。途中経過を見るとCPUをしっかり使っていました。
日本語のプロンプトを与えました。途中経過を見るとCPUをしっかり使っていました。
ただし英語と比較しても日本語の場合、ちょっと重い感じで回答し始めました。メモリが6GBしかないからかも知れませんね。
結果としては、途中で回答ストップしてしまい、ブランクが続きました。ただしメモリが足りないからなのかなど、原因を推測するには情報不足とも思います。
NPUを使うモデルを試します。deepseek-r1-7bでは、モデルのロードに失敗しました。
Phi-4-mini-reasoning-qnn-npuは、どうでしょうか？
これもダメでした。
Azure AI Foundry Local その1 Windows 11で試す の続き
本稿では、Apple Siliconを搭載するMacを使用して、 Azure AI Foundry Localのインストール、 Azure AI Foundry Localへのプロンプトを与えてみます。
早速インストールしてみます。クイックスタートによるとbrew (HomeBrew)によるコマンド2行で終わります。
モデルの一覧を取得してみました。
Macでは、NPUではなくGPU表記ですね。WindowsとMacではモデルそのものも違うのでしょうかね？！
Azure AI Foundry Local その1 Windows 11で試す ではうまくいかなったNPUを使うdeepseekモデルを実行してみます。初回ゆえ、モデルのダウンロードから始まります。
モデルのダウンロードが完了し、プロンプトが入力可能になりました。
では、Why is the sky blue? とプロンプトを与えてみました。
続いて、なぜ空は青いのか？ と日本語でプロンプトを与えてみました。
プロンプト入力から終了するには、/exitを入力すれば良いですね。
続いて、Phi 3.5 miniを使ってみます。
※ブロードバンドルーターを再起動したので、再試行した方が圧倒的に早くダウンロードできました。あと、夜に確認したので、ウィンドウがダークモードになっております、ご了承ください。
Why is the sky blue? とプロンプトを与えてみました。
続いて、
と日本語でプロンプトを与えてみました。
今年のMicrosoft Build直後に発表されたAzure AI Foundry Localを試します。
注）本稿執筆時点では、プレビュー版です。今後、機能などが変わる場合がありますので、ご留意ください。
まず
Unlock Instant On-Device AI with Foundry Local
をご紹介します。こちらにインストール方法、簡単な使用方法、公式情報へのリンクが収められています。
本稿では、Windows 11 ARMマシンを使用して、インストールおよびプロンプトを与えてみます。
早速インストールしてみます。クイックスタートによるとWingetによるコマンド一行で終わります。
契約条件に同意します。
しばらく待つとインストール完了しました。
どういうモデルが使えるかみてみます。クイックスタートによると"foundry model list"を実行します。
では、クイックスタートの例に倣ってプロンプトを与えるべくモデルを実行します。初回なのでモデルをダウンロードしていますね。
しばらく待つと完了しました。
クイックスタートの例に倣ってプロンプトを与えます。
さて日本語で同じ意図のプロンプトを与えてみます。
一部英語が残ったり、一部正しく翻訳できていませんが、日本語で回答してくれました。このプロンプトに対してだけを鑑みるとうまく翻訳できていないところも推測可能ですね。ただ、この日本語プロンプトに関しては回答が止まりませんでした。上記の画面下部でも、回答が止まっていない感じで、実際は下記のようにしばらく止まりませんでした。
LM Studioを使ってもいても、ときたま暴走を見かけました。モデルの問題なんでしょうかね？！
さて、NPUを使うモデルもみてみます。あいにくCopilot+PCではなく、Windows Dev 332 キット 2023です。Copilot+PCほどではないもののNPUはあります。先ほどと同じ英語のプロンプトと日本語のプロンプトをそれぞれ与えてみます。
deepseek-r1-7bでは、モデルのロードに失敗しました。
Phi-4-mini-reasoning-qnn-npuは、どうでしょうか？
これもダメでした。
ということで次回は、MacOSで試してみます。
