注)本稿執筆時点では、プレビュー版です。今後、機能などが変わる場合がありますので、ご留意ください。
仮想マシンで Azure AI Foundry Localで試します。今回は、MacOS上のParallels DesktopでWindows 11にてAzure AI Foundry Localで試す形ですね。
CPUを使うモデル、NPUを使うモデルの順で確認します。NPUを使うモデルについては、そもそも仮想マシンでも使えるの?、というかGPUが不透過なのでどういう挙動になるかが興味深いだけです。
インストールは、問題なく完了。
これまでの確認と同様に進めるので、まずはCPUを使うモデルを確認します。
英語のプロンプトを与えました。スムーズに回答返ってきます。途中経過を見るとCPUをしっかり使っていました。
日本語のプロンプトを与えました。途中経過を見るとCPUをしっかり使っていました。
ただし英語と比較しても日本語の場合、ちょっと重い感じで回答し始めました。メモリが6GBしかないからかも知れませんね。
結果としては、途中で回答ストップしてしまい、ブランクが続きました。ただしメモリが足りないからなのかなど、原因を推測するには情報不足とも思います。
NPUを使うモデルを試します。deepseek-r1-7bでは、モデルのロードに失敗しました。
Phi-4-mini-reasoning-qnn-npuは、どうでしょうか?
これもダメでした。
0 件のコメント:
コメントを投稿