今年のMicrosoft Build直後に発表されたAzure AI Foundry Localを試します。
注）本稿執筆時点では、プレビュー版です。今後、機能などが変わる場合がありますので、ご留意ください。
まず
Unlock Instant On-Device AI with Foundry Local
をご紹介します。こちらにインストール方法、簡単な使用方法、公式情報へのリンクが収められています。
- Foundry Local のドキュメント
公式情報の日本語版です。ここから下記にアクセスできます。 - Foundry Local の概要
と書かれていますが、左ペインの項目は「作業を開始する」です。動作に必要な前提条件（システム要件）も記載されています。
本稿では、Windows 11 ARMマシンを使用して、インストールおよびプロンプトを与えてみます。
早速インストールしてみます。クイックスタートによるとWingetによるコマンド一行で終わります。
契約条件に同意します。
しばらく待つとインストール完了しました。
どういうモデルが使えるかみてみます。クイックスタートによると"foundry model list"を実行します。
では、クイックスタートの例に倣ってプロンプトを与えるべくモデルを実行します。初回なのでモデルをダウンロードしていますね。
しばらく待つと完了しました。
クイックスタートの例に倣ってプロンプトを与えます。
さて日本語で同じ意図のプロンプトを与えてみます。
一部英語が残ったり、一部正しく翻訳できていませんが、日本語で回答してくれました。このプロンプトに対してだけを鑑みるとうまく翻訳できていないところも推測可能ですね。ただ、この日本語プロンプトに関しては回答が止まりませんでした。上記の画面下部でも、回答が止まっていない感じで、実際は下記のようにしばらく止まりませんでした。
LM Studioを使ってもいても、ときたま暴走を見かけました。モデルの問題なんでしょうかね？！
さて、NPUを使うモデルもみてみます。あいにくCopilot+PCではなく、Windows Dev 332 キット 2023です。Copilot+PCほどではないもののNPUはあります。先ほどと同じ英語のプロンプトと日本語のプロンプトをそれぞれ与えてみます。
deepseek-r1-7bでは、モデルのロードに失敗しました。
Phi-4-mini-reasoning-qnn-npuは、どうでしょうか？
これもダメでした。
ということで次回は、MacOSで試してみます。
0 件のコメント:
コメントを投稿