HP Omnibook x14-feを買った（8）LLM環境

 HP Omnibook x14-feのSnapdragonのNPUの利用、いまいちすすまない。現時点で。Ollamaはダメだし。

Anythingllmはバックグラウンド選択すれば動くが、どうも私と相性が合わない。機能が豊富すぎるように感じる。

https://qiita.com/qks_nagata/items/442b377600e1db601109を参考にFoundry Localをつかってみる。

winget install Microsoft.FoundryLocal

でインストールされる、途中で許諾するかどうか問われる。

foundry model list

でリストを探すそうだが 何かでかいのをダウンロードしている

リストが出てくるので

foundry model run phi-3.5-mini-instruct-qnn-npu

を実行　phi3.5のNPU対応をダウンロード　2.78GBくらい

環境にもよるだろうけど32Mbpsくらい、おそいな、そしてエラーのあらし、「そのようなホストは不明です」ただ、何回かリトライすると落とせている。

インストール完了するとNPUがっつり使って軽快に会話できる

ただ、「こんにちは」って入力すると、返答が無限ループする

自己紹介してはちゃんと帰ってきた。日本語でちゃんと帰ってくる。

「空はなぜ青いの」は無限ループ

「話は短めに、空はなぜ青いの」は完結した。

インストール先は

C:\Users\<ユーザー名>\AppData\Local\Microsoft\WindowsApps\foundry.exe

モデルは

C:\Users\<ユーザー名>\.foundry\cache\phi-3.5・・・・・・みたいにモデルが保存される。