HP Omnibook x14-feを買った(8)LLM環境
HP Omnibook x14-feのSnapdragonのNPUの利用、いまいちすすまない。現時点で。Ollamaはダメだし。 Anythingllmはバックグラウンド選択すれば動くが、どうも私と相性が合わない。機能が豊富すぎるように感じる。 https://qiita.com/qks_nagata/items/442b377600e1db601109 を参考にFoundry Localをつかってみる。 winget install Microsoft.FoundryLocal でインストールされる、途中で許諾するかどうか問われる。 foundry model list でリストを探すそうだが 何かでかいのをダウンロードしている リストが出てくるので foundry model run phi-3.5-mini-instruct-qnn-npu を実行 phi3.5のNPU対応をダウンロード 2.78GBくらい 環境にもよるだろうけど32Mbpsくらい、おそいな、そしてエラーのあらし、「そのようなホストは不明です」ただ、何回かリトライすると落とせている。 インストール完了するとNPUがっつり使って軽快に会話できる ただ、「こんにちは」って入力すると、返答が無限ループする 自己紹介してはちゃんと帰ってきた。日本語でちゃんと帰ってくる。 「空はなぜ青いの」は無限ループ 「話は短めに、空はなぜ青いの」は完結した。 インストール先は C:\Users\<ユーザー名>\AppData\Local\Microsoft\WindowsApps\foundry.exe モデルは C:\Users\<ユーザー名>\.foundry\cache\phi-3.5・・・・・・みたいにモデルが保存される。