Mac OSでllama.cpp (1)　インストール

-
まずはwgetをインストールして、wget でバイナリーをダウンロードする

brew install wget
cd Download
wget https://github.com/ggml-org/llama.cpp/releases/download/b9537/llama-b9537-bin-macos-arm64.tar.gz
tar -xvf llama-b9357-bin-macos-arm64.tar.gz
cd  llama-b9357

モデルを保存するフォルダーを作って 

mkdir model
cd model

モデルをダウンロードgema4-e4bをダウンロード 

huggingfaceから量子化4bitのGGUFのものをダウンロード、リンクをコピーすると、最後に"?download=true"がついているのでこれを消してwgetでダウンロード

 wget https://huggingface.co/google/gemma-4-E4B-it-qat-q4_0-gguf/resolve/main/gemma-4-E4B_q4_0-it.gguf?download=true

 llama-b9357のままだとあれなので、llama_cppにディレクトリを変更

 

 ./llama_cpp/llama-server --host 0.0.0.0 --port 8080 --models-dir llama_cpp/models -ngl 99

で起動できる。がサービスにするのがまた手こずっている。

以下のページ参考にちょっと次を進めよう


コメント

コメントを投稿

このブログの人気の投稿

ImDisk Toolkitが開発終了していた。AIM Toolkitに乗り換え

-
イメージ
 RAMディスクを作るフリーウェア ImDisk Toolkitが開発終了していた。 RamPhantomEXの乗り換えを検討　2　位im Disk tool 2020/11/08 のころに乗り換えたので4年半くらいお世話になりました。 AIM Toolkit が後継プロジェクトとして行くらしい。 さてRAMディスクどうしたものか、作業用としては重宝していた物の、どうしたものかと色々調べていたら。ちょっと遅いらしい。 外部サイト： AIM Toolkit(ImDisk Toolkitの後継)がリリースされたので使ってみた これ読んでみて、確かに、アプリケーションインストールするときimdisk toolkitでTMP関係をRAMディスクにとっているとインストールに失敗していたのはこれか。 と言うわけで、AIM toolkitに乗り換えてみよう。 取りあえず、インストール、でCrystalDiskMarkでベンチ 遅いという話でしたが、 RamPhantomEXの乗り換えを検討　2　位im Disk tool 2020/11/08 のときと比較すると確かにRAND4K Q32T1は遅くなっているが、それ以外はあんまり変わらん。まあ、ベースのメモリ速度が上がっているので追いついたか。 ImDiskの後継アプリのAIM toolkitを試してみた このサイトで、設定で「Use AWE physical memory」をONにすると速くなるとの情報やってみると、ディスク作成に時間がかかるのがきになった。ベンチは以下 シーケンシャルはめっちゃ速くなるけど、Randomが遅くなっている。キャッシュの用途として使うことを考えると、AWE使わない方がよいと判断。 AWE無しでクイックフォーマットONにするとベンチマーク的にはほとんど変化無し、ディスク作成時の時間が極端に短くなったので、これで使おうと思う。
続きを読む

Windows 10 デフォルトゲートウェイに0.0.0.0が追加される

-
ルーターの設定いじっていて、結果クライアントのIPアドレスをなんやかんやといじっていたら突然特手のアドレスと通信できなくなった・・・・。困った。 ローカルネット内のIPはOK、デフォルトゲートウェイを介して接続するネットワークもOK,ところがデフォルトゲートウェイでルーティングしている別ネットワークだけNG でもNGなのは1台の端末だけ？？？？他のDHCPや固定IPの端末もちゃんとルーティングされる。つまり、この一台の問題。 まずはipconfig リースの有効期限. . . . . . . . . . .: 2017年12月5日 11:24:50 デフォルト ゲートウェイ . . . . . . . : 0.0.0.0 　　　　　　　　　　　　　　　　　　　　　　192.168.0.254 !?デフォルトゲートウェイ0.0.0.0ってなんやねん、正しいデフォルトゲートウェイも設定されているけど。 route print （あまりにも久々のwindows系のコマンドにprint routeとか打ってしまう）(改行おかしくって読みにくいけど） ネットワーク宛先 ネットマスク　ゲートウェイ インターフェイス メトリック 0.0.0.0 　　　　0.0.0.0 　リンク上 　　　 192.168.0.50　　　 281 0.0.0.0 　　　　0.0.0.0 　192.168.0.254 192.168.0.50 　　  25  0.0.0.0に投げている、それも長微妙なメトリックス281　他のメトリックスが281や331なので、多分微妙に優先されている。 「0.0.0.0 デフォルトゲートウェイ」で調べてみるとWindows7くらいからちょくちょくおこっているよう。 ここ 　や　 ここ 　で教えてもらいました。 多分ネットワーク設定で手動でデフォルトゲートウェイとかしていたせいで設定が残っていたのか。 管理者権限で「route delete」コマンドでデフォルトゲートウェイを削除し route delete 0.0.0.0 mask 0.0.0.0 正しいデフォルトゲートウェイを追加 route add 0.0.0.0 mask 0.0.0.0 192.168.0.2...
続きを読む

iOS VLC でSMB共有できなかった点について

-
 iOS版 VLCでずっとNAS上のファイルを再生したいたのだが、なにかのタイミングでNASにアクセスできなくなった。認識はできるがアカウントとパスが通らない。NASはAS4004Tでタイミング的にはGuestアカウントが有効になっていたのを無効にした時点が怪しい。まあ、NASの設定的には接続の最低設定がSMB2で上位がSMB3になっているので大丈夫だと思っていた。 ちなみにiOS版のVLCがSMB2に対応したのは Ver.3.1.8(2019.4.11)の時点でである。なので大丈夫だと思っていたのだが、どうも違った。 結果としてiOS版VLCのバージョンアップされて接続可能となった。 3.2.13（2020年10月22日） · Add support for SMBv3 · Fix authentication regression with SMBv2 servers · Fix login to Box.com
続きを読む