戯言雑記

Proxmox VE 9.2.2新マシーンにインストール 基本さらばESXi、Proxmox VEへの道の流れ ISOをダウンロードrufusでインストールメディアを作成、インストール インストール後 http://ipアドレス:8006 でwebインターフェイスにアクセス。 サーバーのノードで更新のリポジトリでコンポート年とでenterpriseになっているのを無効化、 pve-enterpriseを追加 SSHで接続してapt update とapt apgrade ターミナルの日本語化     # dpkg-reconfigure locales を実行。 en_US.UTF-8 UTF-8を無効にして、ja_JP.UTF-8 UTF-8を有効に。デフォルトをja_JP.UTF-8に変更。 isoイメージの保存 データセンター　－　サーバー －local(サーバー) の「ISOイメージ」に格納した場合、/var/tmpを介して/var/lib/vz/template/iso/に保存される。 /var/tmp/pveupload-42e4dde9dde9afba4bb027f2af81591e /var/lib/vz/template/iso/ubuntu-26.04-live-server-amd64.iso munin-nodeのインストール # apt isntall munin-node でインストール /etc/munin/munin-node.conf　を編集 cidr_allow  192.168.0.0/16 などアクセスコントロールを追加  systemctl restart munin-node.service で再起動 munin のサーバーで これを見れるように変更 CPUの省電力機能は特に設定しなくてもOK インストールするだけで、CPUの省電力機能は有効になっているようだ。 GLPI-Agentのインストール インストーラをダウンロードしてglpi-agent-1.18-linux-installer.pl、実行権を付与 chmod +x glpi-agent-1.18-linux-installer.pl ./glpi-agent-1.18-linux-installer.pl glpi-age...

 ProxmoxのOVMF(UEFI)仮想マシンでclonezillaの画像が乱れる。水平同期がずれているような感じ。  ProxmpxのOVMF(UEFI)仮想マシンにclonezillaのISOを読ませてブートする 最初の起動画面は普通に表示されるが、 　VGA 800x600とか普通のを選ぶと水平同期がずれたようになる。 いままで、普通に起動できたのに、clonezillaのバージョンではなくProxmoxのバージョンアップによるもののようだ。(確信はないけど，状況から） 回避策は Other modes of Clonezilla live を選択、 Clonezilla live（KMS) を選択すると通常表示してくれる。 KMSはマニュアル によると The choice, "KMS" is for you to use KMS (Kernel Mode Setting) for your graphics card. If you have some problem to use the framebuffer mode of your graphics card, you can try it. If you do not need Chinese, Japanese or Korean environment or if your computer experiences problems in the framebuffer mode, you can choose the one "Clonezilla Live Safe graphic settings (vga=normal)" to clone in the English environment.   意訳するとグラボのフレームバッファを使わずに、やったんで とのこと、とりあえずうごくようになった。 ちなみに　 seaBIOS の仮想マシンは問題なく起動できる。 ちなみに

 Windowsのイメージ展開をしようと思って、ProxmoxVEでイメージをのもととなる仮想マシンを作り、そこにインストール、Clonzillaでイメージにして展開を考えていた。 とりあえずwindowsはインストールできる。ところが、windows用の仮想マシンだとClonzillaが起動しない。 SecureBoot関係か。仮想マシンが立ち上がるときに ESCキーを押していわゆるBIOS画面にはいる。 Device Manager を選択 Secure Boot Configuration を選択 Attempt Secure Boot の欄の [X] を [　] に変更 起動した、 Clonezilla live (VGA 800*600) を選択。ん、起動したような、が戻った、もう一回選択。 「 error : you need to load the kernnel first. 」ってでて、すすまない。 悩むが、結果debianベースではなく、 ubuntuベースでのclonezillaを使えば起動できた。 clonezilla-live-20231102- mantic -amd64.iso ですね。

 まずは、cpufrequtilsをインストールして、省電力状態を確認。 # apt install cpufrequtils # cpufreq-info Ryzen 2600を使っているんのでCPU0-11まで表示されるが、ざっくりとみると analyzing CPU 0:   driver: acpi-cpufreq   CPUs which run at the same hardware frequency: 0   CPUs which need to have their frequency coordinated by software: 0   maximum transition latency: 4294.55 ms.   hardware limits: 1.55 GHz - 3.40 GHz   available frequency steps: 3.40 GHz, 2.80 GHz, 1.55 GHz   available cpufreq governors: conservative, ondemand, userspace, powersave, performance, schedutil   current policy: frequency should be within 1.55 GHz and 3.40 GHz.                   The governor "ondemand" may decide which speed to use                   within this range.   current CPU frequency is 1.55 GHz (asserted by call to hardware).   cpufreq stats: 3.40 GHz:100.00%, 2.80 GHz:0.00%, 1.55 GHz:0.00%  (1) 一往1.55まで...

 Proxmox VEに移行したSamba入りのUbutu,ご機嫌で、稼働、ベンチマークもちょっとモヤモヤしながら、基本的には良かったと思います。 ところが、AD参加のWindowsが認証されない？意味がわからない。 結論から言うと、NICのVirtIO (準仮想化)が原因でNICをIntel E1000やVMware vmxnet3に変更することで、認証された。意味がわからない。

 新環境に大体移行した。ryzen5 2600 32GBの環境　1GbEと10GbEでかんたんに移行したSambaサーバーのベンチマーク、基本的にはEsxiから移行してきて、ディスクを分散前はMegaRaid一本だったが、、速さのいる、日頃使うものは早いディスクに、大容量がいるアーカイブ的なディスクにはHDDを当てている ディスク構成は クルーシャル MX500（SATA)　1TB クルーシャル P5（M.2)　1TB　  東芝のMD5　6TB に分散している。ネットワーク接続は10GbE まずは仮想マシンのSCSIコントローラーはVirtIO SCSI singleにVirtIOのNICで構成している ディスク性能を決めそうなパラメータをいじる キャッシュ無し、IO thread ON、SSDエミュレータ　ON、バックアップ　ON おお、いい感じ、わりと早いね。今までのサーバーとが200MB行ったり行かなかったり、だし、 大容量ファイルのコピーが遅い仮想マシン2　2018.9.8 にあるような、最初にピークが出て、そのあと、遅くなると言うこともなく、途中で少し息継ぎすることはあるがその後もピーク値に戻るので安心。 次に、キャッシュ 無し 、IO thread ON 、SSDエミュレータ 　ON 、バックアップ　 OFF 1回しかはかってないし、誤差かな、ちょっと早い？ 次に、キャッシュ 無し 、IO thread ON 、SSDエミュレータ　 OFF 、バックアップ　 OFF 1回しかはかってないし、誤差かな、これも。 次に、キャッシュ 無し 、IO thread  OFF 、SSDエミュレータ　 OFF 、バックアップ　 OFF 1回しかはかってないし、誤差かな、これも。さて本命のキャッシュ関係 次に、キャッシュ Write back (unsafe) 、IO thread  OFF 、SSDエミュレータ　 OFF 、バックアップ　 OFF 書き込み早くなりましたね。いやまて、速くなったけど、あれ、キャッシュ無しやたら遅くない。M.2のMvmeよ。 キャッシュ 無し 、IO thread  OFF 、SSDエミュレータ　 OFF 、バックアップ　 OFF のAsync Ioをnative  あんまり変わん...

 Esxiよりディスク性能いい感じ。 Esxiからもってきたディスク、qcow2に変換されたときに、全領域確保するようだ。のでシュリンク qemu-img convert -O qcow2 vm-x-disk-1.qcow2 vm-x-disk-1.qcow2.new でシュリンクできる  後で　mvコマンドでファイル名を切り替えればOK @disksystem　ProxmoxVE 設定とベンチマーク結果まとめ（ディスク編） https://qiita.com/disksystem/items/b18412a69fdbf2fac0fc から キャッシュは　HDDはWrite back、SSDはWrite back(unsafe) SSDはSSD エミュレーションはON IO ThreadはON SCSIコントローラーはVirtIO SCSI Single Barrier無効化は効果があるがリスク対効果を考えて設定 SCSIコントローラーは　VirtIO SCSI single NICはVirtIO(準仮想化）でMTUを9000 NICは認識されないのでubuntuの場合 /etc/netplan/ の中の有効なファイルを編集 ens192などを ens18 などに変更

 Proxmox VEのインストールではまったところ 1．secure bootをOFF E2Bの問題と切り分けができず焦る。現時点ではsecure bootをOffにしないとインストールできないようだ。これはDebian由来の制限か？ https://www.debian.org/releases/stretch/i386/ch03s06.html.ja 3.6.3. UEFI ファームウェアを利用しているシステムの5段目のパラグラフに書かれている。 3.6.4. Windows 8 の「高速スタートアップ」機能の無効化 3.6.4の方は実害は今のところなさそうだが、OFFにしておくことが良いかと思った。

 EsxiからProxmoxへの仮想マシンの移動がめっちゃ面倒くさい 手間自体はそれほどでもないが、仮想マシンをエクスポートするのが大変だ。 標準はブラウザーでエクスポートするのだが、速度があんまり出ない さらにシンプロビジョニングで作ったディスクも、エクスポートするときはシックで出てくるというEsxiの仕様？あれ困るよね。 小型のディスクならいいのだが1TBとかの容量とっていると実データ少なくっても終わらない。終わらない。でかいディスクは別の方法で移動かな。 --------------- 取りあえず、現役マシンでProxmox VEを動かすとして現状の仮想マシンを待避しなくてはならないので古いHPのサーバーを使うことにしたが。esxi7とか6.7とかだとサポートしていないので6.5をインストール、現在の7で動いている仮想マシンが動かないらしい、 7の仮想マシンのバージョンが17でこれを11くらいまで下げないといけないらしいのだが、動くのかどうか *.vmxの　 virtualHW.version　を変更

 ディレクトリ構成 データセンター　－　pvo －local(pve) のISOイメージに格納したのは は　/var/lib/vz/template/iso　に　格納される。 データセンター　のストレージにマウントしたディスク は　/mnt/pve に格納される。 仮想マシンを作ると vmaと言うディスクに仮想マシンを作ると以下のように仮想マシンのディスクイメージが作られる。 /mnt/pve/vma/images/100/vm-100-disk-0.qcow2 EFIディスクとTPMも　/mnt/pve/vma/images/100/　の中に作られる。 -------------- esxiだと　データストアーの中に各仮想マシン用のディレクトリが作成されてそこに関連するファイルがすべて格納されている感じだったが、Proxmox VEは違うね。ディスクのイメージは仮想マシンのIDのディレクトリに格納されるが、仮想マシンの設定ファイルはどこにあるんだろう。 ------------ 追記、仮想マシンそのものの設定は /etc/pve/nodes/pve/qemu-server

 取り合わずここを参考 Proxmox VE6.3のインストールと、やっておくと良い初期設定 Proxmox VEの初期設定  を参考に 取りあえず、丸パクリ ターミナルの日本語化 # dpkg-reconfigure locales を実行。 en_US.UTF-8 UTF-8を無効にして、ja_JP.UTF-8 UTF-8を有効に。デフォルトをja_JP.UTF-8に変更。 ipv6の無効化 環境によるが、ローカルで動かすので /etc/sysctl.conf　を編集 net.ipv6.conf.all.disable_ipv6 = 1 を追加  # sysctl -p かもしくは、再起動  リポジトリーの変更 /etc/apt/sources.list　を編集 deb http://ftp.jp.debian.org/debian bullseye main contrib deb http://ftp.jp.debian.org/debian bullseye-updates main contrib # security updates deb http://security.debian.org/debian-security bullseye-security main contrib /etc/apt/sources.list.d/pve-enterprise.list　を編集 deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription  /etc/apt/sources.list.d/ceph.list　を編集 deb http://download.proxmox.com/debian/ceph-quincy bookworm no-subscription   --------------- 23.8.1 Ver.8ではまだ https://enterprise.proxmox.com  でエラーになるね。  23.9.1　V8系でアップでとできるようになった。

 ESX、10年ぐらい(と思っていたら） 一番始めのesxに関する投稿が2010.1.7でした。 13年くらい使っていたんですね。 製品名変わったり、ESXiだけがフリーになったりと紆余曲折ありましたが、VMwareが一般ユーザー向けの仮想環境の提供に消極的になり始めと感じてはいました。もう長くないだろうなーと思いながら移行先を探していました。多くの方もそう感じているようで、2022年くらいからProxmox VE環境に移行している記事が増えてきた気がします。 遅ればせながらうちの環境もProxmox VEに移行することを前向きに考え始めました。