戯言雑記

MQTTでIoT通信(4)受け取ったのデータのファイル保存に挑戦。 sudo apt install python3-paho-mqtt で Pythonの paho-mqtt ライブラリをインストール logger.pyとして import paho.mqtt.client as mqtt import os # --- 設定 --- BROKER = "localhost" TOPIC = "sensor/#"     # 受信したいトピック #LOG_FILE = "mqtt_data.csv" # 保存ファイル名 LOG_FILE_pre = "/tmp/mqtt-data-" # 保存ファイル名の接頭部分 # メッセージ受信時の処理 def on_message(client, userdata, msg):     # 届いた内容を文字列に変換     payload = msg.payload.decode("utf-8")     #トピックスのデータの処理 sensor/マシン名     myTOPIC = msg.topic.split('/')     #myTOPIC[0]がsensorで[1]がマシン名     #ペイロードのデータの処理     mydata = payload.split(':')        # mydata[0] = tmp  mydata[1]が温度になるはず      LOG_FILE = LOG_FILE_pre +myTOPIC[1] + '-' + mydata[0] + ".txt"   #logファイルの指定　/tmp/に接頭語 マシン[>          # ファイルに上書き保存（自動で閉じる仕組み） データの値だけ格納、温度だと24.45みたいな     with open(LOG_FILE, "w", encoding="utf-8")...

 mosquittoの設定する。 /etc/mosquitto/mosquitto.confが設定ファイルで、初期設定では以下のようになっている。 #Place your local configuration in /etc/mosquitto/conf.d/ # # A full description of the configuration file is at # /usr/share/doc/mosquitto/examples/mosquitto.conf #pid_file /run/mosquitto/mosquitto.pid persistence true persistence_location /var/lib/mosquitto/ log_dest file /var/log/mosquitto/mosquitto.log include_dir /etc/mosquitto/conf.d 詳細は　/etc/mosquitto/conf.d　以下からインクルードするようになっている。特にファイルは置かれていない（READMEだけ）。取りあえず最低限の記述をするために　/etc/mosquitto/conf.d/01mosquitto.conf　を作成 listener 1883 0.0.0.0 allow_anonymous true 全てのIPからポート1883で受信する パスワード認証とかは無し　という設定です。　  sudo systemctl restart mosquitto で再起動。 mosquitto_sub -d -t /client/abc を実行。別クライアントから mosquitto_pub -h [ IP address ] -p 1883  -t /client/abc -m "shee546978" で通信できる。 ユーザー認証 以下でユーザー作成1回目だけ -c をつける（ファイル pwfile が作成される） sudo mosquitto_passwd -c /etc/mosquitto/pwfile testuser パスワード入力を2回求められるので適当にいれると ファイル pwfile　にハッシュ値？で保存される（違うユーザーで同じパスワードいれても違う値になるね）。...

  MQTTでIoT通信をしようと思う。まずはサーバーになるラズパイ(取りあえずはバーチャルマシンに構築したx64のRaspberry pi OSをインストールしたサーバー)にMQTT Broker(サーバーみたいなもの）をインストールソフトはmosquitto > sudo apt install mosquitto 次にパブリッシャーをインストール > sudo apt install mosquitto-clients ターミナルを2枚開いてAで受信状態にします。 mosquitto_sub -d -t /client/abc Bで送信コマンドを送る mosquitto_pub -d -t /client/abc -m "shee546978" A側で   Subscribed (mid: 1): 0 Client (null) received PUBLISH (d0, q0, r0, m0, '/client/abc', ... (10 bytes)) shee546978  と受信される。 取りあえず、これで動作確認ができる。 ただし現在はブローカーも、パブリッシャーもサブスクライパーも同じマシン上で動いていることに注意。 参考 https://qiita.com/sheep29/items/637f9f00e35cc707f681 https://elchika.com/article/ea67de45-ab62-4515-8a63-e9f83f056eed/ https://qiita.com/tsudaryo1715/items/da6092fecaa42f7d9b23

  FreshRSSのアップデート1.28.0が出てた、バージョンアップは簡単簡単。昨日は特に欲しいものはなさそう、並び替えについて何件か強化とパフォーマンスの最適化。 取りあえず、バージョンアップ

 うちのシステムを陰で支えているバックアップサーバー長い間運用しているのにあんまり書かれていないので一度まとめてみる。 このブログでは触れているのは以下の投稿か少し触れている バックアップ　2009/9/21 pdumpfsよさげだが　2009/9/22 バックアップ用プロトコル再考　2009/12/18 pdumpfsの挙動 2010/1/07 pdumpfsの挙動2　2010/1/14 backup server HDD死亡　2013/1/07 backup電源死ぬ 2013/9/11 Seagate　ST2000DL003-9VT1 ふたつめ　2018/7/06 rsyncのネットワーク越しのアクセスがsshデフォルト 2015/02/06 大昔はメインサーバーのお下がりパーツで、EDENとかGeode NX 1750で組んでいた。現世代はBiosterのA68N-5600でCPUはAMD A10-4655(Quad core 2.0G, turbo 2.8G) Processorだ。 これに起動用のSSDにIntel の SSD X25-Mを( これが最近エラーを吐いている ） データ領域にHGSTのDeskstar NAS　HGST HDN726040ALE614　4TB を2本とToshibaのDT01ACA300 　3TBを1本搭載している、結構リッチな構成。RAIDは組まず(以前は組んでいたこともあるが、大規模システムでもないので結局RAID無しの方が、緊急時に対応できると判断）。以前はバラクーダが大量死した経験をふまえての構成したような。 さて、このバックアップサーバーの根幹が snapshot-rsync　 http://jaxx0073.seesaa.net/article/128908357.html これが動いている。2009年のver.0.2からアップされていないが、問題なく動いている。 このファイルの前はpdumpfsを使おうとしていたが、上記リンクからも問題があったのでやめた。 探すと、同じようなことができそうなソフトウェアーがあるようだ rsync-time-machine rsync-time-backup rsnapshot それぞれGithubで公開されていてメンテナンスされていそうだが、rsync-time-back...

 最近RSSをはじくサイトが何個か見られる。困ったので、対策を検討。 IPでけられているわけではなさそうなのでUser-Agentでけっていると推察。 Crul,Wgetはダメでaria2はダウンロードOK、あと、ブラウザもOKなので、確信 FreshRSSのユーザーエイジェントを変更の設定はうまくいかなかった。(もしかしたら設定したエージェントがまずかったかな。サンプルで書かれているのを使った) でaria2でrssをダウンロードしてFreshRSSをホストしているサーバーのローカルしかアクセスできないディレクトリに保存、RSSをそこに見に行く形にした。取りあえず避けれた。

 1.25.0が出ていたのでアップデートしてみた。方法は簡単、管理者でログイン. 右上の歯車の中の「更新」で「アップデートの確認」でアップデートすれば自動的にアップデートされる。簡単なものだった。

フィードの自動更新の方法は以下に書かれている。 https://freshrss.github.io/FreshRSS/en/admins/08_FeedUpdates.html コピペすると /etc/crontabを編集して以下を編集して追加せよ。 意味は毎時10分にwww-dataが php以下のファイルを実行せよ。ログは/tmp/FreshRSS.logに書き出せ。です。 10 * * * * www-data php -f /usr/share/FreshRSS/app/actualize_script.php > /tmp/FreshRSS.log 2>&1 /usr/share/FreshRSS/app/actualize_script.phpは環境によって異なり。実際にインストールしたフォルダーに変更です。例えば/ver/html/www/FreshRSS/app/actualize_script.phpとかです。 これで、実行されます。実際にはwebminのcronで登録した。

 今更ながら、FreshRSSについて検討、 Google Reader難民　-2013/04/05 から10年以上ずっとnetvibesを使ってきた。結構お世話になってきたのだが、最近RSSを発行しないサイトや、保存したfeedの検索できないのが気になっていた。 移行先考えていたが、ためしにFreshRSSを試してみようっともった。特徴して、 多くがあげられていた が Raspberry Pi 1でも十分に動作するぐらい軽量 XPathを利用したウェブスクレイピング機能も持っているためRSS非対応のサイトも情報収集可能 データベースもSQLiteを含めて好みのものを選択できる がきになった。あまりリッチでないvpsでうごかしたいので、軽い目なのは絶対。mysqlやPostgreSQLのような本格的なDB管理ソフトはリソース食いそうですからね。SQLliteはうれしい。（どうせ1人しか使わないし。） とりあえず、ためしに使うのに、仮想マシンにubuntu24.04をインストール。SSHを有効にして sudo apt -y install apache2  sudo apt install php php-curl php-gmp php-intl php-mbstring php-sqlite3 php-xml php-zip unzip  libapache2-mod-php  で下準備。FreshRSSの最新版をダウンロードして、展開 wget https://github.com/FreshRSS/FreshRSS/archive/latest.zip  unzip latest.zip FreshRSS-latest/に展開されるのでディレクトリ名をfreshrssに変更 mv FreshRSS-latest/ freshrss/ 試験環境用なのでセキュリティーとかは配慮していません、日運用時はちゃんと対応してね。 webのrootディレクトリに移動 sudo mv freshrss/ /var/www/html/ cd /var/www/html/ sudo chown www-data:www-data freshrss/ -R cd  /var/www/html/freshrss 設定...

 SakuraVPSからConohaVPSにお引っ越ししてみておんなじmuninに登録したので、06の左側がSakuraで運用していたubuntu 18.04、右がConohaで運用しているubuntu 22.04。 apacheのプロセススは減らしたので、減っている。 Disk IOについてはあそれほど変化ない。 Disk Latencyは劇的に下がっている。SakuraがHDDでConohaがSSDなので、この差は大きいかな。伴ってだと思われるが、Load Averageも下がっている。 OSにバージョンアップに伴ってプロセス数やスレッド数が。増えているので、メモリー仕様量は増加していて、スワップの量は増えている。 そのためは、Sakuraではほとんど無かったスワップイン、アウトが頻繁に起こるようになっている 全体としては、特に問題ないかなストレージに関する部分については早くなっている感覚があるが、SSHでつないでいる時に、テキストを貼り付けると少しモッサ入りしているんがあまり印象的に少し遅いように感じるが、全体としては問題ないかな。

 SakuraVPSからConohaVPSにお引っ越しをする SakuraVPSに特に不満は無く、安定しているし、そこそこの性能と価格で魅力的ではあうが、他のサービスが使いたくなったので他のVPSサービスを検討してConohaにうつることにした Sakuraとは2012年の5月からお世話になった次第で、11年ですよ、結構な時間だな。 でConohaでubuntu 22.04を立ち上げて、CPUを grep "model name" /proc/cpuinfo  で確認、Intel Xeon Gold 6230@2.10GHz　とかえってきた。https://vpshikaku.com/cpu/のサイト情報だと、 Conoha Intel Xeon Gold 6230@2.10GHz 2019/Q2 2022/01 779 Sakura Intel Xeon E5-2650 v2@2.60GHz 2013/Q3 2019/11 990 なので、性能的にはちょっと落ちている。 価格は3年分一括払いかつキャンペーンで半分くらいなので全く問題ないか。

 NFSサーバーを構築したお話し まずは　サーバー側で インストール ＄sudo apt  install nfs-kernel-server  インストール  /etc/exports の編集 最終行にでもいいので、共有する条件を記述 /nfs x.x.x.x/255.255.255.255(no_root_squash,rw,sync,all_squash,insecure)  /nfs は公開するディレクトリ x.x.x.x/255.255.255.255は受け付けるIPアドレスとサブネットマスク、webminでは/32では受け付けなかった。 no_root_squash：root を anonymous UID/GID にマッピングしない rw:読み書き可 sync：同期書き込みを有効にする (デフォルト)  all_squash：全 UID/GID を anonymous UID/GID にマッピングする insecure：1024番ポート以降のポートからのリクエストも受け付ける これで接続可能になるが、IPアドレス以外の制限がないのでいまいちね。 取りあえず。認証について検討しよう(大昔にも言ったような気がする)

rasbianで久々にunboundを構築したら、結構面倒くさかった件について unbound rasbian- 6/15/2019 unbound の設定確認- 12/08/2019 にあるほうほうでインストールできるのだが、 forward-zone:     name: "."     forward-addr: 192.168.3.XX4 を設定するとエラーになって起動できない   sudo  unbound-checkconf を行うと error: duplicate forward zone . ignored. とエラーが出る。  ずっと原因がわからなかったのですが。 /etc/unbound/unbound.conf.d/resolvconf_resolvers.conf というファイルが自動で作られるようだ、中身は/etc/resolvconf で、消しても、修正しても、再起動時に自動的に生成されるようで、/etc/dhcpcd.confあたらりの情報から自動生成されている。 仕方ないので、 forward-zone:         name: "jp."         forward-addr: 8.8.8.8 forward-zone:         name: "com."         forward-addr: 8.8.8.8 としてみた、それ以外はその他の内部DNSに問い合わせ 

 久々にsambaでADを構築、ADの管理ツール群がRSAT(リモートサーバー管理ツール）をインストールするわけですが。最近のWindows10ではダウンロードじゃ無いらしい。 「スタートメニュー」→「設定」→「アプリ」をひらき、「オプション機能」を実行。機能の追加を実行。 RSAT:グループポリシー管理ツール RSAT:Active Directory Domain Services およびライトウェイトディレクトリサービスツール をインストール

 固定IP　/etc/dhcpcd.conf　を編集 interface eth-0 static ip_address=192.168.3.253/24 #static ip6_address=fd51:42f8:caae:d92e::ff/64 static routers=192.168.3.254 #static domain_name_servers=192.168.3.254 8.8.8.8 static domain_name_servers= 192.168.3.254 apache の導入 $ sudo apt install apache2 apache2-doc  php php-gd php-pear libapache2-mod-encoding libapache2-mod-php php-mbstring php-cgi php-common libapache2-mod-fcgid libcgi-fast-perl  modencodingの有効化 有効化(インストール時点で有効化されているはず） この時点でfastcgiつかえてない気がする $ sudo a2enmod encoding $ sudo a2enmod rewrite munin等のインストール  $ sudo apt install munin munin-node munin-plugins-extra $ sudo apt install rrdcached $ sudo apt install munin libnet-snmp-perl   /etc/default/rrdcached の編集 WRITE_TIMEOUT=1800 WRITE_JITTER=1800 SOCKGROUP=www-data BASE_OPTIONS="-F -f 3600" に変更 アクセスグループの変更 sudo gpasswd -a munin www-data sudo gpasswd -a www-data munin /etc/apache2/conf-enabled/munin.conf の編集 ここでアクセス制限を取り除くだけどOK <Directory /var/cache/munin/www> と　...

 サクラVPSの仮想サーバー上のファイルの圧縮がやたら早いのでベンチマーク取ってみた  $> 7z b サクラVPS上　1回目 Intel Xeon Processor (Cascadelake) (50655) CPU Freq:  2956  2969  2978  2974  2960  2971  2977  2977  2980 RAM size:     984 MB,  # CPU hardware threads:   2 RAM usage:    441 MB,  # Benchmark threads:      2                        Compressing  |                  Decompressing Dict     Speed Usage    R/U Rating  |      Speed Usage    R/U Rating          KiB/s     %   MIPS   MIPS  |      KiB/s     %   MIPS   MIPS 22:       7152   175   3975   6958  |      69221...

 とりあえず、P5を装着した。 装着したのは　MSI B450 TOMAHAWK　Ryzen 5 2600のPCサーバー準備機 M.2スロットに装着、そこでひとつ、M.2のビスは誰のものか。 前回、M.2にヒートシンクをつけた わけだが、そこにM.2用のビスが入っていた。これつかわんだろうなと思っていたが。マザボのM.2のところについているものを使おうとすると・・・。ついていない。P5には入っていなかったので、結局ヒートシンクのを使うのだが、なんか違う感じ、マザーの箱の中にビス入っているんかな。 で、とりあえず、パフォーマンスチェック。 このPC、仮想サーバの土台にするつもりで作ったが事情で3年ほど塩漬けしているPCで、いまは適当に仮想Linuxが何台か構成されている。 適当に作っていたUbuntu 18.04LTSがあったので、これにマウントしてSAMBAで共有してみた。とりあえず、CrystalDiskMarkでベンチ Esxiのネットワーク接続は1GbEと10GbE まずは1GbEで（仮想マシンが1GbEで接続されていたのを忘れていただけ） 1GbEをがっつり使っている感じ。 では続いて。10GbEに切り替えて、DiskMarkの設定をデフォルトモードの切り替えてとりあえず64MiBで 結構早いねとはいえMVNeがそのままという感じでは無いですね。 これのMVNeモードにすると、ベンチマーク結果が情報（モードが変わっているけど） 512MiBでノーマルモード 512MiBのMVNeモード とりあえず、過去最高のネットワークドライブの性能

 sudo apt-get install webalizer でインストール   /etc/webalizer/webalizer.conf の編集 ホスト名を追加 HostName test.test.co.jp 除外ファイルを追加 HideURL *.js HideURL *.css HideURL *.ico HideURL *.txt 集計の数は適当に TopSites        50 TopKSites       30 TopURLs         50 TopKURLs        30 TopReferrers    50 TopAgents       30 TopCountries    30 TopEntry        50 TopExit         10 TopSearch       20 TopUsers        50    

 curlでhttps通信しようとすると当然だがちゃんとした証明書をインストールしていないと以下のようなエラーが出る。 curl: (60) SSL certificate problem: self signed certificate  curl --insecure https://サーバーアドレス -X POST ・・・・・ と --insecure https://サーバーアドレス をいれてあげるとオレオレ証明書のサーバーでもアクセスできる。

 とりあえずubuntu 20.04 のmariaDBの設定ファイルは /etc/mysql/mariadb.conf.d/50-server.cnf 詳細なチューニングにはphpMyAdminのアドバイスが有効なのだろうが、今回はインストールしていない。 とりあえず、 ＃をとる､値を変更するのは max_connections        = 100 query_cache_size        = 32M query_cache_limit      = 9M　　　（1M) thread_cache_size      = 16　　　　（8）　とりあえず赤表示はなくなる  table_cache            = 128　　　（64）　　 key_buffer_size　　＝　　32M 追加  [mysqld] max_heap_table_size = 32M tmp_table_size  = 32M  table_open_cache = 600　　　　　（400）  とりあえず詳細は今回はパス。再起動コマンドは sudo service mysql restart ちなみに仮想マシン同士の接続なのでほぼ意味ないがめも､この時点で　15#/sec程度 query_cache_limit結構聞くねっていうか、これしか調べてないけど、さらにnginxではなくapacheだけど query_cache_limit      = 64M　　28.73 [#/sec]　あんまり効果無いね query_cache_limit      = 16M　　28.84 [#/sec] query_cache_limit      = 9M　　　27.90[#/sec]　　ちょっと少ないね query_cache_limit      = 3M　　　27.91[#/sec] query_cach...