プッシュ通知
新記事をすぐにお知らせ
このブログ(ガジェットコンパス)は、自宅サーバーで動いている基盤の上で作られています。記事の管理画面も、画像や動画の配信も、ビルドの仕組みも、だいたい自宅の中です。
2026年11月17日、その自宅サーバーで障害が連鎖しました。1つ直すと次が見つかる、というのが夕方から深夜まで続きました。せっかくなので、記録として残しておきます。
なお、攻撃のヒントになるような情報(アドレスや接続まわりの詳細)は出しません。話の本筋は「何が壊れて、どう直したか」です。

この「最近足したばかりのVM」が、後の伏線になります。
最初に気づいたのは、Dokkuのコマンドが変なエラーを吐くことでした。ドキュメントにもないようなエラーメッセージで、調べると「ディスクが満杯のときに出ることがある」という情報に行き当たりました。
確認すると、ルートディスクは使用率100%、空き0。
内訳を掘ると、Dockerまわりが42GB。その大半は2つで、1つはオブジェクトストレージのデータ置き場(22GB、これは実データなので触れない)、もう1つが1個のコンテナのログファイル9.7GBでした。監視系のコンテナが、延々とログを吐き続けていたのです。

対処はログファイルをtruncate(中身を空に)するだけ。空きが9.0GBまで回復し、Dokkuも復活しました。
教訓: Dockerのログローテーションを設定していなかった。デフォルトではコンテナログは無制限に育ちます。再発防止の設定は宿題として残っています。
次に、関連記事の検索を担う小さなサービスのポートがおかしくなっていました。再起動のタイミングでポートマッピングが初期値側に戻り、ホスト上で別のサービス(監視ダッシュボード)と衝突していたのです。
ポートを正しい値に固定し直して復旧。地味ですが、「再起動したら設定が戻る系」は踏むと時間を溶かします。
今度はGitLabが死にました。こちらもディスク100%。
ただ、GitLab本体のデータは13GBほどしかありません。犯人はaptのキャッシュが14GB。長期間の運用で.debファイルが溜まり続けていました。
apt-get clean 一発で使用率73%、空き14GBまで回復。全サービス正常に戻りました。
夕方、ブログのビルドが失敗しました。関連記事の取得は成功しているのに、最後のほうでエラー。
原因は、記事のポッドキャスト音声を置いているストレージ(SeaweedFS)のスタックが止まっていたことでした。VMが再起動したあと、このスタックだけ自動で戻ってこない作りになっていたのです。
手で起動して、ストレージの応答を確認して、ビルド再実行。今度は通りました。
「任意機能の読み込み失敗で、公開の本流が全部止まる」というのは設計として逆転しているので、ここは作りを変える検討中です。
この日の最大の謎がこれです。ブログ基盤のVMが、午前と夕方の2回、突然落ちました。
ゲストOS側のログは途中でぷっつり途切れているだけ。シャットダウンの形跡も、パニックの記録もありません。Proxmox側のタスク履歴にも、停止操作の記録なし。
ホスト側のログを見て判明しました。ホストのOOM killerが、VMのプロセス(メモリ約6.2GB)を殺していたのです。

ホストは実メモリ16GBのマシン(Mac mini 2012が現役で頑張っています)。そこに割り当てていたVMの合計は14GiB。ホストOSの取り分はほぼ残っていませんでした。スワップは0。最近足したCMS用のVMが、限界を超える最後の一押しになったようです。
対処として、ホストにスワップ8GBを追加しました。ホストのルートがZFSだったため、スワップファイルは作れず(「穴がある」と怒られる)、ZVOLで作るという一手間がありました。
日付が変わる頃、今度はホストの管理コンソールが応答しなくなりました。
スワップを激しく行き来するスラッシング状態と判断し、最終手段として本体の電源ボタンで強制再起動。起動音とともに復活し、VM群も順次戻ってきました。

翌日には、使っていないサービス2つ(課金ユーザーがいなかったもの)を停止しました。需要側を削るのも立派な対処です。
自宅サーバーは壊れるから面白い、と言いたいところですが、この日ばかりは勘弁してほしかったです。
記事数の多いカテゴリから探す