ガジェットコンパス

ガジェット探求の旅に終わりはない
🔍
自宅サーバーProxmoxDokku障害対応

自宅サーバーが1日で全部壊れた話|ディスク満杯からVM全滅まで

👤 いわぶち 📅 2026-11-18 ⏱️ 5m

はじめに

このブログ(ガジェットコンパス)は、自宅サーバーで動いている基盤の上で作られています。記事の管理画面も、画像や動画の配信も、ビルドの仕組みも、だいたい自宅の中です。

2026年11月17日、その自宅サーバーで障害が連鎖しました。1つ直すと次が見つかる、というのが夕方から深夜まで続きました。せっかくなので、記録として残しておきます。

なお、攻撃のヒントになるような情報(アドレスや接続まわりの詳細)は出しません。話の本筋は「何が壊れて、どう直したか」です。

夜の自宅サーバーコーナー(イメージ)

当時の構成(ざっくり)

  • Proxmoxのクラスタ2台でVMを運用
  • ブログ基盤のVM(Dokkuでアプリ管理)
  • GitLabのVM(記事の保管とCIビルド)
  • CMS用のVM(最近足したばかり)
  • その他、細々したサービス

この「最近足したばかりのVM」が、後の伏線になります。

第1幕: ディスク100%、犯人は9.7GBのログ

最初に気づいたのは、Dokkuのコマンドが変なエラーを吐くことでした。ドキュメントにもないようなエラーメッセージで、調べると「ディスクが満杯のときに出ることがある」という情報に行き当たりました。

確認すると、ルートディスクは使用率100%、空き0。

内訳を掘ると、Dockerまわりが42GB。その大半は2つで、1つはオブジェクトストレージのデータ置き場(22GB、これは実データなので触れない)、もう1つが1個のコンテナのログファイル9.7GBでした。監視系のコンテナが、延々とログを吐き続けていたのです。

溢れ出すログファイルと満杯のストレージ(イメージ)

対処はログファイルをtruncate(中身を空に)するだけ。空きが9.0GBまで回復し、Dokkuも復活しました。

教訓: Dockerのログローテーションを設定していなかった。デフォルトではコンテナログは無制限に育ちます。再発防止の設定は宿題として残っています。

第2幕: ポートが勝手に戻って衝突

次に、関連記事の検索を担う小さなサービスのポートがおかしくなっていました。再起動のタイミングでポートマッピングが初期値側に戻り、ホスト上で別のサービス(監視ダッシュボード)と衝突していたのです。

ポートを正しい値に固定し直して復旧。地味ですが、「再起動したら設定が戻る系」は踏むと時間を溶かします。

第3幕: GitLabもディスク100%

今度はGitLabが死にました。こちらもディスク100%。

ただ、GitLab本体のデータは13GBほどしかありません。犯人はaptのキャッシュが14GB。長期間の運用で.debファイルが溜まり続けていました。

apt-get clean 一発で使用率73%、空き14GBまで回復。全サービス正常に戻りました。

第4幕: ブログのビルドが落ちる

夕方、ブログのビルドが失敗しました。関連記事の取得は成功しているのに、最後のほうでエラー。

原因は、記事のポッドキャスト音声を置いているストレージ(SeaweedFS)のスタックが止まっていたことでした。VMが再起動したあと、このスタックだけ自動で戻ってこない作りになっていたのです。

手で起動して、ストレージの応答を確認して、ビルド再実行。今度は通りました。

「任意機能の読み込み失敗で、公開の本流が全部止まる」というのは設計として逆転しているので、ここは作りを変える検討中です。

第5幕: VMが2回死ぬ。本丸はホストのメモリだった

この日の最大の謎がこれです。ブログ基盤のVMが、午前と夕方の2回、突然落ちました。

ゲストOS側のログは途中でぷっつり途切れているだけ。シャットダウンの形跡も、パニックの記録もありません。Proxmox側のタスク履歴にも、停止操作の記録なし。

ホスト側のログを見て判明しました。ホストのOOM killerが、VMのプロセス(メモリ約6.2GB)を殺していたのです。

小さなホストに積み上がるVM(イメージ)

ホストは実メモリ16GBのマシン(Mac mini 2012が現役で頑張っています)。そこに割り当てていたVMの合計は14GiB。ホストOSの取り分はほぼ残っていませんでした。スワップは0。最近足したCMS用のVMが、限界を超える最後の一押しになったようです。

対処として、ホストにスワップ8GBを追加しました。ホストのルートがZFSだったため、スワップファイルは作れず(「穴がある」と怒られる)、ZVOLで作るという一手間がありました。

第6幕: 深夜、ホスト自体のコンソールが無応答

日付が変わる頃、今度はホストの管理コンソールが応答しなくなりました。

  • pingは通る(カーネルは生きている)
  • SSHは接続の途中で固まる(セッションを起こす余力がない)

スワップを激しく行き来するスラッシング状態と判断し、最終手段として本体の電源ボタンで強制再起動。起動音とともに復活し、VM群も順次戻ってきました。

深夜、電源ボタンに手を伸ばす(イメージ)

翌日には、使っていないサービス2つ(課金ユーザーがいなかったもの)を停止しました。需要側を削るのも立派な対処です。

残っている宿題

  • GitLabが重い問題: ワーカー数が多く、各プロセスが約1.3GB使うため10GBのVMでスワップが常時回っている。ワーカー数を絞る根本対処はこれから
  • Dockerのログローテーション設定
  • バックアップが数か月止まっていたことに、この日気づいた(要確認)
  • そもそものメモリ不足: 増設するか、台数を整理するか

まとめ

  • 障害は1日にまとめて来ることがある
  • 原因はだいたい地味: ログ、キャッシュ、メモリ配分
  • 「コマンドの変なエラー」や「ログが途中で切れている」といった間接的な手がかりから、層を1つずつ掘るしかない
  • 余裕(ディスク・メモリ・スワップ)は、平常時の無駄ではなく障害時の命綱

自宅サーバーは壊れるから面白い、と言いたいところですが、この日ばかりは勘弁してほしかったです。

🗂️ 人気カテゴリ

記事数の多いカテゴリから探す