光輪サイト

ESXのデータストアが消えた…

先日、スマホのWiFiが繋がらない事に気付いてリビングESXを確認してみるとハングアップしていたので強制的に再起動を掛けたのですが… 😆

(画像はクリックで拡大)

上に乗っているOSのシステム領域を格納しているSSDがデータストアに表示されなくなりました。
ただ、デバイスとしては認識していてマウント済みにもなっています。

実はコレ、過去にも1度だけ発生していて… その際にはサクッとバックアップから戻してしまったんですが、こうも何度も発生するとなると、何か復旧方法が無いか探ってみることに… 😥


機械って壊れて欲しくないタイミングで何故か壊れるんですよねぇ…

色々と試したところ、下記を参考に復旧できました。 😛
VMWare のディスクが死んだ。復旧頑張る。

リンク先にあるUbuntu Rescue Remixと言うLiveCDを使って起動し…
apt-get でインストールできるvmfs-toolsでは、VMFS5がマウントできなかったため、ココを参考にvmfs-toolsをビルド。

$ sudo su -
# cd /tmp
# wget https://launchpad.net/ubuntu/+archive/primary/+files/vmfs-tools_0.2.5-1.tar.gz
# tar -xzf vmfs-tools_0.2.5-1.tar.gz
# cd vmfs-tools
# apt-get install gcc make uuid-dev pkg-config libfuse-dev
# ./configure 
# make install

復旧対象とコピー先を確認
# cat /proc/partitions

マウントする
# mkdir /media/vmfs /media/copy
# /usr/local/sbin/vmfs-fuse /dev/sdX1 /media/vmfs
# mount /dev/sdX2 /media/copy

こんな感じでマウントできました。
あとは、コピーすればデータ自体は取り出しOK! 😀

後は普通にデータストアに上げ直せば起動しました。
とりあえずデータロスト無しで復旧できたのは良いんですが、こうも簡単に壊れるとなると… 何かもっと簡単な復旧方法があってもいい様な気が… 😕

実家用ESXサーバを作ろう その5

仮のPCケースに組み込んで少しずつ設定やデータを移行していた実家用ESXサーバですが、大体移行が終わったので、がっつり切り替えてしまいます!  🙂 


『実家サーバ(旧光輪サーバ)』

何年も稼動し続けているので、さすがに埃が尋常じゃないですね…  😯

電源はどこかのタイミングで一度交換している気もするので、とりあえずケースと電源を除いてすべて取り外して、仮のPCケースに組み込んでいた実家用ESXをこのケースに入れ込みます…

拡張カードは、写真上から「LSI MegaRAID(富士通D2516-C11)」「ノーブランド増設USB2.0 IF」「Qlogic FC HBA(旧光輪サーバより移設)」「Intel 2Port NIC(HP NC360T)」

増設USB2.0 IFと、Qlogic FC HBAはパススルーを設定。
これをどうするかというと…  😉

MSA1000の管理のためだけに存在するような形になってしまっているProliantをP2Vしておいた仮想ゲストOSに割り当てます。

これだけでサクっと仮想ゲストからもMSA1000が見えてきました!  😀
これでやたら煩くて電気代を食うヤツを起動しなくて済みます…

『WAVELINK USB2.o to DVI Display Adapter (DisplayLink USB to DVI Adapter)』

リビングESXと同様に増設したUSB2.o IFにコイツを接続して、P2Vしたサーバが今までと同じように操作できるようにしておきます。

写真のDisplayLink製品はサーバOSには非対応ですが、ベータ版ドライバにて2003, 2008, 2008R2では利用できる様です。
V5.6 beta available (including Windows Server support)


実家用ESXサーバのいっちょあがりぃ!!!
…HDDが適当に転がってるのは、現時点では気にしない方向で…

オムロン POWLI BY35Sのバッテリーを交換!

管理人宅ではパナソニック社製の創蓄連携システムを使っているため、あまり停電の心配は無いんですが、停電発生時から自立運転に切り替わる5秒間だけ供給が止まってしまうため、何カ所かにUPSを導入しています。


『オムロン POWLI BY35S UPS 正弦波出力』

BY35Sは主にリビングESXとその周辺機器(BDレコーダなど)の為に置いているんですが、バッテリーの交換時期はとうの昔に過ぎていまして…  😆 
5秒間くらいは全然余裕で持ってくれそうなので騙し騙し使ってきたのですが。
つい先日、バッテリー残量が”0″になってエラーを発する状態になったので急遽交換バッテリーを手配…  😯
(その後、一度UPSの電源を完全に落としてみたら、なんか復活したんだけども…)


『omron 交換用バッテリー BYB50S DC12V 7.2Ah』

何だか良く分かりませんが治ってしまったので、一瞬そのままでも良いかな…
とか思いましたが、鉛バッテリーの保存期間はおよそ6ヶ月が限度なのでどのみち交換は必要なんだよね… って事で、サクっと交換することに。


繋がっている機器の電源を落としてUPSの電源をOFF、ケーブルを抜きます。
UPSを横倒しにして底面のネジを外すと蓋がスライドしてバッテリーが見えます。

左が新しいバッテリー、右が古いバッテリー…
後は単純に交換して元に戻すだけ。 😉


これでまた何年か安泰です…  🙂 




リビングESXのHDDのH/W RAID1化に再チャレンジ! その2

さてさて、H/W的には新しいSSHDを仮置きして使える様になりましたので、今度はソフトウェア的にデータを移したりなんなりの作業を実施します…  😀

とりあえず録画PCのWindows仮想マシンについては、SSHD上に新しく仮想ディスクを作成してそれをアサイン。
Windows上で普通にデータコピーで終了… 試しにベンチマークを取ってみたところこんな感じに…


CystalDiskMark 1GBデータでのベンチマーク結果

CrystalDiskMask 100MBデータでのベンチマーク結果

何が理由か分かりませんが、データサイズによってシーケンシャルとランダムが逆転してますね…
SSHDに搭載しているSSDの容量的には8GBもあるハズなので、どちらでもSSDに収まるサイズではあるハズなんですが… 謎です。
・・・いずれにしても、OS上からのベンチマーク的にはそんなに悪い数値では無さそうです。

続いて光輪サーバーであるLinuxですが、思ったより苦労しました(爆)
2つのデータストア上の仮想ディスクを跨いてLVMミラーを構成していたので、片方の仮想ディスクをSSHD上にコピーし、もう片方は構成解除すればとりあえずは起動するんじゃないかと軽く考えていたんですが… ダメでした。

まずOS起動途中にコケます。
コマンドプロンプトが表示され、rootのパスワードでログインして問題を修正する様に促されるのでrootでログインします。

[root@Linux ~]# vgdisplay -v
WARNING: Device for PV TB8AGg-685e-d3Mk-CJwe-bxpv-axNr-317b3D not found or rejected by a filter.
Couldn't find device with uuid TB8AGg-685e-d3Mk-CJwe-bxpv-axNr-317b3D.
There are 1 physical volumes missing. ← ディスクが無いよと怒られる
--- Volume group ---
VG Name vg01
System ID 
Format lvm2
Metadata Areas 1
Metadata Sequence No 18
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 4
Open LV 4
Max PV 0
Cur PV 2
Act PV 1
VG Size 599.99 GiB
PE Size 4.00 MiB
Total PE 153598
Alloc PE / Size 151560 / 592.03 GiB
Free PE / Size 2038 / 7.96 GiB
VG UUID z1jfRV-0Udm-N1l0-aGrS-4DQc-0LPY-qLcMjF

※以下Lvolの情報が続く... LV Statusが"available"になっていないLV Nameを確認

[root@Linux ~]# lvchange -a y /dev/vg01/lvol1 ← 上で確認したLVを有効にする
[root@Linux ~]# lvchange -a y /dev/vg01/lvol2 ← 上で確認したLVを有効にする
[root@Linux ~]# lvchange -a y /dev/vg01/lvol3 ← 上で確認したLVを有効にする
[root@Linux ~]# lvchange -a y /dev/vg01/lvol4 ← 上で確認したLVを有効にする
※この状態で "exit" すると取り合ずOSが起動します。

[root@Linux ~]# vgreduce --removemissing --force /dev/vg01 ← 不良のディスクを強制的に構成解除
[root@Linux ~]# vgdisplay -v /dev/vg01
 --- Volume group ---
VG Name vg01
System ID 
Format lvm2
Metadata Areas 1
Metadata Sequence No 24
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 4
Open LV 4
Max PV 0
Cur PV 1
Act PV 1
VG Size <300.00 GiB
PE Size 4.00 MiB
Total PE 76799
Alloc PE / Size 75780 / <296.02 GiB
Free PE / Size 1019 / 3.98 GiB
VG UUID z1jfRV-0Udm-N1l0-aGrS-4DQc-0LPY-qLcMjF

--- Logical volume ---
LV Path /dev/vg01/lvol1
LV Name lvol1
VG Name vg01
LV UUID EdDh6y-nDjt-Zz0u-VPuu-fryd-13mp-4HcISN
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:22:34 +0900
LV Status available
# open 1
LV Size 240.00 GiB
Current LE 61440
Mirrored volumes 2
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:6

--- Logical volume ---
LV Path /dev/vg01/lvol2
LV Name lvol2
VG Name vg01
LV UUID giid1H-2fG6-tGCe-SCMU-uacE-GBQN-FJcQ8f
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:03 +0900
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Mirrored volumes 2
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:13

--- Logical volume ---
LV Path /dev/vg01/lvol3
LV Name lvol3
VG Name vg01
LV UUID 0kbxjB-QPos-CvXc-XVAa-3B7I-kw2C-rQEBOc
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:11 +0900
LV Status available
# open 1
LV Size 25.00 GiB
Current LE 6400
Mirrored volumes 2
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:20

--- Logical volume ---
LV Path /dev/vg01/lvol4
LV Name lvol4
VG Name vg01
LV UUID v5QReG-S79l-B2UY-l9Vi-qzJ8-h9Hc-DPb5cc
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:20 +0900
LV Status available
# open 1
LV Size 30.00 GiB
Current LE 7680
Mirrored volumes 2
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:27

--- Physical volumes --- ← 構成されているディスクが1本になっている
PV Name /dev/sdb 
PV UUID zBeoFk-K6dd-O72O-oSlh-AlHt-4K1j-XEQyoa
PV Status allocatable
Total PE / Free PE 76799 / 1019

[root@Linux ~]# lvconvert -m 0 /dev/vg01/lvol1 ← ミラーの構成を解除
Are you sure you want to convert raid1 LV vg01/lvol1 to type linear losing all resilience? [y/n]: y
Logical volume vg01/lvol1 successfully converted.
[root@Linux ~]# lvconvert -m 0 /dev/vg01/lvol2 ← ミラーの構成を解除
Are you sure you want to convert raid1 LV vg01/lvol2 to type linear losing all resilience? [y/n]: y
Logical volume vg01/lvol2 successfully converted.
[root@Linux ~]# lvconvert -m 0 /dev/vg01/lvol3 ← ミラーの構成を解除
Are you sure you want to convert raid1 LV vg01/lvol3 to type linear losing all resilience? [y/n]: y
Logical volume vg01/lvol3 successfully converted.
[root@Linux ~]# lvconvert -m 0 /dev/vg01/lvol4 ← ミラーの構成を解除
Are you sure you want to convert raid1 LV vg01/lvol4 to type linear losing all resilience? [y/n]: y
Logical volume vg01/lvol4 successfully converted.
[root@Linux ~]# 
[root@Linux ~]# vgdisplay -v vg01
--- Volume group ---
VG Name vg01
System ID 
Format lvm2
Metadata Areas 1
Metadata Sequence No 32
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 4
Open LV 4
Max PV 0
Cur PV 1
Act PV 1
VG Size <300.00 GiB
PE Size 4.00 MiB
Total PE 76799
Alloc PE / Size 75776 / 296.00 GiB
Free PE / Size 1023 / <4.00 GiB
VG UUID z1jfRV-0Udm-N1l0-aGrS-4DQc-0LPY-qLcMjF

--- Logical volume --- ← "Mirrored volumes" の表示がなくなっている
LV Path /dev/vg01/lvol1
LV Name lvol1
VG Name vg01
LV UUID EdDh6y-nDjt-Zz0u-VPuu-fryd-13mp-4HcISN
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:22:34 +0900
LV Status available
# open 1
LV Size 240.00 GiB
Current LE 61440
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:6

--- Logical volume --- ← "Mirrored volumes" の表示がなくなっている
LV Path /dev/vg01/lvol2
LV Name lvol2
VG Name vg01
LV UUID giid1H-2fG6-tGCe-SCMU-uacE-GBQN-FJcQ8f
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:03 +0900
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:13

--- Logical volume --- ← "Mirrored volumes" の表示がなくなっている
LV Path /dev/vg01/lvol3
LV Name lvol3
VG Name vg01
LV UUID 0kbxjB-QPos-CvXc-XVAa-3B7I-kw2C-rQEBOc
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:11 +0900
LV Status available
# open 1
LV Size 25.00 GiB
Current LE 6400
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:20

--- Logical volume --- ← "Mirrored volumes" の表示がなくなっている
LV Path /dev/vg01/lvol4
LV Name lvol4
VG Name vg01
LV UUID v5QReG-S79l-B2UY-l9Vi-qzJ8-h9Hc-DPb5cc
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:20 +0900
LV Status available
# open 1
LV Size 30.00 GiB
Current LE 7680
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:27

--- Physical volumes ---
PV Name /dev/sdb 
PV UUID zBeoFk-K6dd-O72O-oSlh-AlHt-4K1j-XEQyoa
PV Status allocatable
Total PE / Free PE 76799 / 1023
[root@Linux ~]# 
[root@Linux ~]# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert ← ミラーの構成が表示されない
lvol1 vg01 -wi-ao---- 240.00g 
lvol2 vg01 -wi-ao---- 1.00g 
lvol3 vg01 -wi-ao---- 25.00g 
lvol4 vg01 -wi-ao---- 30.00g

…と、こんな感じでやっとこ構成解除できました。  😆
LVMミラーが稼動中に壊れた場合の構成解除方法は探せば出てきたんですが、DISKを認識してない状態からの復旧方法はなかなか見つからなかったので残しておきます…


とりあえずこんな感じになりました。
HDD_datastoreが、新しく接続したSSHDのデータストアになります。
少しの間この状態で稼働させて問題ないか確認…  😎

Next »