kourin.org管理人ブログ

仮のPCケースに組み込んで少しずつ設定やデータを移行していた実家用ESXサーバですが、大体移行が終わったので、がっつり切り替えてしまいます！  🙂 

『実家サーバ(旧光輪サーバ)』

何年も稼動し続けているので、さすがに埃が尋常じゃないですね…  😯

電源はどこかのタイミングで一度交換している気もするので、とりあえずケースと電源を除いてすべて取り外して、仮のPCケースに組み込んでいた実家用ESXをこのケースに入れ込みます…

拡張カードは、写真上から「LSI MegaRAID(富士通D2516-C11)」「ノーブランド増設USB2.0 IF」「Qlogic FC HBA(旧光輪サーバより移設)」「Intel 2Port NIC(HP NC360T)」

増設USB2.0 IFと、Qlogic FC HBAはパススルーを設定。
これをどうするかというと…  😉

MSA1000の管理のためだけに存在するような形になってしまっているProliantをP2Vしておいた仮想ゲストOSに割り当てます。

これだけでサクっと仮想ゲストからもMSA1000が見えてきました！  😀
これでやたら煩くて電気代を食うヤツを起動しなくて済みます…

『WAVELINK USB2.o to DVI Display Adapter (DisplayLink USB to DVI Adapter)』

リビングESXと同様に増設したUSB2.o IFにコイツを接続して、P2Vしたサーバが今までと同じように操作できるようにしておきます。

写真のDisplayLink製品はサーバOSには非対応ですが、ベータ版ドライバにて2003, 2008, 2008R2では利用できる様です。
V5.6 beta available (including Windows Server support)

実家用ESXサーバのいっちょあがりぃ！！！
…HDDが適当に転がってるのは、現時点では気にしない方向で…

先日リビングESXのHDDをSSHDにチェンジして、1TB HDDが2個余ったのでいよいよ実家用ESXを本格的に構築していこうと思います。
実家用ESXは先日ESXi 6.7U1をセットアップしたんですが、やはりリビングESXと同様にvSphere Clientでアクセスできた方がいいな… って事で、ESXi 6.5に入れ直しました。  😎

LSI MegaRAIDのWebBIOS(GUI)でのセットアップを試みたんですが、前回と同じ方法でやったつもりなんですが画面が表示されず…  🙁 
仕方ないので、MegaCliを使ってRAIDを構築してみましたので記録しておきます。
参考にしたサイトはコチラ

[root@Closet-ESX:~] MegaCli -PDList -aALL ← ディスクのEnclosureIDとSlotNumberを確認
Enclosure Device ID: 252
Slot Number: 2
Enclosure position: N/A
Device Id: 11
WWN: 
Sequence Number: 1
Media Error Count: 0
Other Error Count: 3
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 931.512 GB [0x74706db0 Sectors]
Non Coerced Size: 931.012 GB [0x74606db0 Sectors]
Coerced Size: 931.0 GB [0x74600000 Sectors]
Sector Size: 0
Firmware state: Unconfigured(good), Spun Up
Device Firmware Level: A560
Shield Counter: 0
Successful diagnostics completion on : N/A
SAS Address(0): 0x229726297798295
Connected Port Number: 2(path0) 
Inquiry Data: JA10001024D75PHGST HTS541010A9E680 JA0OA560
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None 
Device Speed: 6.0Gb/s 
Link Speed: 3.0Gb/s 
Media Type: Hard Disk Device
Drive Temperature : N/A
PI Eligibility: No 
Drive is formatted for PI information: No
PI: No PI
Port-0 :
Port status: Active
Port's Linkspeed: 3.0Gb/s 
Drive has flagged a S.M.A.R.T alert : No

Enclosure Device ID: 252
Slot Number: 3
Enclosure position: N/A
Device Id: 12
WWN: 
Sequence Number: 1
Media Error Count: 0
Other Error Count: 3
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 931.512 GB [0x74706db0 Sectors]
Non Coerced Size: 931.012 GB [0x74606db0 Sectors]
Coerced Size: 931.0 GB [0x74600000 Sectors]
Sector Size: 0
Firmware state: Unconfigured(good), Spun Up
Device Firmware Level: A560
Shield Counter: 0
Successful diagnostics completion on : N/A
SAS Address(0): 0x142987769b838e88
Connected Port Number: 3(path0) 
Inquiry Data: JA4000C0GHEAACHGST HTS541010A9E680 JA0OA560
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None 
Device Speed: 6.0Gb/s 
Link Speed: 3.0Gb/s 
Media Type: Hard Disk Device
Drive Temperature : N/A
PI Eligibility: No 
Drive is formatted for PI information: No
PI: No PI
Port-0 :
Port status: Active
Port's Linkspeed: 3.0Gb/s 
Drive has flagged a S.M.A.R.T alert : No

Exit Code: 0x00
[root@Closet-ESX:~] 
[root@Closet-ESX:~] MegaCli -LDInfo -Lall -aALL ← 現状の論理ドライブを確認
Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name :
RAID Level : Primary-0, Secondary-0, RAID Level Qualifier-0
Size : 222.562 GB
Sector Size : 512
Parity Size : 0
State : Optimal
Strip Size : 64 KB
Number Of Drives : 2
Span Depth : 1
Default Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy : Disabled
Encryption Type : None
Is VD Cached: No

Exit Code: 0x00

[root@Closet-ESX:~]
[root@Closet-ESX:~] MegaCli -CfgLdAdd -r1 [252:2,252:3] -a0 ← RAIDレベル、上で調べたEnclosureとSlotIDとアダプタ番号を指定
Adapter 0: Created VD 1
Adapter 0: Configured the Adapter!!

Exit Code: 0x00
[root@Closet-ESX:~]
[root@Closet-ESX:~] MegaCli -LDInfo -Lall -aALL ← 新しく論理ドライブが作成されたことを確認
Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name :
RAID Level : Primary-0, Secondary-0, RAID Level Qualifier-0
Size : 222.562 GB
Sector Size : 512
Parity Size : 0
State : Optimal
Strip Size : 64 KB
Number Of Drives : 2
Span Depth : 1
Default Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy : Disabled
Encryption Type : None
Is VD Cached: No

Virtual Drive: 1 (Target Id: 1)
Name :
RAID Level : Primary-1, Secondary-0, RAID Level Qualifier-0
Size : 931.0 GB
Sector Size : 512
Mirror Data : 931.0 GB
State : Optimal
Strip Size : 64 KB
Number Of Drives : 2
Span Depth : 1
Default Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy : Disabled
Encryption Type : None
Is VD Cached: No

Exit Code: 0x00
[root@Closet-ESX:~]

これで論理ドライブが作成されたので、データストアを作成！  😀 

あとは、実家で稼働中の旧光輪サーバの移行先となるLinuxのセットアップをぼちぼち開始中…  🙄

リビングESXにH/W RAID基板経由でSSHDを接続してHDDからデータをコピーして暫く様子見していましたが、特に問題なさそうなので、古いHDDを取り外す事に…  😀

古いHDDを取り外して、SSHDに入れ替えて、SATAケーブルをH/W RAID基板経由になる様に繋ぎ変えます。

取り外した古いHDDはお役御免…
ってな訳では無くて、この後で実家用ESXに転用する予定です。

はい、こんな感じで元通りです！

…ただ非常に残念な事が一つ。
先日わざわざHDDのアクセスLEDを外部から確認できるように改造したんですが、Segate FireCuda ST2000LX001 は、アクセスLEDが使えない様です。
HDD本体やRAIDカードなどではなくHDDケース単体でアクセスLEDを実装している場合や、大概はHDDのSATA電源から状態を取得していますが、同じメーカーでも、モデルやファームウェアによって対応がマチマチなんですよね…
ちゃんと動くヤツ、少しおかしいけど動くヤツ、全く無反応なヤツなどなど。

ってな訳で、こんな感じのデータストアになりました！
これで空き容量の心配はしなくてOKですね。  😛

さてさて、H/W的には新しいSSHDを仮置きして使える様になりましたので、今度はソフトウェア的にデータを移したりなんなりの作業を実施します…  😀

とりあえず録画PCのWindows仮想マシンについては、SSHD上に新しく仮想ディスクを作成してそれをアサイン。
Windows上で普通にデータコピーで終了… 試しにベンチマークを取ってみたところこんな感じに…

CystalDiskMark 1GBデータでのベンチマーク結果

CrystalDiskMask 100MBデータでのベンチマーク結果

何が理由か分かりませんが、データサイズによってシーケンシャルとランダムが逆転してますね…
SSHDに搭載しているSSDの容量的には8GBもあるハズなので、どちらでもSSDに収まるサイズではあるハズなんですが… 謎です。
・・・いずれにしても、OS上からのベンチマーク的にはそんなに悪い数値では無さそうです。

続いて光輪サーバーであるLinuxですが、思ったより苦労しました（爆）
2つのデータストア上の仮想ディスクを跨いてLVMミラーを構成していたので、片方の仮想ディスクをSSHD上にコピーし、もう片方は構成解除すればとりあえずは起動するんじゃないかと軽く考えていたんですが… ダメでした。

まずOS起動途中にコケます。
コマンドプロンプトが表示され、rootのパスワードでログインして問題を修正する様に促されるのでrootでログインします。

[root@Linux ~]# vgdisplay -v
WARNING: Device for PV TB8AGg-685e-d3Mk-CJwe-bxpv-axNr-317b3D not found or rejected by a filter.
Couldn't find device with uuid TB8AGg-685e-d3Mk-CJwe-bxpv-axNr-317b3D.
There are 1 physical volumes missing.　← ディスクが無いよと怒られる
--- Volume group ---
VG Name vg01
System ID 
Format lvm2
Metadata Areas 1
Metadata Sequence No 18
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 4
Open LV 4
Max PV 0
Cur PV 2
Act PV 1
VG Size 599.99 GiB
PE Size 4.00 MiB
Total PE 153598
Alloc PE / Size 151560 / 592.03 GiB
Free PE / Size 2038 / 7.96 GiB
VG UUID z1jfRV-0Udm-N1l0-aGrS-4DQc-0LPY-qLcMjF
…
※以下Lvolの情報が続く... LV Statusが"available"になっていないLV Nameを確認

[root@Linux ~]# lvchange -a y /dev/vg01/lvol1　← 上で確認したLVを有効にする
[root@Linux ~]# lvchange -a y /dev/vg01/lvol2　← 上で確認したLVを有効にする
[root@Linux ~]# lvchange -a y /dev/vg01/lvol3　← 上で確認したLVを有効にする
[root@Linux ~]# lvchange -a y /dev/vg01/lvol4　← 上で確認したLVを有効にする
※この状態で "exit" すると取り合ずOSが起動します。

[root@Linux ~]# vgreduce --removemissing --force /dev/vg01　← 不良のディスクを強制的に構成解除
[root@Linux ~]# vgdisplay -v /dev/vg01
 --- Volume group ---
VG Name vg01
System ID 
Format lvm2
Metadata Areas 1
Metadata Sequence No 24
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 4
Open LV 4
Max PV 0
Cur PV 1
Act PV 1
VG Size <300.00 GiB
PE Size 4.00 MiB
Total PE 76799
Alloc PE / Size 75780 / <296.02 GiB
Free PE / Size 1019 / 3.98 GiB
VG UUID z1jfRV-0Udm-N1l0-aGrS-4DQc-0LPY-qLcMjF

--- Logical volume ---
LV Path /dev/vg01/lvol1
LV Name lvol1
VG Name vg01
LV UUID EdDh6y-nDjt-Zz0u-VPuu-fryd-13mp-4HcISN
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:22:34 +0900
LV Status available
# open 1
LV Size 240.00 GiB
Current LE 61440
Mirrored volumes 2
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:6

--- Logical volume ---
LV Path /dev/vg01/lvol2
LV Name lvol2
VG Name vg01
LV UUID giid1H-2fG6-tGCe-SCMU-uacE-GBQN-FJcQ8f
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:03 +0900
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Mirrored volumes 2
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:13

--- Logical volume ---
LV Path /dev/vg01/lvol3
LV Name lvol3
VG Name vg01
LV UUID 0kbxjB-QPos-CvXc-XVAa-3B7I-kw2C-rQEBOc
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:11 +0900
LV Status available
# open 1
LV Size 25.00 GiB
Current LE 6400
Mirrored volumes 2
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:20

--- Logical volume ---
LV Path /dev/vg01/lvol4
LV Name lvol4
VG Name vg01
LV UUID v5QReG-S79l-B2UY-l9Vi-qzJ8-h9Hc-DPb5cc
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:20 +0900
LV Status available
# open 1
LV Size 30.00 GiB
Current LE 7680
Mirrored volumes 2
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:27

--- Physical volumes ---　← 構成されているディスクが1本になっている
PV Name /dev/sdb 
PV UUID zBeoFk-K6dd-O72O-oSlh-AlHt-4K1j-XEQyoa
PV Status allocatable
Total PE / Free PE 76799 / 1019

[root@Linux ~]# lvconvert -m 0 /dev/vg01/lvol1　← ミラーの構成を解除
Are you sure you want to convert raid1 LV vg01/lvol1 to type linear losing all resilience? [y/n]: y
Logical volume vg01/lvol1 successfully converted.
[root@Linux ~]# lvconvert -m 0 /dev/vg01/lvol2　← ミラーの構成を解除
Are you sure you want to convert raid1 LV vg01/lvol2 to type linear losing all resilience? [y/n]: y
Logical volume vg01/lvol2 successfully converted.
[root@Linux ~]# lvconvert -m 0 /dev/vg01/lvol3　← ミラーの構成を解除
Are you sure you want to convert raid1 LV vg01/lvol3 to type linear losing all resilience? [y/n]: y
Logical volume vg01/lvol3 successfully converted.
[root@Linux ~]# lvconvert -m 0 /dev/vg01/lvol4　← ミラーの構成を解除
Are you sure you want to convert raid1 LV vg01/lvol4 to type linear losing all resilience? [y/n]: y
Logical volume vg01/lvol4 successfully converted.
[root@Linux ~]# 
[root@Linux ~]# vgdisplay -v vg01
--- Volume group ---
VG Name vg01
System ID 
Format lvm2
Metadata Areas 1
Metadata Sequence No 32
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 4
Open LV 4
Max PV 0
Cur PV 1
Act PV 1
VG Size <300.00 GiB
PE Size 4.00 MiB
Total PE 76799
Alloc PE / Size 75776 / 296.00 GiB
Free PE / Size 1023 / <4.00 GiB
VG UUID z1jfRV-0Udm-N1l0-aGrS-4DQc-0LPY-qLcMjF

--- Logical volume ---　← "Mirrored volumes" の表示がなくなっている
LV Path /dev/vg01/lvol1
LV Name lvol1
VG Name vg01
LV UUID EdDh6y-nDjt-Zz0u-VPuu-fryd-13mp-4HcISN
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:22:34 +0900
LV Status available
# open 1
LV Size 240.00 GiB
Current LE 61440
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:6

--- Logical volume ---　← "Mirrored volumes" の表示がなくなっている
LV Path /dev/vg01/lvol2
LV Name lvol2
VG Name vg01
LV UUID giid1H-2fG6-tGCe-SCMU-uacE-GBQN-FJcQ8f
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:03 +0900
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:13

--- Logical volume ---　← "Mirrored volumes" の表示がなくなっている
LV Path /dev/vg01/lvol3
LV Name lvol3
VG Name vg01
LV UUID 0kbxjB-QPos-CvXc-XVAa-3B7I-kw2C-rQEBOc
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:11 +0900
LV Status available
# open 1
LV Size 25.00 GiB
Current LE 6400
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:20

--- Logical volume ---　← "Mirrored volumes" の表示がなくなっている
LV Path /dev/vg01/lvol4
LV Name lvol4
VG Name vg01
LV UUID v5QReG-S79l-B2UY-l9Vi-qzJ8-h9Hc-DPb5cc
LV Write Access read/write
LV Creation host, time Linux.kourin.org, 2018-05-05 01:23:20 +0900
LV Status available
# open 1
LV Size 30.00 GiB
Current LE 7680
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:27

--- Physical volumes ---
PV Name /dev/sdb 
PV UUID zBeoFk-K6dd-O72O-oSlh-AlHt-4K1j-XEQyoa
PV Status allocatable
Total PE / Free PE 76799 / 1023
[root@Linux ~]# 
[root@Linux ~]# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert　← ミラーの構成が表示されない
lvol1 vg01 -wi-ao---- 240.00g 
lvol2 vg01 -wi-ao---- 1.00g 
lvol3 vg01 -wi-ao---- 25.00g 
lvol4 vg01 -wi-ao---- 30.00g

…と、こんな感じでやっとこ構成解除できました。  😆
LVMミラーが稼動中に壊れた場合の構成解除方法は探せば出てきたんですが、DISKを認識してない状態からの復旧方法はなかなか見つからなかったので残しておきます…

とりあえずこんな感じになりました。
HDD_datastoreが、新しく接続したSSHDのデータストアになります。
少しの間この状態で稼働させて問題ないか確認…  😎