kourin.org管理人ブログ

さて、前回MSAのバッテリー交換にチャレンジした訳ですが…

治らなかった訳ですよ…

色々相談したり調べたりしたんですが、シリアルケーブルが無いとどうにも…
と言う事で、とりあえず出来ることからやってみよう… って事で、もう一度バッテリーを外して付け直してみました。

一応、電圧も測ってみる…
・・・おやおやおや？
すると、交換したバッテリー4個中1個だけ明らかにおかしい。

他のバッテリーは、5.7v 程度なのに対して、1個だけ4.5v になってる。
端子の部分をよーく見ると… バネの山が完全に凹んじゃって飛び出てない様子です。
これは… ただの接触不良なんじゃないの！？

ドライバーで山を引っ張り出して再度装着してみると… はい、充電中です。
そしてそして…

ハイ！消えました！！
皆さん、バッテリー交換の際にはピンをよく確認しましょうね！

…それはそうと、MSAについて色々調べていたらこんな物を発見。
MSA 1000 Console Cable HP 259992-01
516 Fibre subsystem link failure (358952.txt)
こ…これは！、MSA1000のシリアルケーブルのピンアサイン！？
そこで知った驚愕の事実。

上が普通のRJ45コネクタ、下がMSA1000のRJ45Zコネクタ
妙な出っ張りがあるだけ… かと思いきや。あれれ？ピンの数が違くない！？

RJ45は8ピンなのに対して、RJ45Zは何と10ピンコネクタでした。
これは厳しい… と思ったものの、構造を見る限りは普通のRJ45の両脇に1ピン足されたような形状で、かつピンアサインを見る限りはその1番ピンと10番ピンは未使用のようなので…

こんな感じでダイソーのルーターでゴリゴリ削ってみました。
生憎D-sub9ピンのコネクタなんて持ってないので、Ciscoのコンソールケーブルの形式に変換してみようかと思います。
Ciscoコンソール用 DB9-RJ45変換コネクタの自作

さてさてうまくいくだろうか…

前回はホームシアター環境を書いたので、今回はネットワーク環境を書こうと思います。

＠実家のネットワーク

図で表すとこんな感じになります。
上の水色のがネットワーク機器、下のピンク色のがSANを表しています。
「VPN」と書かれたラインは、外部からのVPN接続時のみ使用するところです。（同じNICで処理すると単純に帯域が半減してしまうため）
「ALB」と書かれた部分は、ロードバランス構成になっており帯域幅は200Mになります。

写真上のLANケーブルが無数に接続されている機器がCisco Catalyst 2912です。
いろいろ弄ってみようという思いもあってコレにしたんですが、結局はあまり触ることもなく今に至るといった感じです。

写真中央より少し上の「HITACHI」と書かれた機器が、Brocade 3850のOEMです。
別に必須ではないのですが、一応ポートゾーニングを構成しています。コレは時々Brocadeのコマンドが分からなくなったときとかに参照したりしてます。

写真中央のディスクが縦に何本か刺さっているのが、MSA1000になります。
光輪サーバとしてはデータベースやWEBデータなど、一部のデータがコレに載っています。
でもまだまだ沢山フリーがあるので、検証とかに利用したりしなかったり…

＠自宅のネットワーク

図に表すとこんな感じになります。
こちらにはSANはありません。

分かりやすく機器の配置を大雑把に書くとこんな感じになります。
「VPN」と書かれたラインは、実家のネットワークと同様の動きになるようにしています。
「ALB」と書かれた部分も実家と同様、ロードバランス構成になっておりますが、帯域幅は2Gになります。

NTT借用のONUとルータが１つにパッケージされたものです。
後述する無線LANルータをメインにして、これをパススルーにしても良いんですが… なんか面倒なので手をつけていません。これはIP電話と、ルータ、予備のDNSを提供しています。
DHCPと主DNSは、録画PCが割り振るように構成しているためです。

写真上側に見えるのが、DELL PowerConnect 5224 です。
主にリビングにあるネットワーク対応機器をまるっと管理しているスイッチになります。背面にある排熱FANを静穏FANに交換はしているのですが、それでもまだ音が気になるので、そのうち違う機種に交換するかどうか悩み中…（コレが静かになったところで、録画PCのFAN音は消えないしなぁ…）
ちなみに、以前勝手にLANケーブルを繋線されて、ループを起こしたので未使用ポートはすべて閉塞してあります。

一階の壁コンセントです。壁につながっているLANケーブル2本が、2台のスイッチ間を結んでいるカスケードの冗長リンクです。2本で2Gbpsになっており、片方が切れると1Gbpsで動作し速度は制限されますが、ネットワークが切れる事はありません。
その斜め下から飛び出てる白いケーブルが、NTTの光ケーブルになります。壁内の配管にはこのLANケーブル2本と、予備を含めた2本の光ケーブルが走っています。

二階の壁コンセントです。上の2本が一階からのLANケーブルで、一番したのLANケーブルは一階天井裏に設置してあるWiFi-APへのケーブルです。こちらには光ケーブルは来ていないので、壁内の配管にはLANケーブルが3本走っている事になりますね。

コンセントのすぐ真横に設置しているのが、DELL PowerConnect 2708 です。
非常に小型で管理もしやすく文句なし… と言いたいところですが、JumboFrameに対応していないのがちょっと残念ではあるかなぁ。

これがWiFi-APに使用している I/O Data WN-AG450DGR です。
WiFi-APとしてしか利用していませんが、本来は無線LAN対応ルータです。ただ、無線LAN-APは単体で買うと高いので、仕方なくAPモードで動作させて利用しています。
2.4GHz帯と5GHz帯に両対応しており、5GHz使用時には理論上450Mbpsまで出せます。
一部のAndroid端末でCIFSの速度が遅いのは、コレと相性が悪いのか設定の問題なのか… わからん。

実家と自宅のネットワークですが、VPNで常時接続されており… なんと同一ネットワークになっています。録画PCがDNSなのは上で書きましたが、これは実際には光輪サーバーのDNSをミラーしているだけです。

なぜDNSが必要なのか… は、自宅で公開サーバをやろうと思った事がある人なら分かるかもしれませんが、公開サーバを外部にDNS登録し外からアクセスすると問題なくサイトが表示されますが、内部から同じページを開こうとするとルータの設定画面が開きます。
外部からの特定ポートへのアクセスを転送するポートフォワーディングが内部からのアクセスの場合は機能しないからなのですが… デスクトップPCなどではhostsに書けば済む話ですが、モバイルPCではそうもいきません… ということで、オリジナルのDNSが必要になるわけでございます。

[rakuten]sheryl:10000070[/rakuten]
[rakuten]sheryl:10000064[/rakuten]
[rakuten]auc-ookuraya:10027738[/rakuten]
[rakuten]sheryl:10000035[/rakuten]
[rakuten]tce-direct:10024656[/rakuten]

実は結構前から冗長化外れてたんですが、
このたびちょっくらディスクを交換してみたのでメモがてら…

作業はコチラを参考に実施
http://centossrv.com/centos5-raid-3.shtml

当初は壊れたDiskを差し換えて後はリモートで…
と思っていたんですが、ちょっくら再起動してみると驚きの新事実

・・・ミラー側（正常な方）から起動できないじゃん（爆死）
なんかgrubのインストールがおかしかったんだろうか、
プライマリ側（壊れた方）から起動してミラー側に切り替わる
みたいな動きで辛うじて稼働していたらしい…恐ろしや

とりあえず、故障したディスクに戻してOSを起動の後、
上記URLにもある、grub setup云々を実施。
壊れたディスクを抜いて、ミラー側単独起動できることを確認してから新しいディスクを挿入ー♪

とりあえずパーティションを切るので、正常なディスクを参照…
# fdisk -l /dev/sda

ディスク /dev/sda: 500.1 GB, 500107862016 バイト
ヘッド 255, セクタ 63, シリンダ 60801 Units = シリンダ数 of 16065 * 512 = 8225280 バイト
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O size (minimum/optimal): 512 bytes / 512 bytes
ディスク識別子: 0x000cfb83

デバイス ブート      始点        終点     ブロック   Id  システム
/dev/sda1   *           1         131     1048576   fd  Linux raid 自動検出
パーティション 1 は、シリンダ境界で終わっていません。
/dev/sda2             131       60797   487301120   fd  Linux raid 自動検出

・・・終点と始点が一緒かよ、
新しいディスク側に同じように切ろうとしても132スタートになっちゃぅのでとりあえず1個スライドさせて作成…
/proc/mdstatを見る限りでは、不良のディスクは既にエントリされていなかったため、あとはmdadmコマンドで新しいディスクをaddするだけ… なんですが、ここで問題発生！

# mdadm /dev/md0 –add /dev/sdb1
mdadm: Cannot open /dev/sdb1: Device or resource busy

なんか、忙しいってー？
でも、ddコマンドとか普通に使えるしなんだろーと思いながらも/dev/sdbにfuserをしてみると…
どうも、multipathdが定義ファイルに存在しない新しいディスクなので、マルチパスデバイスだと認識してガッツリつかんでいるしらい…

multipath -ll コマンドで、型番をコピーし、/etc/multipath.conf に例外として追記
service multipathd reload で束縛から解放されました….

あとは通常通りaddして、grubやって…終了！
交換したディスク側からの起動確認はできていない！！
（あと、正常なディスクは500GBだが、交換したディスクは1TBだ勿体ねー！！！）

[rakuten]pc-idea:10001917[/rakuten]
[rakuten]auc-fullspec:10000081[/rakuten]
[rakuten]auc-fullspec:10000080[/rakuten]

はい、今回はファミコンではなくて光輪サーバのお話です。
ユーザディレクトリ配下を物置みたいに使ってたら容量が逼迫してきたので、
一部の領域を共有ディスク（MSA1000）に逃がそうかと考えました。
（まだ余裕はあるんですが、内蔵ディスクには容量の上限があるため…）

んで色々調べた結果こんな感じでイケましたので、
メモがてらにご紹介しておきます。。。

まず環境と方法ですが、
現在はMSA1000から50GBでアサインしている領域をMSAの機能によりオンラインで150GBに拡張します。
そのままLinuxのOS無停止にてディスクの認識からVG上にLvol追加構成まで実施します。

○ 現状のVG構成確認
[root@Linux-Server ~]# vgdisplay -v vg01pA
    Using volume group(s) on command line
    Finding volume group “vg01pA”
  — Volume group —
  VG Name               vg01pA
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  6
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               2
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               49.97 GiB　<= VGのサイズが50GBなのがわかる
  PE Size               32.00 MiB
  Total PE              1599
  Alloc PE / Size       832 / 26.00 GiB
  Free  PE / Size       767 / 23.97 GiB
  VG UUID               mPna9R-oMeL-nyqJ-R5FT-7XK1-oTPp-uHOVS5
   
  — Logical volume —
  LV Path                /dev/vg01pA/lvol1
  LV Name                lvol1
  VG Name                vg01pA
  LV UUID                c8lUQJ-Zbp3-36FF-S32Z-XV3F-PiDz-U9xTPX
  LV Write Access        read/write
  LV Creation host, time ,
  LV Status              available
  # open                 1
  LV Size                1.00 GiB
  Current LE             32
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  – currently set to     256
  Block device           253:8
   
  — Logical volume —
  LV Path                /dev/vg01pA/lvol2
  LV Name                lvol2
  VG Name                vg01pA
  LV UUID                rfr2S7-JVEz-oOaE-313P-jvNj-NX5g-Y7uCo7
  LV Write Access        read/write
  LV Creation host, time ,
  LV Status              available
  # open                 1
  LV Size                25.00 GiB
  Current LE             800
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  – currently set to     256
  Block device           253:9
   
  — Physical volumes —
  PV Name               /dev/mapper/MSA1000-01　<= 使用しているPV名が確認できる  
  PV UUID               BwZSue-pFWx-pyqY-8gta-01w2-JfC5-tbpq3F
  PV Status             allocatable
  Total PE / Free PE    1599 / 767

[root@Linux-Server ~]# vgdislplay -C Linuxにはこんなコマンドもあるみたい…
  VG     #PV #LV #SN Attr   VSize   VFree
  vg00     1  10   0 wz–n- 464.72g 21.72g
  vg01pA   1   2   0 wz–n-  49.97g 23.97g
  vg02pB   1   2   0 wz–n-  49.97g 14.97g

[root@Linux-Server ~]# pvdisplay -v /dev/mapper/MSA1000-01　<= PVの詳細を確認
    Using physical volume(s) on command line
  — Physical volume —
  PV Name               /dev/mapper/MSA1000-01
  VG Name               vg01pA
  PV Size               50.00 GiB / not usable 30.22 MiB　<= 間違いなく50GB！
  Allocatable           yes
  PE Size               32.00 MiB
  Total PE              1599
  Free PE               767
  Allocated PE          832
  PV UUID               BwZSue-pFWx-pyqY-8gta-01w2-JfC5-tbpq3F

[root@Linux-Server ~]# pvdisplay -C　一応これも打ってみる…
  PV                     VG     Fmt  Attr PSize   PFree
  /dev/mapper/MSA1000-01 vg01pA lvm2 a–   49.97g 23.97g
  /dev/mapper/MSA1000-02 vg02pB lvm2 a–   49.97g 14.97g
  /dev/md1               vg00   lvm2 a–  464.72g 21.72g

○ マルチパスの状態およびデバイス確認
[root@Linux-Server ~]# multipath -ll MSA1000-01
MSA1000-01 (3600805f30019cba0a00b799880850069) dm-2 HP,MSA VOLUME
size=50G features=’1 queue_if_no_path’ hwhandler=’0′ wp=rw
|-+- policy=’round-robin 0′ prio=130 status=active
| `- 6:0:0:1 sdc 8:32  active ready running　<= パスの1本目は/dev/sdcなのがわかる
`-+- policy=’round-robin 0′ prio=10 status=enabled
`- 6:0:1:1 sdf 8:80  active ready running　<= パスの2本目は/dev/sdfなのがわかる

○ デバイスの再スキャン（容量が変更された事を認識させるため）
[root@Linux-Server ~]# echo 1 > /sys/block/sdc/device/rescan　<= パスの1本目に実施
[root@Linux-Server ~]# echo 1 > /sys/block/sdf/device/rescan　<= パスの2本目に実施
[root@Linux-Server ~]# multipathd -k”resize map MSA1000-01″　<= DM-Multipathにサイズの変更を教える
ok

[root@Linux-Server ~]# multipath -ll MSA1000-01
MSA1000-01 (3600805f30019cba0a00b799880850069) dm-2 HP,MSA VOLUME
size=150G features=’1 queue_if_no_path’ hwhandler=’0′ wp=rw　<= 150GBに変わった！
|-+- policy=’round-robin 0′ prio=130 status=active
| `- 6:0:0:1 sdc 8:32  active ready running
`-+- policy=’round-robin 0′ prio=10 status=enabled
  `- 6:0:1:1 sdf 8:80  active ready running

○ PVの容量をリサイズする
[root@Linux-Server ~]# pvresize /dev/mapper/MSA1000-01
  Physical volume “/dev/mapper/MSA1000-01” changed
  1 physical volume(s) resized / 0 physical volume(s) not resized

○ PVおよびVGの容量が増えたことを確認
[root@Linux-Server ~]# pvdisplay -v /dev/mapper/MSA1000-01
    Using physical volume(s) on command line
  — Physical volume —
  PV Name               /dev/mapper/MSA1000-01
  VG Name               vg01pA
  PV Size               150.00 GiB / not usable 28.66 MiB　<= 150GBに増えた！
  Allocatable           yes
  PE Size               32.00 MiB
  Total PE              4799
  Free PE               3967
  Allocated PE          832
  PV UUID               BwZSue-pFWx-pyqY-8gta-01w2-JfC5-tbpq3F

[root@Linux-Server ~]# pvdisplay -C　一応これも…
  PV                     VG     Fmt  Attr PSize   PFree  
  /dev/mapper/MSA1000-01 vg01pA lvm2 a–  149.97g 123.97g
  /dev/mapper/MSA1000-02 vg02pB lvm2 a–   49.97g  14.97g
  /dev/md1               vg00   lvm2 a–  464.72g  21.72g

[root@Linux-Server ~]# vgdisplay -v vg01pA
    Using volume group(s) on command line
    Finding volume group “vg01pA”
  — Volume group —
  VG Name               vg01pA
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  7
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               2
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               149.97 GiB　<= 150GBに増えた！
  PE Size               32.00 MiB
  Total PE              4799
  Alloc PE / Size       832 / 26.00 GiB
  Free  PE / Size       3967 / 123.97 GiB
  VG UUID               mPna9R-oMeL-nyqJ-R5FT-7XK1-oTPp-uHOVS5
   
  — Logical volume —
  LV Path                /dev/vg01pA/lvol1
  LV Name                lvol1
  VG Name                vg01pA
  LV UUID                c8lUQJ-Zbp3-36FF-S32Z-XV3F-PiDz-U9xTPX
  LV Write Access        read/write
  LV Creation host, time ,
  LV Status              available
  # open                 1
  LV Size                1.00 GiB
  Current LE             32
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  – currently set to     256
  Block device           253:8
   
  — Logical volume —
  LV Path                /dev/vg01pA/lvol2
  LV Name                lvol2
  VG Name                vg01pA
  LV UUID                rfr2S7-JVEz-oOaE-313P-jvNj-NX5g-Y7uCo7
  LV Write Access        read/write
  LV Creation host, time ,
  LV Status              available
  # open                 1
  LV Size                25.00 GiB
  Current LE             800
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  – currently set to     256
  Block device           253:9
   
  — Physical volumes —
  PV Name               /dev/mapper/MSA1000-01     
  PV UUID               BwZSue-pFWx-pyqY-8gta-01w2-JfC5-tbpq3F
  PV Status             allocatable
  Total PE / Free PE    4799 / 3967

○ 追加領域作成などなど…
[root@Linux-Server ~]# lvcreate -L 100GibB /dev/vg01pA　100GBでLvol追加作成
  Logical volume “lvol3” created

[root@Linux-Server ~]# mkfs -t ext3 /dev/vg01pA/lvol3　ファイルシステム作成(rlvolじゃないよ…）
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
6553600 inodes, 26214400 blocks
1310720 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=0
800 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872

Writing inode tables: 800/800 done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 39 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.

[root@Linux-Server ~]# mount /dev/vg01/pA/lvol3 /mnt　/mntにマウントしてみる
[root@Linux-Server ~]# df -k /mnt
Filesystem           1K-ブロック    使用   使用可 使用% マウント位置
/dev/mapper/vg01pA-lvol3
                     103212320    192248  97777192   1% /mnt　<= マウントできました！

…もし、現在のLvolを拡張したければ、
# lvextend -L 100GiB /dev/vg01pA/lvol1　拡張後のサイズを指定
# resize2fs /dev/vg01pA/lvol1　ファイルシステム拡張

こんなんでイケましたー。
ではでは…

参考URL
https://access.redhat.com/knowledge/docs/ja-JP/Red_Hat_Enterprise_Linux/6/html/Storage_Administration_Guide/
http://prototype030.blogspot.jp/2009/11/linux-lvmvgpv.html