「デバイス のパフォーマンスが低下しました」が時々表示される。

現象:

VMware vSphere 5.1 を使っていると、ESXi ホストに時々この警告が発生します。

デバイスxxxxのパフォーマンスが低下しました。
I/O待ち時間は、平均値である マイクロ秒から マイクロ秒に増加しました。

iSCSIパフォーマンス低下

環境:

  • ESXi ホスト:
    ・iSCSI 用:1ギガビット Ethernet port x2
    ・ストレージ・アダプタ:ESXiの iSCSI Software Adapter
  • ストレージ:
    ・iSCSI 用:1ギガビット Ethernet port x2
  • ESXiホスト・ストレージ間:
    ・1ギガビットEhternetのマルチパス接続
    ・ジャンボフレーム:未使用

原因:

何らかの原因で、ストレージの I/O に遅延が生じています。

表示例:

Device naa.5000c5000b36354b performance has deteriorated. I/O latency increased from average value of 1832 microseconds to 19403 microsecond
※ 1000 マイクロ秒 = 1 ミリ秒

解決策:

  • ESXi ホストやストレージのログの確認し、問題がホストなのかストレージなのかストレージネットワークなのか、切り分けて問題点を絞り込む。
  • バックアップやレプリケーションの最中に発生した場合それらの開始時間を変更してみる。
  • ストレージの過負荷が原因の場合:
    • ディスク I/O の過負荷が原因:
      1. RAID 構成ストレージの場合、ディスクを追加してスピンドルを増やし I/O を分散させる。
      2. ライトキャッシュが保護されるストレージシステムであれば、ライトキャッシュを有効にする。
    • ストレージコントローラーの過負荷が原因:
      1. ストレージコントローラーを増設して I/O を分散させる。
    • LUN の I/O の過負荷が原因:
      1. LUN を分けて、I/O を分散させる。
      2. 仮想マシンの OS 用の LUN とデータ用の LUN を分ける。
      3. 1 つの LUN に格納する仮想マシンを 10 台未満にする。
    • ストレージネットワークの過負荷が原因:
      1. マルチパス構成にして I/O を分散させる。
      2. LUN を分けて、ネットワーク経路を分散させる。マルチパス構成でもLUNが一つの場合1つの経路しか使わないため。
      3. 仮想マシンの OS 用の LUN とデータ用の LUN を分ける。
      4. ESXi のパスのポリシーを「Fixed(固定)」から「Round Robin(ラウンドロビン)」に変更する。
      5. より高速なネットワークに変更する。
      6. 専用のネットワークで構成する。
      7. HBA を追加しマルチパス構成にする。
      8. FCの場合は、きちんとゾーニングを行う。
      9. iSCSIの場合は、ジャンボフレームを利用する。ジャンボフレームは、ESXi ホスト、LAN スイッチ、ストレージの全てで同一サイズに設定する。
      10. iSCSI イニシエータの詳細設定で DelayedAck を無効にする。(平常時遅くなる可能性あり、要経過観察)
      11. 1 つの iSCSI ターゲットに複数の LUN を割り当てず、1 LUN のみ割り当てる。
      12. パケットロスのないFCoEを利用する。

iSCSIイニシエータ詳細設定

対処:

すぐに実現可能だった、ホストからストレージまでを、MTU:9000バイトのジャンボフレームを設定することで発生頻度が減りました。

参考:

VMware : iSCSI and Jumbo Frames configuration on ESX/ESXi (1007654)
VMware : Storage device performance deteriorated (2007236)

VMware : ESX/ESXi 4.x, ESXi 5.x におけるマルチパスポリシー (2019882)
VMware : ESX/ESXi hosts might experience read or write performance issues with certain storage arrays (1002598)

Cisco : Fibre Channel over Ethernet(FCoE)
Cisco : ファイバ チャネル ゾーン分割の設定
Cisco : VMware スイッチの iSCSI マルチパス設定

BROCADE : zonecreate

コメントを残す