SR-IOV¶

SR-IOV エージェント¶

SR-IOV エージェントは、ポートの admin state (管理状態) の設定、 port security の設定 (なりすましチェックを有効にするかどうか)、 QoS レート制限を行います。 SR-IOV ポートを使用する各コンピュートノードで SR-IOV エージェントを動かす必要があります。

対応している Ethernet コントローラー¶

以下のベンダーの製品が動作するとされています。

• Intel
• Mellanox
• QLogic

For information on Mellanox SR-IOV Ethernet ConnectX-3/ConnectX-3 Pro cards, see Mellanox: How To Configure SR-IOV VFs.

For information on QLogic SR-IOV Ethernet cards, see User’s Guide OpenStack Deployment with SR-IOV Configuration.

Virtual Function の作成 (コンピュートノード)¶

SR-IOV 用に使用予定のネットワークインターフェースで VF を作成します。ここでは eth3 を PF として使用します。 eth3 は VLAN プロバイダーネットワークに接続するインターフェースとしても使用され、すべてのインスタンスのプライベートネットワークにも到達性があります。

1. BIOS で SR-IOV と VT-d を有効にしてください。

2. Linux で IOMMU を有効にするには、 GRUB などを使って、カーネルパラメーターに intel_iommu=on を追加します。

3. 各コンピュートノードで、 PCI SYS インターフェース経由で VF を作成します。

   # echo '8' > /sys/class/net/eth3/device/sriov_numvfs
   

   注釈

   PCI デバイスによっては、 VF の総数を変更する際に Device or resource busy というエラーを出る場合があります。この場合は、まず sriov_numvfs を 0 に設定し、それから新しい値に設定してください。

   警告

   別の方法として、 お使いのネットワークインターフェースのカーネルモジュールに max_vfs を渡して VF を作成することもできます。 max_vfs パラメーターは廃止予定になっているので、 PCI SYS インターフェースを使うことを推奨します。

   PF がサポートしている VF の最大数は以下で確認できます。

   # cat /sys/class/net/eth3/device/sriov_totalvfs
   63
   

4. VF が作成され、状態が up になっていることを確認します。

   # lspci | grep Ethernet
   82:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
   82:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
   82:10.0 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
   82:10.2 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
   82:10.4 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
   82:10.6 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
   82:11.0 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
   82:11.2 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
   82:11.4 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
   82:11.6 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
   

   # ip link show eth3
   8: eth3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT qlen 1000
      link/ether a0:36:9f:8f:3f:b8 brd ff:ff:ff:ff:ff:ff
      vf 0 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
      vf 1 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
      vf 2 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
      vf 3 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
      vf 4 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
      vf 5 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
      vf 6 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
      vf 7 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
   

   インターフェースが down の場合は、ゲストを起動する前にインターフェースを up に設定してください。 up になっていない場合は、インスタンスの起動に失敗します。

   # ip link set eth3 up
   

5. 再起動時にも作成 VF が保持されるようにします。

   # echo "echo '7' > /sys/class/net/eth3/device/sriov_numvfs" >> /etc/rc.local
   

   注釈

   PCI SYS 設定を永続化させる推奨の方法は sysfsutils ツールを使用する方法です。しかしながら、多くの主要なディストリビューションではこの方法はデフォルトでは利用できません。

nova-compute の PCI デバイスのホワイトリストを作成する (コンピュートノード)¶

1. nova-compute サービスがどの PCI デバイスを使用できるかを設定します。 nova.conf ファイルを編集します。

   [default]
   pci_passthrough_whitelist = { "devname": "eth3", "physical_network": "physnet2"}
   

   この設定では、 eth3 に属するすべての VF をインスタンスにパススルーでき、これらの VF はプロバイダーネットワーク physnet2 に所属することを Compute サービスに指示しています。

   代わりに、 pci_passthrough_whitelist パラメーターを使ったホワイトリストの設定もできます。

   • PCI アドレス: アドレスは lspci と同じ書式を使用します、アスタリスク (*) は任意のものにマッチすることを示します。

     pci_passthrough_whitelist = { "address": "[[[[<domain>]:]<bus>]:][<slot>][.[<function>]]", "physical_network": "physnet2" }
     

     例えば、任意のドメイン、バス 0a、スロット 00 のすべての PCI ファンクションにマッチするようにするには以下のようにします。

     pci_passthrough_whitelist = { "address": "*:0a:00.*", "physical_network": "physnet2" }
     

   • PCI vendor_id と product_id は Linux のユーティリティー lspci で表示できます。

     pci_passthrough_whitelist = { "vendor_id": "<id>", "product_id": "<id>", "physical_network": "physnet2" }
     

   PCI アドレスや devname で定義されたデバイスが SR-IOV PF に対応している場合、その PF 配下のすべての VF がこのエントリーにマッチします。 1 つのホストで複数の pci_passthrough_whitelist を設定することもできます。

2. nova-compute サービスを再起動し、変更を反映します。

neutron-server の設定 (コントローラーノード)¶

1. sriovnicswitch をメカニズムドライバーとして追加します。各コントローラーで ml2_conf.ini ファイルを編集します。

   mechanism_drivers = openvswitch,sriovnicswitch
   

2. ml2_conf_sriov.ini ファイルを neutron-server サービスのパラメーターとして追加します。適切な初期化スクリプトを編集して、 neutron-server サービスが SR-IOV 設定ファイルを読みこむように設定します。

   --config-file /etc/neutron/neutron.conf
   --config-file /etc/neutron/plugin.ini
   --config-file /etc/neutron/plugins/ml2/ml2_conf_sriov.ini
   

3. neutron-server サービスを再起動します。

nova-scheduler の設定 (コントローラーノード)¶

1. nova-scheduler サービスを実行しているすべてのコントローラーノードで、 scheduler_default_filters パラメーターに PciPassthroughFilter を追加し、デフォルトで PciPassthroughFilter が有効になるようにします。また、 Compute サービスで提供されているすべてのフィルターが有効になるように、 nova.conf の [DEFAULT] セクションの scheduler_available_filters パラメーターを all_filters に設定します。

   [DEFAULT]
   scheduler_default_filters = RetryFilter, AvailabilityZoneFilter, RamFilter, ComputeFilter, ComputeCapabilitiesFilter, ImagePropertiesFilter, ServerGroupAntiAffinityFilter, ServerGroupAffinityFilter, PciPassthroughFilter
   scheduler_available_filters = nova.scheduler.filters.all_filters
   

2. nova-scheduler サービスを再起動します。

neutron sriov-agent の有効化 (コンピュートノード)¶

1. SR-IOV エージェントをインストールします。

2. 各コンピュートノードで sriov_agent.ini ファイルを編集します。例:

   [securitygroup]
   firewall_driver = neutron.agent.firewall.NoopFirewallDriver
   
   [sriov_nic]
   physical_device_mappings = physnet2:eth3
   exclude_devices =
   

   注釈

   physical_device_mapping パラメーターには、物理ネットワークと NIC の 1:1 マッピング以外の設定も可能です。これにより、 1 つの物理ネットワークを複数の NIC に割り当てることもできます。例えば、 physnet2 が eth3 と eth4 に接続されている場合には、 physnet2:eth3,physnet2:eth4 は有効な設定となります。

   exclude_devices パラメーターは空なので、 eth3 に関連付けられたすべての VF はエージェントが設定できます。特定の VF を除外するには、以下のようにその VF を exclude_devices パラメーターに追加します。

   exclude_devices = eth1:0000:07:00.2;0000:07:00.3,eth2:0000:05:00.1;0000:05:00.2
   

3. neutron sriov-agent が正常に実行できることを確認します。

   # neutron-sriov-nic-agent \
     --config-file /etc/neutron/neutron.conf \
     --config-file /etc/neutron/plugins/ml2/sriov_agent.ini
   

4. neutron sriov-agent を有効にします。

   ソースコードからインストールした場合には、 init システム用のデーモンファイルを手動で設定する必要があります。

SR-IOV ポートを持ったインスタンスの起動¶

設定が完了したら、 SR-IOV ポートを持ったインスタンスを起動できます。

1. SR-IOV ポートを作成したいネットワークの id を取得します。

   $ net_id=`neutron net-show net04 | grep "\ id\ " | awk '{ print $4 }'`
   

2. SR-IOV ポートを作成します。ここでは vnic_type=direct を指定していますが、他の有効な値としては normal, direct-physical, macvtap があります。

   $ port_id=`neutron port-create $net_id --name sriov_port --binding:vnic_type direct | grep "\ id\ " | awk '{ print $4 }'`
   

3. インスタンスを作成します。 2 番目の手順で作成した SR-IOV ポートを NIC に指定します。

   $ openstack server create --flavor m1.large --image ubuntu_14.04 --nic port-id=$port_id test-sriov
   

   注釈

   There are two ways to attach VFs to an instance. You can create an SR-IOV port or use the pci_alias in the Compute service. For more information about using pci_alias, refer to nova-api configuration.