🙍🏾 🐯 ☝️ Xen Hypervisorを使用してNVIDIA Quadro 4000を仮想マシンに転送する ☝🏾 🕴️ 👨🏻‍🔧

ビデオカードの仮想マシンへの転送が成功したことについての投稿[ 1 ]を一度読んだことがあるので、このようなワークステーションを手に入れるのはいいと思いました。

クロスプラットフォームソフトウェアを開発する場合、多くの場合、テストに問題があります。エンドユーザーはWindowsオペレーティングシステム（OS）のみで作業している間、私はすべての作業をLinuxのみで実行しています。たとえば、VirtualBoxを使用できますが、OpenGLまたはCUDAを使用してモジュールの動作を確認する必要がある場合、重大な問題が発生します。デュアルブートをオプションとは考えていません。どういうわけか、私は2台目のコンピューターを使用する必要があることがわかりました。ただし、ほとんどの場合、彼はアイドル状態です。このスキームは、リソース使用の観点から非常に非効率的であることがわかります。

ある日、私の夢は非常事態になりました。次の特性を持つグラフィックステーションを組み立てる必要がありました。

Windows 7オペレーティングシステム（以下Windows）。
DirectX、OpenGL、CUDAを使用した一連のソフトウェア。
サイズが約10 TBの高速ローカルフォールトトレラントストレージ。
システム全体のバックアップとリカバリのメカニズム。
ユーザーデータの定期的な自動バックアップ。

多くの人が考えるかもしれません：「そして仮想化はどうですか？」問題は、私の意見では、Windowsの信頼性はそれほど高くないということです。多くの場合、システムのエンドユーザーはあまり有資格者ではないため、すべてのドライブ上のすべてのデータを破壊できる悪意のあるソフトウェアがコンピューターに侵入します。この場合、バックアップをローカルに保存する必要がありますが、バックアップを破棄することはできませんでした。大規模で高速なデータウェアハウスを編成することも簡単な作業ではありません。何らかの方法で、Windowsを仮想マシン（VM）環境で実行することが決定されました。

ビデオカードをVM環境に転送することに関する多くの記事とドキュメント（ハブ[ 1-3 ]を含む）を読みました。私が思いついた結論は、私にとって慰めではありませんでした。最も成功した転送は、ATIグラフィックカードで実行されました。 NVIDIAグラフィックスカードを投げることは可能ですが、決してすべてではありません。この場合、ハイパーバイザー[ 4、5 ]にパッチを適用する必要があります。

CUDAテクノロジーを使用する必要があるため、NVIDIAグラフィックカードを転送する必要がありました。 NVIDIA Multi-OSテクノロジー[ 6 ]があり、ビデオカードをVMに転送できます。 Quadroシリーズアクセラレータ[ 7 ]のみがこのテクノロジーをサポートしています。

ほとんどのビデオカードのもう1つの欠点は、最小の2スロット幅です。これは多くの場合受け入れられないため、シングルスロットNVIDIA Quadro 4000グラフィックカードが選択された理由は、シングルスロットオプションの中でQuadroファミリの最も強力な代表です。

システムの主要な要素：

マザーボードASUS P9X79 WS;
Core i7-3820プロセッサー。
RAM 32 GB（8 GBの4つのストリップ）;
dom0のビデオカード（どちらでも）。
domU NVIDIA Quadro 4000用のビデオカード。

最初は、Xenハイパーバイザーを使用して計画を実装したかった。 dom0のOSとして、Debian GNU / Linux wheezy（以降Debianと呼びます）を選びました。 Linuxカーネルには、ソフトウェアRAIDアレイの優れた実装があります。

実験中に、KVMを試しました。彼はビデオカード以外のデバイスで素晴らしい仕事をしました。残念ながら、一般的なディストリビューションの一部であるXen 4.1では、私も失敗しました。仮想マシン環境では、ビデオカードは頑固に起動を拒否しました。

幸いなことに、私がこの問題に対処し始める少し前に、 Xen 4.2.0がリリースされました。もちろん、ソースコードの形式でのみ利用できます。

dom0からの転送に必要なデバイスの切断に関する問題を回避するには、 xen-pcibackドライバーをカーネルに含める必要があります。 Debianディストリビューションでは、モジュールとして提供されます。

したがって、ハイパーバイザーとコアを組み立てる必要がありました。

Debianをインストールする

Debianをインストールするとき、私は異常なことをしませんでした。基本システムのみをインストールしました。多くのソフトウェアがインストールされているため、グラフィカル環境はインストールしないでください。一部のソフトウェアは、アセンブルされたXenと競合します。

基本インストールの最後に、必要なソフトウェアの最小セットをインストールしました。

$ sudo apt-get install gnome-core gvncviewer mc

ハイパーバイザーとカーネルアセンブリ

戦闘システムを詰まらせないために、VirtualBoxの下に特別にインストールされたクリーンなOSでアセンブリを実行しました。

Xenをビルドするには、一連の簡単なコマンドを実行する必要があります[ 8 ]。

 $ sudo apt-get build-dep xen $ sudo apt-get install libglib2.0-dev libyajl-dev fakeroot bison flex libbz2-dev liblzo2-dev $ wget http://bits.xensource.com/oss-xen/release/4.2.0/xen-4.2.0.tar.gz $ tar xf xen-4.2.0.tar.gz $ cd xen-4.2.0 $ ./configure --enable-githttp $ echo "PYTHON\_PREFIX\_ARG=--install-layout=deb" > .config $ make deb

出力で、xen-upstream-4.2.0.debパッケージを受け取りました。

カーネルは、 xen-pcibackドライバーをカーネルに含める必要があるために構築されました。ビルドプロセスについては、公式のDebianドキュメント[ 9 ]で詳しく説明されています。

 $ sudo apt-get install linux-source $ sudo apt-get build-dep linux-latest $ sudo apt-get install kernel-package fakeroot $ tar xf /usr/src/linux-source-3.2.tar.bz2 $ cd linux-source-3.2 $ cp /boot/config-`uname -r` .config $ sed -i 's/CONFIG_XEN_PCIDEV_BACKEND=.*$/CONFIG_XEN_PCIDEV_BACKEND=y/g' .config $ make-kpkg clean $ fakeroot make-kpkg --initrd --revision=1.0.0 kernel_image

出力はlinux-image-3.2.32_1.0.0_amd64.debを受け取りました。

カーネルとハイパーバイザーのインストール

受け取ったパッケージをターゲットシステムにインストールしました。 Xenを/ブートディレクトリにインストールすると、削除する必要がある不要なシンボリックリンクが作成されます。コンパイル済みパッケージxen-upstream-4.2.0.debには依存関係が登録されていないため、Xenが機能するために必要なパッケージは手動でインストールする必要があります。

 $ sudo dpkg -i linux-image-3.2.32_1.0.0_amd64.deb $ sudo dpkg -i xen-upstream-4.2.0.deb $ sudo su -c "cd /boot; rm xen.gz xen-4.gz xen-4.2.gz xen-syms-4.2.0" $ sudo apt-get install libyajl2 liblzo2-2 libaio1

デフォルトでXenを起動可能にします。

 $ sudo dpkg-divert --divert /etc/grub.d/08_linux_xen --rename /etc/grub.d/20_linux_xen

システムにXenサービスを登録します。

 $ sudo update-rc.d xend start 99 2 3 5 stop 99 0 1 6 $ sudo update-rc.d xencommons start 99 2 3 5 stop 99 0 1 6 $ sudo update-rc.d xendomains start 99 2 3 5 stop 99 0 1 6 $ sudo update-rc.d xen-watchdog start 99 2 3 5 stop 99 0 1 6

dom0からの転送に必要なデバイスを非表示にするには、 xen-pcibackドライバーがそれらのリストを送信する必要があります。メモリバルーニングを無効にするには、まずdom0に必要なメモリ量を指定する必要があります。これを行うには、 / etc / default / grubに 2行追加します。

 GRUB_CMDLINE_LINUX_XEN_REPLACE_DEFAULT = "xen-pciback.hide =（02：00.0）（02：00.1）<br>（00：1a.0）（00：1d.0）（09：00.0）（0a：00.0）（0b：00.0 ）（03：00.0）（00：1b.0） "
 GRUB_CMDLINE_XEN_DEFAULT = "dom0_mem = 15360M"

ビデオカードに加えて、4つのUSBコントローラー、ネットワークとサウンドカード、および多くの周辺機器が転送されました。

その後、GRUBブートローダー構成ファイルを更新します。

 $ sudo update-grub

マザーボードASUS P9X79 WSには2つのネットワークインターフェイスがあるため、ネットワークブリッジを作成しないことが決定されました。 dom0とdomUには、独立したネットワーク接続があります。

次の一連のコマンドは、dom0の最小メモリ量を設定し（最終的にメモリバルーニングを無効にします）、不要なネットワークスクリプトを無効にします。また、VNCを任意のIPアドレスで利用できるようにしました。

 $ sudo sed -i 's/^XENDOMAINS_SAVE=.*$/XENDOMAINS_SAVE=""/g' /etc/default/xendomains $ cd /etc/xen $ sudo sed -i 's/^.*.(dom0-min-mem.*)$/(dom0-min-mem 15360)/g' xend-config.sxp $ sudo sed -i 's/^.*.(enable-dom0-ballooning.*)$/(enable-dom0-ballooning no)/g' xend-config.sxp $ sudo sed -i 's/^(network-script.*)$/#&/g' xend-config.sxp $ sudo sed -i 's/^(vif-script.*)$/#&/g' xend-config.sxp $ sudo sed -i "s/^.*.(vnc-listen.*)$/(vnc-listen '0.0.0.0')/g" xend-config.sxp

Windowsインストール

VM環境にWindowsをインストールする問題については触れません。 VNCを使用してリモートでインストールを行う必要があるとしか言えません。 NVIDIA Quadroは、ドライバーをインストールした後にのみ機能を開始します。 OSの最後の起動時にのみ開始されます。準仮想ドライバーも正常にインストールされました[ 10 ]。

ネットワークデバイスには、VirtualBox Host-Only Ethernet Adapterがあります。実際、私はVirtualBoxをVM環境（domU内）にインストールしました。内部には、Windows XPがインストールされました。 VM内で二重にネストしていても、Windows XPは許容可能なパフォーマンスで動作しました。

ドメイン構成ファイル

ビルダー= "hvm"
メモリ= 16384
 vcpus = 8
 name = "windows-7"
 uuid = "830460b8-3541-11e2-8560-5404a63ce590"
 disk = ['phy：/ dev / storage / windows-7、hda、w']
 boot = 'c'

 pci = ['02：00.0 '、' 02：00.1 '、' 00：1a.0 '、' 00：1d.0 '、<br> '09：00.0'、 '0a：00.0'、 '0b：00.0 '、'03：00.0'、 '00：1b.0']
 gfx_passthru = 0

 pae = 1
 nx = 1
 videoram = 16
 stdvga = 1
 vnc = 1
 usb = 1
 usbdevice = "tablet"
 localtime = 1
 xen_platform_pci = 1

試験結果

Windowsをベアメタルにインストールしようとさえしなかったので、すぐに予約するので、私と客観的に比較するものは何もありません。全体の評価は、Windowsエクスペリエンスインデックス（WEI）の表示と3DMark 2011のインストールに帰着しました。つまり、正直なところ、パフォーマンステスト自体は実施しませんでした。

WEIは、最悪の結果を伴うテスト結果によって決定されます。私の場合、ボトルネックは「ハードディスク」でした。事実、私はたった1台の古いハードドライブを使用してすべての実験を実行しました。それ以外の場合、結果はそれほど悪くありません。

NVIDIA Quadro 4000グラフィックカードはゲーミングとは言えませんが、Crysisはスマートに機能しました。

Xenノート

バージョン4.1以降、xlツールキットがXenに付属しました。 xendは必要ありません。将来的にはxmを置き換える必要があります。

手動で作業する場合、xlは苦情を引き起こしませんでした。ただし、xendomainsスクリプトは、明らかに動作するように設計されていません。 /etc/init.d/xendomains startが開始されたとき、domUドメインは問題なく開始されました。ただし、/ etc / init.d / xendomains stopが呼び出されたとき、何も起こりませんでした。 DomUは自動的にシャットダウンしなかったため、システム全体がクラッシュしました。小規模な調査の結果、xendomains内の一部の関数は、xlを操作するように単純に適合されていないことが判明しました。原則として、私はこれらの問題に対処する準備ができていました。

最悪なのは、起動時にdomU xlがsysfsを介してPCIデバイス、つまりビデオカードをリセットできないというエラーを出したことです。ビデオカードの場合、sysfsのリセットファイルは単に欠落しています。完全には定かではありませんが、domUを再起動した後、ビデオカードが起動を拒否することがよくありました。システム全体の再起動のみが役立ちました。

 libxl：エラー：libxl_pci.c：1001：libxl__device_pci_reset：<br>カーネルは、PCIデバイスのsysfsからのリセットをサポートしていません0000：02：00.0
 libxl：エラー：libxl_pci.c：1001：libxl__device_pci_reset：<br>カーネルは、PCIデバイス0000のsysfsからのリセットをサポートしていません0000：02：00.1

xmでは、PCIデバイスのリセットは異なる方法で実装されているようです。少なくとも彼と一緒に仕事をするときは、ビデオカードに問題はありませんでした。これが、私がxmでこれまで停止した理由です。

おわりに

説明したすべてを実装するのに5日かかりました。一般に、システムは非常に安定して動作しました。 BSODおよびフリーズは観察されませんでした。 NVIDIA Quadroは予算オプションとは言えないため、近い将来、例外なくすべてのビデオカードがVMへの転送に適していることを願っています。

Xen Hypervisorを使用してNVIDIA Quadro 4000を仮想マシンに転送する