Linuxがメモリでどのように機能するか。 ヤンデックスワークショップ

こんにちは 私の名前はヴャチェスラフ・ビリュコフです。 Yandexでは、検索運用チームを率いています。 最近、Yandex Information Technology Coursesの学生のために、Linuxでのメモリの操作に関する講義を行いました。 なぜまさにメモリなのか？ 主な答え：私は記憶を扱うのが好きです。 さらに、Linuxカーネルのこの部分は非常に急速に変化し、本に入る時間がないため、それに関する情報は非常に小さく、原則として重要ではありません。 x86_64アーキテクチャとLinuxカーネルバージョン2.6.32について説明します。 カーネルバージョン3.xは適切な場所に配置されます。







この講義は、システム管理者だけでなく、負荷の高いシステムプログラムの開発者にも役立ちます。 オペレーティングシステムのカーネルとの相互作用がどのように発生するかを理解するのに役立ちます。

規約

常駐メモリ -これは現在、サーバー、コンピューター、ラップトップのRAMにあるメモリーの量です。

匿名メモリは、ファイルキャッシュのないメモリと、ディスク上にファイルバックエンドを持つメモリです。

ページフォールトはメモリアクセストラップです。 仮想メモリを操作するときの通常のメカニズム。

メモリのページ

メモリーの処理はページごとに整理されています。 通常、メモリサイズは大きく、アドレス指定はありますが、オペレーティングシステムとハードウェアが各アドレスを個別に処理することはあまり便利ではないため、すべてのメモリはページに分割されます。 ページサイズ-4 KB。 異なるサイズのページもあります。いわゆる2 MBの巨大ページと1 GBのページです（今日は説明しません）。



仮想メモリは、プロセスのアドレス空間です。 プロセスは物理メモリではなく、仮想メモリで直接動作します。 このような抽象化により、誤ったメモリアドレスや別のプロセスのアドレスに誤ってアクセスできると考えるのではなく、アプリケーションコードを記述しやすくなります。 これにより、アプリケーション開発が簡素化され、以下で説明するメカニズムにより、メインRAMのサイズを超えることができます。 仮想メモリは、メインメモリとスワップデバイスで構成されます。 つまり、仮想メモリの量は、原則として無制限のサイズにすることができます。



システム内の仮想メモリを管理するために、 overcommit



パラメーターがあります。 彼は、メモリのサイズを再利用しないようにします。 sysctlで管理され、次の3つの値になります。

• 0がデフォルト値です。 この場合、ヒューリスティックが使用されます。これにより、システムにあるよりも多くの仮想メモリをプロセスに割り当てることができなくなります。
• 1-割り当てられたメモリの量に従わないことを示します。 これは、たとえば、大量のデータを割り当てて特別な方法でそれらを操作する計算プログラムで役立ちます。
• 2-プロセス内の仮想メモリの量を厳密に制限できるパラメーター。

ファイル/proc/meminfo



の行CommitLimit



とCommited_AS



で、コミットしたメモリの量、使用量、割り当て可能な量を確認できます。

メモリゾーンとNUMA

最新のシステムでは、すべての仮想メモリがNUMAノードに分割されています。 1つのプロセッサと1つのメモリバンク（メモリバンク）を備えたコンピューターができました。 このアーキテクチャはUMA （SMP）と呼ばれていました。 すべてが非常に明確でした：すべてのコンポーネントの通信のための1つのシステムバス。 その後、不便になり、アーキテクチャの開発が制限され始め、その結果、NUMAが発明されました。







スライドからわかるように、あるチャネル上で互いに通信する2つのプロセッサがあり、それぞれにメモリバンクと通信するための独自のバスがあります。 この図を見ると、NUMAノードのCPU 1からRAM 1への遅延は、CPU 1からRAM 2への遅延の半分になります。このデータとその他の情報は、 numactl hardware



コマンドを使用してnumactl hardware



。



サーバーには2つのノードとその情報（各ノードの空き物理メモリの量）があります。 メモリは各ノードに個別に割り当てられます。 したがって、1つのノードですべての空きメモリを消費し、他のノードの負荷を減らすことができます。 これを回避するには（データベースの特性です）、コマンドnumactl interleave = allを使用してプロセスを開始できます。 これにより、2つのノード間でメモリ割り当てを均等に分散できます。 そうでない場合、カーネルはこのプロセスの実行がスケジュールされたノードを選択し（CPUスケジューリング）、常にメモリを割り当てようとします。



また、システム内のメモリはメモリゾーンに分割されます。 各NUMAノードは、このようなゾーンにいくつか分割されています。 これらは、アドレス範囲全体で通信できない特殊なハードウェアをサポートするのに役立ちます。 たとえば、ZONE_DMAは最初のアドレスの16 MB、ZONE_DMA32は4 GBです。 /proc/zoneinfo



メモリゾーンとそのステータスを確認し/proc/zoneinfo



。

ページキャッシュ

Linuxのページキャッシュを介して、すべての読み取りおよび書き込み操作がデフォルトで実行されます。 それは動的な大きさです。つまり、それが空いていれば、すべての記憶を食べるのは彼です。 古いジョークにあるように、サーバーに空きメモリが必要な場合は、サーバーからメモリを引き出してください。 ページキャッシュは、読み取ったすべてのファイルをページに分割します（前述のように、ページは4 KBです）。 ページキャッシュの特定のファイルにページがあるかどうかを確認するには、 mincore()



システムコールを使用します。 または、このシステムコールを使用して記述されたvmtouchユーティリティを使用します。



録音はどうですか？ ディスクへの書き込みはすぐには行われませんが、ページキャッシュで行われ、これはほぼ瞬時に行われます。 ここでは、興味深い「異常」を見ることができます。ディスクへの書き込みは、読み取りよりもはるかに高速です。 事実、（ファイルのこのページがページキャッシュにない場合）読み取り時には、ディスクに移動して同期的に応答を待機し、レコードはすぐにキャッシュに移動します。



この動作の欠点は、実際にはデータがどこにも記録されていないことです。データは単にメモリ内にあり、いつかディスクにフラッシュする必要があります。 各ページには、記録時にチェックマークが付けられます（ダーティと呼ばれます）。 このようなダーティページはページキャッシュに表示されます。 これらのページの多くが蓄積する場合、システムはそれらをディスクにダンプする時間であると理解します。そうしないと、それらを失う可能性があります（電源が突然失われると、データも失われます）。

プロセスメモリ

このプロセスは、次のセグメントで構成されています。 スタックは小さくなります。 彼には成長できない限界があります。







次にmmap領域があります： mmap()



システムコールを介して開いた、または作成したすべてのメモリマッププロセスファイルがあります。 次に、使用可能な未割り当ての仮想メモリの大きなスペースがあります。 下から上にヒープが成長します-これは匿名の記憶領域です。 以下は、私たちが立ち上げているバイナリの領域です。



プロセス内のメモリについて話している場合、ページの操作も不便です。原則として、プロセス内のメモリの割り当てはブロック単位で行われます。 1つまたは2つのページを選択する必要はほとんどありません。通常、特定のページ間隔をすぐに選択する必要があります。 そのため、Linuxには仮想メモリ領域（VMA）などがあり、このプロセスの仮想アドレス空間内にある種のアドレス空間を記述します。 そのような各VMAには独自の権利（読み取り、書き込み、実行）とスコープがあります。プライベートまたは共有（システム内の他のプロセスと「共有」）することができます。

メモリ割り当て

メモリの割り当ては4つのケースに分けることができます。プライベートメモリの割り当てと、誰かと共有（共有）できるメモリの割り当てがあります。 他の2つのカテゴリは、匿名メモリとディスク上のファイルに関連付けられたカテゴリに分割されます。 最も一般的なメモリ割り当て関数は、mallocおよびfreeです。 glibc malloc()



について説明すると、匿名メモリを興味深い方法で割り当てます。ヒープを使用して小さなボリューム（128 KB未満）とmmap()



を大きなボリュームに割り当てます。 この割り当ては、メモリをより最適に使用し、システムに簡単に転送できるようにするために必要です。 ヒープに十分なメモリが割り当てられていない場合、 brk()



システムコールが呼び出され、ヒープの境界が拡張されます。 mmap()



システムコールは、ファイルの内容をアドレス空間にマッピングします。 munmap()



は表示を解放します。 mmap()



は、変更の可視性とアクセスレベルを制御するフラグがあります。







実際、Linuxは要求されたすべてのメモリを一度に割り当てるわけではありません。 メモリ割り当てのプロセス-デマンドページング-は、システムのカーネルにメモリのページを要求し、それがOnly Allocatedエリアに分類されるという事実から始まります。 カーネルはプロセスに応答します。ここにメモリページがあり、使用できます。 そして、他には何も起こりません。 物理的な割り当ては発生しません。 そして、それはこのページに記録しようとした場合にのみ起こります。 この時点で、アピールはページテーブルに移動します。この構造は、プロセスの仮想アドレスをRAMの物理アドレスに変換します。 この場合、図からわかるように、MMUとTLBの2つのユニットも関係します。 これにより、割り当てを高速化し、仮想アドレスを物理アドレスに変換することができます。







ページテーブルのこのページに対応するものがない、つまり物理メモリとの接続がないことを理解した後、ディスクへのアクセスがないため、ページフォールト（この場合はマイナー（マイナー））を取得します。 このプロセスの後、システムは専用メモリページに記録できます。 プロセスでは、これはすべて透過的に行われます。 また、プロセスのマイナーページフォールトカウンターが1ユニット増加することを確認できます。 また、ページのコンテンツのためにディスクにアクセスする場合（ mmpa()



場合mmpa()



は、重大なページフォールトもあります。



Linuxでメモリを操作する際の秘-の1つである書き込み時コピーでは、非常に高速なプロセス（フォーク）を作成できます。

ファイルとメモリを操作する

メモリサブシステムとファイルサブシステムは密接に関連しています。 ドライブを直接操作することは非常に遅いため、カーネルはRAMをレイヤーとして使用します。



malloc()



はより多くのメモリを使用します。ユーザー空間へのコピーが発生します。 より多くのCPUも消費され、 mmap()



介してファイルを操作してmmap()



場合よりも多くのコンテキストスイッチが取得されます。



どのような結論を導き出すことができますか？ メモリと同様にファイルを操作できます。 レイジーレイディングがあります。つまり、非常に大きなファイルをマップでき、必要な場合にのみページキャッシュを介してプロセスのメモリにロードされます。 また、システムコールの使用が少なくなり、最終的にメモリが節約されるため、すべてが高速になります。 また、プログラムの最後では、メモリはどこにも移動せず、ページキャッシュに残ります。



最初はすべての書き込みと読み取りがページキャッシュを経由すると言われていましたが、何らかの理由でこの動作から離れる必要がある場合があります。 InnoDBを使用したMySQLなど、一部のソフトウェア製品はこの方法で動作します。



近い将来、このファイルを使用しないことをカーネルに伝えることができ、特別なシステムコールを使用してページキャッシュからページを強制的にアンロードできます。

• posix_fadvide（）;
• madvise（）;
• mincore（）。

vmtouchユーティリティは、ページキャッシュからファイルからページを削除することもできます-「e」キー。

先読み

先読みについて話しましょう。 ページキャッシュを使用してディスクからファイルをすべてのページに読み込むと、ページフォールトが非常に多くなり、データのためにディスクにアクセスすることがよくあります。 したがって、Readaheadのサイズを制御できます。最初のページと2番目のページを読み取ると、カーネルは、おそらく3番目のページが必要であることを理解します。 また、ディスクに移動するのは費用がかかるため、事前にファイルをページキャッシュにアップロードし、将来的にファイルから応答することで、事前にもう少し読むことができます。 したがって、将来の重いメジャーページフォールトは、マイナーマイナーページフォールトに置き換えられます。



だから私たちは皆に記憶を与えました、すべてのプロセスは幸せで、突然私たちの記憶は終わりました。 今、私たちは何とか彼女を解放する必要があります。 カーネル内の空きメモリを見つけて割り当てるプロセスは、ページ再利用と呼ばれます。 メモリーには、取り去ることのできないメモリーのページがあります-ロックされたページ（ロックされている）。 それらに加えて、ページにはさらに4つのカテゴリがあります。 システム全体の速度が低下するため、アンロードしないカーネルページ。 スワップ可能なページは、スワップデバイス以外の場所ではアンロードできない匿名メモリのページです。 同期可能なページ-ディスクと同期できるページ、および読み取り専用の開いているファイルの場合-このようなページはメモリから簡単に消去できます。 破棄可能なページは、単にオプトアウトできるページです。

補充無料リストのソース

簡単に言えば、カーネルには1つの大きな空きリストがあり（実際、そうではありません）、プロセスに発行できるメモリページが格納されます。 カーネルは、プロセスにメモリをすばやく割り当てるために、このリストのサイズをゼロ以外の状態に維持しようとします。 このリストには、ページキャッシュ、スワップ、カーネルメモリ、OOMキラーの4つのソースが追加されています。



ホットメモリ領域とコールドメモリ領域を区別し、それらを犠牲にして何らかの形でフリーリストを補充する必要があります。 ページキャッシュは、LRU / 2キューの原則に基づいています。 ページのアクティブリスト（アクティブリスト）とページの非アクティブリスト（非アクティブリスト）があり、それらの間には何らかの接続があります。 空きリストに、メモリ割り当てのリクエストが到着します。 システムは、このリストの先頭からページを提供し、非アクティブリストの末尾からのページはリストの末尾に分類されます。 ページキャッシュを介してファイルを読み取るとき、これらのページに少なくとも1回以上アクセスがない場合、新しいページは常に先頭に移動し、非アクティブリストの最後に移動します。 そのようなアピールが非アクティブリストのどこかにある場合、ページはアクティブリストの先頭に直接移動し、その末尾に向かって動き始めます。 この時点で再びアクセスされると、ページは再びリストの一番上に突き抜けます。 したがって、システムはリストのバランスをとろうとします。最もホットなデータは常にアクティブリストのページキャッシュにあり、空きリストはそれらの費用で補充されることはありません。



また、ここで興味深い動作に注目する価値があります：空きリストが補充され、その結果、非アクティブリストから到着しますが、まだ割り当てのために送信されていないページは、非アクティブリスト（この場合、非アクティブリストの先頭）に戻すことができます。



合計で、アクティブノン、非アクティブノン、アクティブファイル、非アクティブファイル、解除不能の5つのシートを取得します。 このようなリストは、各NUMAノードおよび各メモリゾーンに対して作成されます。

cgroupに関するいくつかの言葉

cgroupを使用すると、いくつかのプロセスを任意のパラメーターに制限できます。 この場合、メモリに興味があります。スワップなしでメモリを制限できますが、メモリとスワップもできます。 グループごとに、Out Of Memory Killerを固定できます。 cgroupsを使用すると、ページキャッシュなど（/sys/fs/cgroup/memory/memory.stat）を使用して、匿名メモリおよび非匿名メモリのコンテキストでプロセスまたはプロセスグループのメモリ使用量に関する統計を簡単に取得できます。 メモリが限られているcgroupを使用する場合、ページの再利用には次の2つのタイプがあります。

• システム全体のメモリを検索するときのグローバルな回収-システムの空きリストを補充します。
• cgroupのいずれかでメモリを解放するときのターゲットの再利用-メモリが不足している場合。

本

デバイスとメモリを使用したLinuxの動作を詳しく調べたい場合は、以下を読むことをお勧めします。

• システムパフォーマンス：エンタープライズおよびクラウド。
• Linuxシステムプログラミング：カーネルお​​よびCライブラリと直接対話。
• Linuxカーネル開発（第3版）。