プロセスメモリ編成

メモリ管理は、オペレーティングシステムの中心的な側面です。 これは、プログラミングとシステム管理に基本的な影響を及ぼします。 次のいくつかの投稿では、記憶の仕事に関連する問題に触れます。 実用面に重点が置かれますが、内部デバイスの詳細は無視しません。 検討中の概念は非常に一般的ですが、主にx86-32コンピューターで実行されているLinuxおよびWindowsの例で説明されています。 最初の投稿では、ユーザープロセスのメモリ構成について説明します。



マルチタスクOSの各プロセスは、独自のサンドボックスで実行されます。 このサンドボックスは、32ビット保護モードでは常に4ギガバイトのサイズを持つ 仮想アドレス空間です。 仮想空間と物理メモリの対応は、 ページテーブルを使用して記述されます 。 カーネルはテーブルを作成してデータを設定し、必要に応じてプロセッサがアドレスに変換するためにテーブルにアクセスします。 各プロセスは、独自のテーブルセットで動作します。 重要な点が1つあります。仮想アドレス指定の概念は、カーネル自体を含む 実行中のすべてのソフトウェアに拡張され ます 。 このため、仮想アドレス空間の一部（いわゆるカーネル空間）は予約されています。



もちろん、これは、カーネルがこのすべてのスペースを占有することを意味するものではなく 、このアドレスの範囲だけを使用して、カーネルが選択した物理アドレススペースの任意の部分をマッピングできます。 カーネルスペースに対応するメモリページは、ページテーブルで特権コード （リング2以上の特権）専用に使用可能としてマークされます。 ユーザーモードコードからこれらのページにアクセスしようとすると、ページフォールトが生成されます。 Linuxの場合、カーネルスペースは常にプロセスメモリに存在し、異なるプロセスはカーネルスペースを物理メモリの同じ領域にマップします。 したがって、割り込みまたはシステムコールを処理する必要がある場合、カーネルコードとデータは常に利用可能です。 対照的に、ユーザーモード空間にマップされたランダムアクセスメモリは、コンテキストが切り替わるたびに変化します。







図の青色は、物理メモリセクションに対応する仮想アドレス空間の領域を示しています。 白-まだ使用されていない領域。 ご覧のとおり、Firefoxはほとんどの仮想アドレス空間を使用しました。 私たちは皆、RAMの観点からこのプログラムの伝説的な大食いについて知っています。 図の青いバーは、ヒープ、スタックなどのプログラムメモリセグメントです。 この場合、セグメントごとに、単に連続したアドレス範囲を意味することに注意してください。 これらは、Intelプロセッサのセグメンテーションを説明するときに説明するセグメントではありません 。 何らかの方法で、ここにLinuxの標準プロセスメモリ構成スキームを示します。







むかしむかし、コンピューター技術がまだ初期段階にあったとき、セグメントの初期仮想アドレスは、マシンによって実行されるほとんどすべてのプロセスでまったく同じでした。 このため、リモートからの脆弱性の悪用は大幅に簡素化されます。 エクスプロイトは、スタック上のアドレスやライブラリ関数のアドレスなど、絶対アドレスでメモリにアクセスする必要があります。 リモート攻撃を実行しようとするハッカーは、異なるマシンのメモリ内のプログラムセグメントの配置が同一になることを期待して、ブラインドコンタクトのアドレスを選択する必要があります。 そして、それが本当に同一である場合、人々がハッキングすることが起こります。 このため、プロセスのアドレス空間内のセグメントの位置をランダム化するメカニズムが人気を集めています。 Linuxは、 スタック 、 メモリマッピングのセグメント 、およびヒープの位置をランダム化します。開始アドレスは、オフセットを追加することで計算されます。 残念ながら、32ビットのスペースはそれほど大きくなく、ランダム化の効率はある程度平準化されています。



ユーザーモードスペースの一番上は、スタックセグメントです。 ほとんどのプログラミング言語は、関数に渡されるローカル変数と引数を保存するためにそれを使用します。 関数またはメソッドを呼び出すと、いわゆるスタックが発生します スタックフレーム 。 関数が戻ると、スタックフレームは破棄されます。 スタックは非常に単純です。データは「最後に来た人」（LIFO）の原則に従って処理されます。 このため、スタックの内容を監視するには複雑な制御構造は必要ありません。スタックの最上部へのポインタで十分です。 スタックへのデータの追加と削除は、素早く明確に定義された操作です。 さらに、スタックセグメントの同じ領域を繰り返し使用すると、それらが通常プロセッサキャッシュに配置されるという事実につながり、アクセスがさらに高速化されます。 プロセス内の各スレッドは、独自のスタックで動作します。



スタックセグメントに割り当てられたスペースが、追加されるデータを収容できない可能性があります。 その結果、ページフォールトが生成されます。これは、Linuxではexpand_stack（）関数によって処理されます。 次に、別の関数acct_stack_growth（）を呼び出します。この関数は、スタックセグメントを増やす機能をチェックします。 スタックセグメントのサイズがRLIMIT_STACK定数（通常は8 MB）の値より小さい場合、サイズは大きくなり、プログラムは何も起こらなかったように実行を続けます。 これは、スタックセグメントのサイズが必要に応じて増加する標準のメカニズムです。 ただし、スタックセグメントの最大許容サイズに達すると、スタックオーバーフローが発生し、Segmentation Faultシグナルがプログラムに送信されます。 スタックセグメントは、必要に応じて拡大できますが、含まれるスタック構造が小さくなっても縮小することはありません。 連邦予算と同様に、スタックセグメントは成長のみ可能です。



「マップされていない」メモリ領域にアクセスすることを有効な操作とみなすことができるのは、動的なスタックの成長のみです。 その他のアクセスでは、ページフォールトの後にセグメンテーションフォールトが発生します。 使用される一部の領域は読み取り専用としてマークされており、それらにアクセスするとセグメンテーションフォールトが発生します。



スタックの下には、メモリマッピング用のセグメントがあります。 カーネルはこのセグメントを使用して、ファイルの内容をマップ（メモリにマップ）します。 すべてのアプリケーションは、 mmap（）システムコール（ mmapコール実装の説明へのリンク ）またはWindowsのCreateFileMapping（） / MapViewOfFile（）を介してこの機能を使用できます。 ファイルのメモリへのマッピングは便利で高性能なファイルI / O方式であり、たとえば動的ライブラリをロードするために使用されます。 匿名メモリマッピングの可能性があります。その結果、ファイルがマッピングされない領域が得られ、代わりにプログラムが動作するあらゆる種類のデータを配置するために使用されます。 Linuxでmalloc（）を使用してメモリの大きなブロックの割り当てを要求すると、標準Cライブラリはヒープにメモリを割り当てる代わりに、匿名マッピングメカニズムを使用します。 この場合、「大」という語は、定数MMAP_THRESHOLDの値よりも大きいバイト単位の値を意味します。 デフォルトでは、この値は128 kBであり、 mallopt（）を呼び出して制御できます。



ヒープといえば。 次に、プロセスのアドレス空間の説明で説明します。 スタックと同様に、ヒープはプログラムの実行中にメモリを割り当てるために使用されます。 スタックとは異なり、ヒープに割り当てられたメモリは、このメモリの割り当てを引き起こした関数が終了した後に保存されます。 ほとんどの言語は、ヒープメモリコントロールを提供します。 したがって、カーネルと言語のランタイムが一緒になって追加メモリを動的に割り当てます。 Cでは、ヒープを操作するためのインターフェイスは関数のmalloc（）ファミリですが、C＃のようなガベージコレクションをサポートする言語では、メインインターフェイスはnew演算子です。



現在のヒープサイズで要求された量のメモリを割り当てることができる場合、カーネルを使用せずにランタイムのみを使用して割り当てることができます。 それ以外の場合、malloc（）関数はbrk（）システムコールを使用して、必要に応じてヒープを増やします（ brkコール実装の説明へのリンク ）。 ヒープ上のメモリの管理は、複雑なアルゴリズムを使用して解決するのは簡単な作業ではありません。 これらのアルゴリズムは、プログラム内の予測不可能で混chaとしたメモリ割り当てパターンの条件で高速かつ効率的に達成するよう努めています。 各要求がヒープにメモリを割り当てるのにかかる時間は、劇的に異なる場合があります。 この問題を解決するために、リアルタイムシステムは特殊なメモリアロケーターを使用します 。 ヒープは断片化の影響も受けます。これは、たとえば次の図に示されています。







最後に、プロセスアドレス空間の下部にあるセグメント、BSS、データセグメント（データセグメント）、およびコードセグメント（テキストセグメント）に到達しました。 BSSとデータセグメントは、Cのソースコードの静的変数に対応するデータを格納します。違いは、BSSが、ソースコードで値が明示的に指定されていない初期化されていない変数に対応するデータを格納することです（ 実際、オブジェクトは、変数宣言が明示的にゼロ値を示しているか、値が最初に指定されておらず、リンクされたファイルにゼロ以外の値を持つ同じ共通文字が含まれていない 。 BSSセグメントには匿名メモリマッピングが使用されます。 このセグメントにマップされるファイルはありません。 Cソースファイルでint cntActiveUsersが使用されている場合、対応するオブジェクトのスペースがBSSに割り当てられます。



BSSとは異なり、データセグメントには、ソースコードでゼロ以外の値で初期化された静的変数の宣言に対応するオブジェクトが格納されます。 このメモリセグメントは匿名ではありません 。プログラムイメージの一部がそこにマッピングされます。 したがって、 静的int cntWorkerBees = 10を使用すると、対応するオブジェクトのスペースがデータセグメントに割り当てられ、値10が格納されます。ファイルはデータセグメントに表示されますが、これはいわゆるです。 「プライベートマッピング」（プライベートメモリマッピング） 。 これは、このセグメントでのデータ変更が対応するファイルの内容に影響しないことを意味します。 そうする必要があります。そうしないと、グローバル変数に値を割り当てると、ディスクに保存されているファイルの内容が変更されてしまいます。 この場合、これはまったく必要ありません！



ポインターを使用すると、状況はもう少し複雑になります。 図の例では、 gonzo変数に対応するオブジェクトの内容（これは4バイトのアドレスです）はデータセグメントにあります。 ただし、ポインターによって参照される行は、データセグメントに分類されません。 文字列は読み取り専用のコードセグメントにあり、すべてのコードと、たとえば文字列リテラルなどの些細なことを格納します（ 実際には、文字列は.rodataセクションに格納され、実行可能コードを含む他のセクションとともに、コードを実行/データを読み取る権限を持つメモリにロードされるセグメント-およその翻訳 。 実行可能ファイルの一部もコードセグメントにマップされます。 プログラムがテキストセグメントに書き込もうとすると、セグメンテーションフォールトが機能します。 これにより、「bazhennyh」ポインターを扱うことができますが、それらに対処する最善の方法は、Cをまったく使用しないことです。以下は、例からのセグメントと変数を示す図です。







/ proc / pid_of_process / mapsファイルの内容を読み取ることで、プロセスメモリ領域がどのように使用されるかを確認できます。 セグメント自体の内容は異なる領域で構成されている場合があることに注意してください。 たとえば、メモリマッピングセグメントにマップされた各ダイナミックライブラリには独自の領域があり、BSSおよびライブラリ内のデータセグメントの領域を選択できます。 次の投稿では、「地域」という言葉の意味を正確に説明します。 時々、データ+ BSS +ヒープを意味する「データセグメント」と言う人がいることに注意してください。



nmおよびobjdumpユーティリティを使用して、バイナリ実行可能イメージの内容（文字、アドレス、セグメントなど）を表示できます。 最後に、この投稿で説明するのは、プロセスメモリのいわゆる「柔軟な」構成（柔軟なメモリレイアウト）です。これは、Linuxで数年前からデフォルトで使用されています。 このスキームは、定数RLIMIT_STACKの値を定義していることを前提としています。 そうでない場合、Linuxはいわゆる 図に示されている古典的な組織：







まあ、それだけです。 これで、プロセスメモリの整理についての話は終わりです。 次の投稿では、カーネルが記述されたメモリ領域のサイズをどのように追跡するかを検討します。 また、マッピングの問題、ファイルの読み取りと書き込みがこれに関係すること、メモリの使用を説明する数字が意味することについても触れます。



スマートソフト社員が作成した資料

smart-soft.ru