特権ポートは地球温暖化を引き起こす

私は37歳で、プログラミング標準では99歳に相当します。 私は、パブリックインターネットの最初の日と最初のインターネットプロバイダーを思い出すのに十分な年齢です。 私は最初に、インターネットアクセスシンシナティ（IAC）というプロバイダーを介してオンラインになりました。 Sun SparcStation 10サーバーへのダイヤルアップアクセスを提供し、ユーザーはelm（電子メールクライアント）、emacs、lynx（テキストベースのWebブラウザー）、そしてもちろんIRCなどの古くからのターミナルアプリケーションを実行できます。



その後、CSLIPターミナルサーバー（PPPの前身）を呼び出して、実際のIPアドレスで独自のLinuxまたはWindowsコンピューター（ トランペットWinSockが利用可能な場合 ）からインターネットに直接接続する機能を追加しました。



しかし、そのSparcStationに戻ります。 マシンには2つのCPUが装備されており、33 M​​Hzの巨大な周波数で動作し、最大512 MBのメモリを収容できましたが、スロットが最大に詰め込まれているとは思いません。 当時のRAMは非常に高価でした。 このような控えめなリソースを備えたサーバーは、同時に50〜100人のアクティブユーザーにサービスを提供し、数万件のメールを処理し、IRCチャットを維持し、NCSA HTTPdを介して初期HTTP 1.0をサポートし、Slackware LinuxのFTPミラーとして自主的にサービスを提供しました。 一般的に、彼は負荷にうまく対処し、1〜2か月間アップタイムを示しました。



私たちの時代にプログラムがどのように膨れ上がったのかについてあなたは暴言を持っていると確信しています。 もしそうなら、あなたは正しい。 しかし、このスピーチと他の同様のスピーチの違いは、この腫れの主な理由を説明できる論理的仮説を提示していることです。 私の意見では、これらは過去の非常に単純な設計オプションが間違った方向に進んだという事実の結果です。



SparcStationを思い出したのは、非常に愚かな質問から始めたいからです。 なぜ仮想化が必要なのでしょうか？ それともコンテナ？ マルチユーザーオペレーティングシステムの単純さではなく、OS-> VM->コンテナー-> ...への投資の複雑さの爆発にどうやって来たのでしょうか？

仮想化は高価です

私のスタートアップZeroTier （広告は申し訳ありません）は、多くのデータセンター、プロバイダー、大陸に散在するクラウドインフラストラクチャで動作します。 クラウドプレゼンスを構成するほとんどのノードは、インターネット上の安定した参照ポイントと最新のリレーです。 パケットを送受信します。 ストリップと少しのCPUが必要ですが、メモリやディスクスペースはほとんど必要ありません。 たとえば、バックアップTCPリレー（TCPフォールバックリレー）の1つを取り上げます。通常、5〜10メガビット/秒のトラフィックを転送しますが、ソフトウェアは10 MBのメモリと1メガバイト（!!!）未満のディスクスペースしか必要としません。 また、CPUリソースの1％未満しか使用しません。



ただし、その仮想マシンは8 GBのディスク領域と少なくとも768 MBのメモリを占有します。 これはすべて、CentOS Linuxの完全な基本インストール、標準アプリケーションとツールの完全なセット、systemdやcronなどのシステムサービス、およびリモートアクセス用のOpenSSHサーバーを保存するために必要です。 RAMの大量消費は、仮想化の直接的な結果であり、一種の「カーネルを独自のハードウェアで実行されているかのようにhackすハック」のようなものです。 カーネルは独自のローカルメモリを備えた別々のマシンで動作するように見えるため、ハイパーバイザーは従うことを余儀なくされるため、このメモリはすべてVMからアクセスできる必要があります。 （最新のハイパーバイザーはある程度メモリを予約できますが、過度の冗長性により負荷が急激に増加してパフォーマンスが低下するリスクが高まります）。



コンテナは、ハイパーバイザーよりもわずかに効率的です。 独自のLinuxカーネルを使用せず、ハイパーバイザーに余分なメモリを費やしませんが、1つまたは複数のプログラムのLinuxディストリビューション全体の少なくとも一部を保持します。 10メガバイトのプログラムを実行するコンテナは数ギガバイトの重さがあり、コンテナを管理するには独自のアプリケーションセットが必要です。



なぜこれが必要なのか、誰にでも尋ねてください。 彼はセキュリティ、分離、拡張性について話します-そして彼は正しいでしょう。



昔、仮想化とコンテナの前に、ZeroTierのような企業は、データセンターに独自の機器を展開する必要がありました。 それは不便であり、あまり有益ではありません。 仮想化により、1台の非常に強力なサーバーから数百人のユーザーにサービスを提供できます（私の768 MBの仮想マシンは、おそらく256 GB以上のメモリを搭載した16-24コアXeonモンスターで実行されます）。



何百人ものユーザーが...うーん...その古い33 MHz SparcStation ...？



今日のソフトウェアは、古いIACサーバーで動作するプログラムよりもはるかに面倒で複雑です。これは、抽象レベルの増加と不必要な膨張の結果もありますが、機能の実際の増加と処理されたデータの大幅な増加に注意することは間違いありません。 数百人の典型的な現代ユーザーからの負荷をコーヒーメーカーに押し込む必要があると言っているのではありません。 しかし、少なくともいくつかのWordpressサイト（これは通常仮想マシンでホストされるタスクの典型的な例です）をRaspberry Pi-CPU容量が古いサーバーよりも約100倍速いコンピューターでホストできる必要があると思いますRAMおよび読み取り専用メモリの10〜20倍のボリューム。



RPiの価格は30ドルで、消費電力は15ワット未満です。 1つの巨大なVMのコストと消費量を言う必要がありますか？

Piの時間！

Wordpressブログを実行したいユーザーのグループ用に、RPiをターミナルサーバーとしてインストールしようとする、ちょっとした実験をしてみましょう。 Webサーバーと小さなデータベースを合わせて約10〜20 MBのメモリを占有し、RPiには1024 MBがあるため、少なくとも50の小規模または中規模のサイトをホストできます。 （実際には、RAMのほとんどは冗長または非アクティブであるため、スワップまたはKSMを使用すると 、RPiは数百のサイトをホストしますが、保守的になります）。



最初にLinuxをインストールします。 これは、マルチユーザーオペレーティングシステムであるUnixの後継バージョンです（右？）ので、50個のアカウントを作成しましょう。 これらの各ユーザーはログインできるようになりました。 着信SSHセッションとシェルはメモリ内で1メガバイトまたは2メガバイトしか占有せず、RPiには1,000を超えるメモリがあるため、現時点ではすべてがスムーズに進むはずです。



はい、はい、セキュリティを無視します。 この問題は後で対処します。 しかし、私たちのユーザーのどれもが悪い振る舞いをしなければ、すべてのユーザーは現在、Wordpressをダウンロードして解凍しています。 すべてが順調です。 インストールを開始すると問題が始まります。



ステップ1：MySQLデータベースをインストールします。



ああ、それはとても簡単です！ 「sudo apt-get install ...」と入力します



待って... sudo？ sudo権限を付与するということは、ユーザー用に個別のアカウントを持たないことも意味します。



独自のホームディレクトリにMySQLをインストールできることがわかりました。 コンパイルするか、Debianパッケージを手動でアンパックしていくつかの設定ファイルを編集する場合は、特別な権限なしでこれを実行できます。 彼は/ home / yourname / ...フォルダーを使用する必要がありますが、最終的には独自のローカルユーザースペースで実行される独自のローカルMySQLサーバーを取得します。



ステップ2：WebサーバーをPHP用に構成します。



不平を言わないように...もう一度、「sudo apt-get install」を使用して必要なすべてのコンポーネントをダウンロードし、それらをまとめて実行します。 これも行うことができ、ヤクを剃った後[実際には必要な一見無駄なアクション：たとえば、いくつかの再帰レベルで取り組んでいる実際の問題を解決する別の問題を解決する問題を解決します。マサチューセッツ工科大学-約] 。PHPを使用した独自のWebサーバーはすぐに使用できます。



次に、「バインド：許可が拒否されました」などの問題に遭遇します。 ん？ 少し掘り下げた後、ポート80、つまりデフォルトのWebポートが優先ポートであることがわかります 。 添付するにはルート権限が必要です。



関係ありません。 ポートを変更するだけです。 しかし、これは、非標準ポートに接続するために、ホストの最後に愚かな###を付けてサイトのURLを入力する必要があることを意味します。

卵！

これで、特権ポートの制限なしに、Unixシステムで重要なものを残してはならないことに気付いたので、少なくともシステムサービスのセキュリティを向上させることができます。 しかし、だからこのセクションを「卵」と呼んだわけではありません。 特権ポートの制限のより広い意味を理解するために、ちょっと気を取られて卵について話す必要があるからです。



test丸は重要な器官です。 奇妙な外観は言うまでもなく、男性の体の外側の小さな袋にそれらを置くことは愚かでした。 私たちの種の女性は、より論理的に設計されています。彼らの卵巣は腹部の奥深くに隠されており、バンプ、キック、剣、フェンス、古い叔母からはるかに保護されています。



もともと選ばれた道への依存 -経済理論と進化生物学からの概念-は、そのような奇妙な構造がどこから来たのかを説明しようとしています。 肝心なのは、過去になされた決定が、現在では容易に行える決定を制限するということです。



男性の精子の特定の酵素は体温のすぐ下の温度でよりよく機能するため、男性の精巣は体外にあります。 この「決定」は、私たちが温血でなかったか、体温が低かったときに、おそらく（最も単純で最も可能性の高い仮説に従って）かなり前に行われました。 生殖器官-これは生物学者が非常に保守的なシステムと呼んでいるものです。つまり、生殖システムの突然変異は遺伝プールから個体を消す可能性が高いため、頻繁に変わることはありません。 その結果、男性の精巣を脚の間のピクアントに見えるポーチに入れる方が、より高い温度で精子を効率的に処理するよりも「簡単」です（進化確率グラフを越えるという意味で）。



より高い温度で機能する精子の突然変異が俗語「ハング」の出現につながった突然変異と同じくらいありそうであったとしても、これが起こるという事実ではありません。 たぶん、これらの特定の突然変異は、...ええと...失敗以外の選択肢がない進化的自己学習システムを離れることなく、偶然に起こらなかっただろう。 わかった、わかった、終わった。



技術の進化はインテリジェントな（少なくとも私たちの考えでは）エージェントによって推進されますが、多くの点で生物学的な進化に似ています。 決定が下されると、将来の決定のためのパスが確立され、システムはbeat地に沿って移動する可能性が高くなります。 古い決定を変更することは、受け入れるよりも費用がかかる場合があります。また、単にinertia性です。



これらの奇妙な丸い12ボルトのプラグを車に乗せてください。 当初、それらはシガーライター用でした。 さまざまなポータブル電子機器が普及したとき、エンジニアはそれらを車に接続する方法を考えました。 自動車メーカーがコンセントを設置することに同意することも、ユーザーにコンセントを機械的に設置するように説得することもできませんでしたが、すべての車にはシガーライターが付いているので...その答えは明らかです。 シガーライターソケットに収まるソケットを作りましょう。 現在、車はシガレットライターを搭載していても発売されていないことがよくありますが、シガーライターコネクターにこのコンセントがあります。これは、スマートフォンをどこに接続できるのでしょうか。



（USBはシガーライターを徐々に置き換えていますが、ほとんどのマシンにはまだインストールされています）。

選択されていないパス

この時点で、私たちが何につながっているのかを理解しているはずです。 Unixは元々、タイムシェアリングを備えたマルチユーザーシステムとして設計されており、この目的のためにシステムリソースを共有できるように多くの機能が追加されました。 ユーザーとグループでファイルにアクセスするための許可システムがあり、新しいシステムではアクセス制御リストが徹底的に調整されています。 1人のユーザーがすべてのシステムリソースをキャプチャしないように、メモリ、ディスク、およびCPUの使用率には各ユーザーのクォータがあります。 プロセスの分離、メモリ保護などがあります。 しかし、何らかの理由で、 そのネットワーク層をマルチテナンシー（マルチテナント）ネットワークサービスに適応させることを考えた人さえいませんでした 。 当時、特権ポートはまだ意味をなしていて適切だったかもしれません。 または、誰もそれについて考えませんでした。



特権ポートはもともとセキュリティ機能でした。 当時、すべてのコンピューターは組織に属し、通常のシステム管理者によって管理されていました。また、ネットワークは無関係なデバイスに閉じられていました（そのようなデバイスが存在する場合）。 ルートのみがアクセスできるポートのリストにより、システム管理者の許可を得て、プログラムが何らかの着信接続を開始したことをシステムサービスが知ることができました。



インターネットがパブリックネットワークになり始めた90年代前半、多くのシステムとネットワークは依然としてそのように機能し、重要な認証メカニズムとして特権ポートに依存していました。 そのため、Webサイトが広がり始め、誰もが独自のIPアドレスに独自のWebサーバーを持ちたいと思ったとき、オペレーティングシステムの仮想化を実装し、スタックの残りをそのままにしておく方が概念的に明白で、面倒ではないように見えました。



OSの仮想化は他の目的にも役立ちます。コードのテストとデバッグ、古い（または他の）オペレーティングシステムまたはカーネルバージョンで動作するはずの古代のソフトウェアのサポート、そしてこれは火に燃料を追加します。 最終的に、Unixネットワークスタックをマルチテナンシーのニーズに適合させる代わりに、ボックスをボックス内に放り込んで続行しました 。



これはすべて、鉄とエネルギーの過剰消費のために行われます。 約256 GBのRAMを搭載した同じ16-24コアXeon（おそらく768メガバイト未満のVMをホストする）は、同じコアで直接作業するのではなく、 数千のユーザータスクをホストできることを提案しようと思います。ハイパーバイザーとふくらんでいる容器でつり下げられました。 各データセンターが10分の1に削減された場合、大気中に排出されるCO ₂はどれだけ少なくなりますか？



Dockerのようなコンテナは問題を部分的に解決します。 コンテナー化は、 システムイメージを巨大な静的リンクバイナリーとして認識し 、仮想化のレガシーに部分的に準拠していない限り、まさに私が目指している種類のマルチテナンシーであると言えます。 また、使いやすさの後退でもあります。 コンテナを起動するにはまだルート権限が必要です。 単純なUnixマルチテナントマシン上のプロセスのように、1つのコンテナにログインして別のコンテナを起動することは（簡単に）できません。 代わりに、大規模な中央管理コンソールとオーケストレーションツールを構築する必要があります。



それで何ができるのでしょうか？ 私たちがとらなかった道は何でしょうか？

マルチテナントネットワーキング

場合によっては、選択されたパスへの依存性が現れます。これは、古い決定に基づいて非常に多くの新しい決定が行われるため、戻って古い決定を変更するには費用がかかりすぎるためです。 この場合、いくつかの簡単な変更により、DevOpsの20年の歴史が巻き戻され、別の道筋をたどり、よりシンプルで根本的に効率的なアーキテクチャに導かれるように思えます。 これはすべての問題を解決するわけではありませんが、ほとんどの典型的なシナリオでの複雑さの一部を排除します。



ステップ1：特権ポートを削除します。 この変更は1〜2行だと思います。 おそらくif



削除するだけif



十分です。 セキュリティのためのポート番号など、暗号化されていない保護に依存していたものはすべて壊れます。



ステップ2：デバイスとIPアドレスの読み取り/書き込み/バインド（実行の代わりにバインド）にUID / GID権限を導入することにより、ユーザーとグループの権限、およびネットワークリソースの所有権を拡張します。 デフォルトでは、 bind()



呼び出しても、アドレス（0.0.0.0または:: 0）が、現在のユーザーが適切なバインド許可を持つすべてのインターフェイスでパケットまたは接続をリッスンすることを示しておらず、発信接続はデフォルトで最初のインターフェイスにルーティングされます。ユーザーが所有しています。



ステップ3：ユーザーが独自のプロセスやファイルを作成できるのと同じ理由で、ユーザー空間に仮想ネットワークデバイス（tun / tap）を作成できるようにすることをお勧めします。 これは重要ではありませんが、良いでしょう。 tcpdump / pcapなどのプログラムのアクセス許可も、ネットワークリソースの新しいアクセス許可モデルに従って変更する必要があります。



これで、すべてのサービスを通常のユーザーとして実行できます。 ルートアクセスは、システムカーネルの更新、ハードウェアまたはドライバーの変更、およびユーザー管理にのみ必要です。

選択されていない道路はすでに生い茂っています

仮想化とコンテナ化のパスを選択したため、Unixのマルチテナンシー機能の萎縮を許可しました。 それらを元の状態に戻すには、いくつかの作業が必要です。 しかし、私にとっては価値があると思われます-簡単にするためと、リソースの過剰な消費を排除するためです。



戻って、ユーザーモード保護を強化する必要があります。 難しいとは思いません。 仮想化は多くの人が考える保護を提供しません。Rowhammerのような攻撃は、VMが万能薬ではないことを証明しています。 コンテナエコシステムの作成にどれだけの費用がかかったのかは言うまでもなく、強力で安全な仮想化の開発とこのためのツールチェーンの開発に膨大な工数を費やしました。 これらの取り組みの一部は、最小限のLinuxホスト上のユーザー空間を特権の昇格や漏洩攻撃から保護するのに十分だと思います。



分離の他の側面を引き出し、ユーザーがpsやnetstatなどのコマンドで表示できるものを制限するオプションを実装する必要があります。情報はユーザーリソースのみに制限する必要があります。 パッケージマネージャーを変更して、ルートなどではない場合、ユーザーのホームディレクトリのサブディレクトリにパッケージをインストールできるようにする必要があります。おそらく、動的リンカーなどのシステム要素にも変更が必要になるため、ユーザーバイナリが共通ライブラリを選択しやすくなります独自のローカルエリアであり、システムライブラリがある場合はそれを支持しません。 initシステムサービスがユーザー設定サービスをサポートしていれば、ユーザーはウォッチャースクリプトやcronジョブを作成したり、他のハッキングに頼ったりする必要がありません。



最終結果はコンテナ化に少し似ていますが、不器用さ、肥大化、自転車の発明、不便さはありません。 アプリケーションをgitにデプロイし、 ssh を介してgit checkoutとgit pullを実行すると、ローカルまたはP2Pの方法でオーケストレーションが実行され、複雑なコンテナー管理インフラストラクチャを介することなく、マシンにログインして何かを実行できます。 ライブラリの互換性に関する問題など、乗り越えられない制限がない場合、ほとんどのプログラムはシステム内に十分な共通標準ライブラリ（libc、stdc ++など）と標準ツールを備えているため、アプリケーションは簡単になります。

おわりに

おそらく、これらすべては過ぎ去った日です。 実際には、真の安全なコンテナマルチテナンシーを開発するためにパスが選択される可能性が最も高いため、コンテナの助けを借りて、Unix許可モデルをユーザー空間のネットワークサブシステムに拡張することで解決すべき問題が解決されます。



この記事の目的は、誰も考えなかった小さなソリューションが、テクノロジー（および社会）の将来の進化に劇的な結果をもたらす可能性があることを示すことです。 システム間のセキュリティをチェックするための組み込みのシグナリングメカニズムとしてポート番号を使用するという1970年代の決定は、はるかに複雑でコストの高いリソース消費のパスに沿ってUnixプラットフォームの進化を導く1兆ドルのエラーになることがありました。



しかし、ちょっと、まだ決まっていないかもしれません。 多数のLinuxディストリビューションがあり、それらのほとんどはほぼ同じように動作します。 新しいパラダイムへの移行は、これらのディストリビューションの1つを際立たせる興味深い方法です。 まず、上記のようなネットワーク権限を実装する必要があります-カーネルのパッチを提供します。 下位互換性のために、たとえば、sysctl構成を介して許可をアクティブにするようにしたり、モジュールを発行したりすることができます（モジュールがそのような大幅な変更を行える場合）。