Webサイトを飛ばして、システム管理の時間を数十時間節約する方法

サイトの速度、安定性、フォールトトレランスは、常に3つのコンポーネントに依存します。



1.パフォーマンス（キャッシュオプションなど）に影響するプラットフォーム（CMS）とその設定

2.サーバー構成（実際の物理または仮想）およびシステムソフトウェア設定（Webサーバー、データベースなど）

3.開発の品質、コード、プラットフォームとの統合。



多くの場合、Web開発者は高品質のコードを作成できますが、システム管理やサーバー構成ではあまり意味がありません。 優れたシステム管理者がパートタイムであることはめったになく、クールなプログラマーでもありません。



一般的に、これは完全に正常であり、誰もが自分でやるべきことです。 しかし、残念ながら、大半の小規模なWebスタジオでは、州内に管理者はほとんどいません。 ホスティング設定にはほとんど注意が払われていません。 最良の場合、ホストのサポートと「デフォルト」設定に依存します。



その結果、CMS、ホスティング、開発などのコンポーネントの問題やボトルネックにより、サイトが「ラメ」になる場合があります。 クライアントはニュアンスを詳しく調べず、プロジェクト全体に不満を抱いています。 彼の否定性はすべての人に引き継がれます。 ひどいシステム！ 開発者は何もできません！」



もちろん、そのような写真は決して私たちには向いていません。 そして、私たちは何かをする必要があると決めました...



1C-Bitrixプラットフォーム自体のパフォーマンス機能は非常に大きく（ パフォーマンスモニター 、デバッグツール、いくつかのキャッシュオプション、 Webベースのクラスターシステムのサポートなどが含まれます）、別の記事が必要です。 すでに多くのこと、何かについて書いています-近いうちにお知らせします。



今日の投稿は、ホスティング、サーバー、VPS、およびそれらの管理に関するものです。



最も単純で、明らかに、最も明白な解決策は、Webシステムの構成に関する優れた詳細なガイドを作成し、それを全員に提供することです。 そして、すべてがうまくいきます。



そして、これから始めました-詳細なドキュメントを作成しました（6〜7年前のようです）。 次に、それに基づいて、いくつかの無料のトレーニングコースが発行され、絶えず改善され、適応されました。 その結果、それらは一般的な「ホスティングコース」にまとめられています。



名前と1C-Bitrixによってリリースされたという事実にもかかわらず、コースはすべてのホスティング事業者および特定のWebサーバー群にサービスを提供する管理者に関連性があり、非常に役立ちます。 それに精通し、さらに、最後にセキュリティの質問に答えたので、Webサーバーの設定に重大な間違いがなくなることを期待できます。



しかし、残念なことに、サーバーをセットアップするための最も完全なドキュメントと実用的な推奨事項が入手可能であっても、ほとんどのプロジェクトのパフォーマンスの問題は解決しません！ 良い-正しい！ -構成はまだほとんどありません。



これには多くの理由があります...

• 多くの管理者は、システムを「微調整」する時間がありません。 提供、実行された基本構成-すでに良好...
• 技術スペシャリストの低い資格-「マニュアルに従って」すべてを行うために、何らかの技術的背景とプロセスの理解が必要です。
• 「歴史的遺産」-構成3〜5の使用...せいぜい数年前-ソフトウェアのアップグレード。 「仕事-触らない」という原則を厳守します。 結局のところ、これは常に適用できるわけではありません。
• すべてのプロジェクトのテンプレート構成。
• 等

その結果、私たちの実践が示すように、ほとんど常にサイトの速度を低下させる多くの典型的な問題が残っています。



投稿の最初のトピックから少し脱線し、長年にわたって遭遇した最も一般的な問題を説明しようとします。 あなたがどこかであなた自身のウェブサーバーを見つけたとしても、その本質を理解することはあなたを少し助けることを望みます...



CGIとしてのPHP



幸いなことに、このモードのPHPはすでに珍しくなっています。 それでも、約1年前には、このような構成がたくさんありました。



なぜCGIが悪いのですか？ スクリプトを呼び出すたびに、個別のPHPプロセスが実行されるという事実。 それは長く、リソースを大量に消費します。



open_basedir



PHPのこのパラメーターは、特定のディレクトリへのスクリプトアクセスを制限します。 異なるクライアントのサイトが同じサーバー上で動作できる構成に非常に役立ちます。 良い目標はセキュリティですが、同時に「それほどではない」と言えば、ソリューションが実装されています...



まず、 open_basedirで設定された制限を「回避する」ための多くのオプションがあります。



第二に、このパラメーターを（「空の」値にさえ）設定すると、PHPの速度に非常に悪い影響があります（たとえば、ファイル操作など）。 空のアンロードサーバーでは、ページ生成速度が20〜30％低下し、高負荷の場合は2〜3倍になります。



open_basedirには多くの代替手段があります。 各クライアントのWebサーバーの個別のコピーから始まり、chrootの使用で終わります。



PHPプリコンパイラがインストールされていません



APC 、 eAccelerator 、 XCache ...これらの言葉がおなじみであることを願っています。



プリコンパイラは、PHPスクリプトの実行を最適化および高速化します（解釈されたコードをプリコンパイルし、結果をキャッシュしてから、すでにプリコンパイルされたコードを実行します）。



異なるプロジェクトでのパフォーマンスの違いは、数倍に達する可能性があります。



プリコンパイラに十分なメモリがありません



プリコンパイラはインストールできますが、たとえば、すべての設定は「デフォルト」のままです。 これはどうして難しいのでしょうか？ たとえば、キャッシュされたスクリプトに割り当てられるメモリが少なすぎるため、新しいスクリプトにアクセスすると古いデータが押し出され、プリコンパイラのすべての作業が非効率的になります。



フロントエンドが欠落しています（nginx）



2レベルのアーキテクチャ「バックエンド-フロントエンド」は、負荷の大きいWebプロジェクトを安定して動作させるためのほぼ必須の要件です。



この作業スキームは、いくつかの問題を解決します。

• すべての統計は、「軽い」（最小限のメモリ消費で）プロセスによって迅速に解放されます。
• バックエンドは、スクリプトへの「重い」リクエストのみの処理でビジーです。
• クライアントとの遅いチャネルでは、バックエンドはコンテンツを最終クライアントに配信するのに忙しくありません。フロントエンドにコンテンツを提供し、後続のリクエストを自由に処理できます。

ApacheでMaxClientsの値を設定解除



非スレッドサーバーでは、このパラメーターは、クライアント要求の並列処理のために開始できるプロセスの最大数に関与します。



多くの人々は、より良いと思います。 多くの構成では、50、150、および256の値を確認できます。



これは実際にはどういう意味ですか。 1つのApacheプロセスが40 MBのRAMを消費できるとしましょう。 MaxClientsを150に設定すると、ピーク負荷（DDoS、Habraeffect、開発エラーなど）で、すべてのプロセスに約6 GBのRAMが必要になります。 Apacheのみ。



このメモリ量が利用できない場合、スワップが使用され始めます。 そして、システム全体の一般的な劣化が始まります。 また、迅速に処理できるリクエストであっても、処理に非常に長い時間がかかります。



MaxClientsを適切な値に制限することをお勧めします。 リクエストの数が多い場合、リクエストは単に「キュー」に入れられ、ビジーなプロセスが解放されると処理されます。 システムは安定します。



* * *



このような典型的なエラーのリストは非常に長い間続くことがあります...



私たちの実践では、非常に頻繁にそれらに出くわしました。



その結果、2009年、私たちは開発者ではなくシステム管理者として、かなり非典型的な役割を果たしました。 そして、彼らは無料の製品1C-Bitrix：Virtual Machineをリリースしました。



これは何ですか



VMBitrix（簡単に仮想マシンと呼ぶ）は、さまざまなVMware製品（VMWareサーバー、VMWare ESXおよびESXi、VMWareワークステーション、VMWareプレーヤー、VMWare Fusion）で実行できるVMWare仮想アプライアンスの既製のイメージです。



このイメージに実装するには？

• もちろん、オペレーティングシステムは既にインストールされています（最初のイメージはUbuntu、将来的にはCentOSにありました）。
• Webサーバーの2レベル構成（Apache + Nginx）を構成しました。
• Zend Server CEパッケージに含まれているZend Optimizer +プリコンパイラーがインストールされます。 ストレステストの結果によると、彼は最高のパフォーマンスを示しました。
• MySQLをインストールおよび構成しました。

当初、このイメージを広く普及させる予定はありませんでした。 最初のバージョンは公開されていませんでしたが、内部目的でのみ使用されていました。



VMbitrixは基本的に参照環境として機能し、独自のシステムを展開することでガイドできます。



それでも、「1C-Bitrix：Virtual Machine」は非常に人気がありました。 VMwareベースの関税を提供できるホスティング業者は、1C-Bitrixプラットフォームにプロジェクトを配置することに焦点を当てた新しい関税に当社のイメージを使用し始めました 。



徐々に、「Hyper-Vに同じイメージを作成」、「Virtuozzoにテンプレートを作成」というリクエストが表示され始めました...



徐々に、ほぼすべての一般的な仮想化環境をサポートし始めました。



現在のすべてのバージョンのサポートには、最終的にかなりの労力が必要になり始め、その結果、約1年後に別の無料製品-1C-Bitrix：Web Environment（Linux）が登場しました 。



本質的に、これはCentOS（5、6）、Fedora（12-16）、Red Hat Enterprise Linux（5、6）に自動的に展開できるRPMパッケージです。 32ビットと64ビットの両方のアーキテクチャがサポートされています。



したがって、実際の物理サーバーを使用するか、仮想マシン（ Amazon 、 Scalaxy 、 Clodo.Ruなど）をレンタルしたか、 通常のVPSを購入したかは問題ではありません。



裸のシステムでは、それで十分です：



# wget repos.1c-bitrix.ru/yum/bitrix-env.sh

# chmod +x bitrix-env.sh

# ./bitrix-env.sh







...そして、インストールプロセス中にyesと数回答えます。 :)



（ところで、サポートされ続けている最新バージョンの仮想マシンは、1C-Bitrix：Web Environmentパッケージからまさにこの方法で組み立てられています）。



実際、それだけです！ このような簡単なインストールの後、「Web環境」が得られます-現在はバージョン3.1です。



製品がどのように進化したか、そして現在「何をするかを知っている」こと（すぐにできることで、「箱から出してすぐに」）。 私の意見では、最も興味深い「チップ」のいくつかを説明します。



1C-Bitrix製品の便利なインストーラー



Web環境をインストールした後、HTTPを介してサーバーにログインすると、バックアップから既存のサイトを展開したり、サイト管理、企業ポータル、または製品を使用して新しいサイトをインストールしたりできる非常に簡単なウィザードが表示されますその他の流通決定。











ウィザードは、ロシア語、英語、ドイツ語の3つの言語で利用できます。



同時に、MySQLデータベースへの接続はすでに完全に構​​成されています（/home/bitrix/www/bitrix/php_interface/dbconn.phpファイルで）。したがって、製品のインストールは「短縮」手順に従って実行されます。システムパラメーターはチェックされません技術要件を満たしている場合）、データベース接続パラメーターは要求されません（すべてが既に構成されています）。



スタートアップメニュー



SSH経由でマシンにアクセスすると表示されるメニューは次のとおりです。







もちろん、現代の美しいWebインターフェースと比較すると、少し禁欲的です。 :)おそらくいつかウェブ環境と仮想マシン用に作成するでしょう-そして最終的には、ISPmanager、cPanel、Pleskのような本格的なホスティングコントロールパネルを取得します。 :)



しかし、このバージョンでも-非常に強力で便利なツールです。



Webクラスター



約1年間、 Webクラスターモジュールが存在し、1C-Bitrixプラットフォームで積極的に開発されています。これにより、1つではなく複数のサーバーに任意のプロジェクトを展開できます。または複数のサーバー。



Webクラスターのセットアップに関する詳細なガイドがあり、誰もがそれに慣れることができます。



ただし、時間を節約するために、Web環境の一部であるウィザードを使用できます。

• MySQLレプリケーションを構成して開始します。
• nginxを複数のノードのバランサーとして構成します。
• 分散データキャッシュのmemcachedサーバープールを構成する
• csync2ユーティリティを使用して、Webサーバーデータの同期を構成および開始します。

セットアッププロセスは次のようなものです。

• 仮想マシンを起動するか、Web環境を展開します。
• ブラウザのウィザード「1C-Bitrix：Site Management」を使用して、2つのシニアエディションの1つ（「Webクラスター」モジュールを含む）をインストールします。
• メニューからマスターノードのセットアップを開始します。
• もう1台の仮想マシンを起動します（または、2番目のサーバーにWeb環境をデプロイします）。
• 最初のマシンのメニューから、スレーブノードを追加します。

さらに、すべての設定が自動的に実行されます。



最近のパートナー会議で、テクニカルサポートの責任者であるデニスシャロモフは、わずか10〜15分で小さなテストクラスターを展開するプロセス全体を明確に示しました。



同じ場所で、彼はもう1つの注目すべき機会を示しました。マスターノードで事故が発生した場合、スレーブをマスターモードに切り替えることです。



この事実上すべてをライブで見るすばらしい機会があります。レポート「仮想マシン3.0：実践的な例で15分でWebクラスターを起動する方法」を含むレポートのビデオ録画が会議ウェブサイトに投稿されています。



企業ポータル



「1C-Bitrix：Web Environment」は、「1C-Bitrix」プラットフォームで開発されたプロジェクトに最大限に適合します（同時に、PHPおよびMySQLを使用するWebサイトでも問題なく機能します）。



しかし同時に、 「企業ポータル」と連携するために特別に設計されたいくつかの個別の「チップ」があります。



たとえば、catdocおよびxpdfユーティリティは製品に自動的にインストールおよび構成され、オンザフライでインデックスを作成し、最も人気のある形式（MS Word、Excel、PowerPoint、Adobe Acrobat）のドキュメントをポータルで検索できるようにします。



Webサーバーは、HTTPとHTTPSの両方で動作するようにすぐに構成されます。 自己署名証明書を購入した証明書に置き換えるだけで、安全な環境で作業できます。



次へ... WebDAVは、ネットワークドライブを接続するためにすぐにサポートされます。



別に、NTLM許可構成ウィザードについて言及できます。







会社がActive Directoryを使用し、ADユーザーがポータルへのログインを許可されている場合、ポータル自体の設定に加えて、NTLM認証が正しく機能するためには、ApacheおよびNginxの設定を中心に多くの「タンバリンと踊る」必要があります。



これは必須ではなく、プロセス全体が自動化されています！



（設定プロセス全体については、 ニコライ・リゾニンのブログで詳しく説明されています。）



利用可能なリソースに基づいた自動構成



Web環境/etc/init.d/bvatにはトリッキーなスクリプトがあります。



システムの起動時に開始して、利用可能なリソース（RAM）の量を決定し、それらに応じて、自動的に最適に構成します。

• MySQL（バッファサイズ、接続数、一時テーブルなど）;
• ApacheのMaxClientsおよび関連パラメーター。
• Zend Optimizer +で使用可能なメモリ量。

仮想マシンまたはWeb環境をインストールした後、タスク専用の微調整を実行する場合は、このスクリプトをオフにして、サーバーを再起動するたびに機能しないようにします。



* * *



なんとか計算しようとしましたが、すべてのソフトウェアを完全に構成し、クラスターを展開し、NTLM認証を構成するには、「工数」にどれだけの時間が必要でしょうか...少なくとも200時間かかりました。 :)



もちろん、これは上限です。 それでも、たとえば、通常のサイトの安定した運用のためにVPSを構成する必要がある場合でも、すべてをインストール、構成、およびテストするには1〜2日かかります。



「Web環境」または「仮想マシン」「1C-Bitrix」を使用すると、この時間を節約して他のことに費やすことができます。 :)



PSスクリプトや設定などの例とともに、ウェブ環境の詳細な説明をレイアウトすることがしばしば求められます。



このような「説明」はWeb環境そのものです。 絶対に無料です。 任意のマシンに配置するか、 仮想マシンをダウンロードします。 sshで彼女を訪問し、学んでください！ すべての設定、すべてのスクリプト-すべてが完全にオープンでアクセス可能です。 :)