👩🏻‍✈️ 💳 🤙🏾 フライト検索エンジンをPHPからNodeJSに書き直した方法 ♟️ 🈂️ 🕹️

こんにちは私の名前はアンドレイです。モスクワの工科大学の大学院生であり、非常勤です。 ~~とても控えめな~~ 初心者の起業家および開発者。この記事では、PHP（以前は単純だったので気に入っていましたが、やがて私に嫌われました-なぜカットされているのか）をNodeJSに切り替えた経験を共有することにしました。ここでは非常に単純で一見基本的なタスクを提供できますが、それでもNodeJSとJavaScriptでのサーバー側開発の機能に精通している間に解決したいと思っていました。 PHPがようやく日没になり、NodeJSに取って代わったことを明確に説明し、実証しようとします。 NodeでHTMLページをレンダリングするいくつかの機能を学ぶことは、誰かが便利だと思うかもしれません。

はじめに

エンジンを書いている間、私は最も単純なテクニックを使用しました。パッケージマネージャーもルーティングもありません。プロセスプールをサポートするようにPHP-FPMによって構成された、要求されたルートと名前が一致するハードコアフォルダーと、それぞれのindex.phpのみ。後にComposerとLaravelを使用する必要が生じました。これは私にとって最後のストローでした。 PHPからNodeJSまですべてを書き直すことにした理由の話に移る前に、背景について少し説明します。

パッケージマネージャー

2018年の終わりに、私はLaravelで書かれた1つのプロジェクトで作業する機会がありました。いくつかのバグを修正し、既存の機能を変更し、インターフェースにいくつかの新しいボタンを追加する必要がありました。プロセスは、パッケージと依存関係マネージャーをインストールすることから始まりました。 PHPでは、Composerがこれに使用されます。その後、顧客は1コアと512メガバイトのRAMを備えたサーバーを提供しましたが、これはComposerでの最初の経験でした。メモリが512メガバイトの仮想プライベートサーバーに依存関係をインストールすると、メモリ不足のためプロセスがクラッシュしました。

Linuxに精通し、DebianとUbuntuでの作業経験がある私にとって、この問題の解決策は明らかでした-SWAPファイルのインストール（スワップファイル-Linux管理に不慣れな人向け）。たとえば、初のLaravelディストリビューションをDigital Oceanにインストールした経験の浅い開発者は、コントロールパネルに移動して、依存関係のインストールがメモリセグメンテーションエラーで停止するまで関税を引き上げます。 NodeJSはどうですか？

また、NodeJSには独自のパッケージマネージャーnpmがあります。使用がはるかに簡単で、よりコンパクトで、最小限のRAMの環境でも機能します。一般に、ComposerをNPMのバックグラウンドに対して非難することはありませんが、パッケージをインストールするときにエラーが発生すると、Composerは通常のPHPアプリケーションのようにクラッシュし、パッケージのどの部分がインストールされ、最後にインストールされたかどうかがわかりません終了します。一般に、Linux管理者の場合、インストールのクラッシュ= Rescueモードおよびdpkg --configure -a

フラッシュバック。そのような「驚き」が私を追い越すまでに、私はPHPが好きではありませんでしたが、これらはPHPに対するかつての大きな愛のcoの最後の釘でした。

長期的なサポートとバージョン管理の問題

開発者が最初にPHP7を発表したとき、どのような興奮と驚きがPHP7を引き起こしたか覚えていますか？生産性が2倍以上、一部のコンポーネントでは5倍まで向上します！ PHP第7が生まれたときを覚えていますか？そして、WordPressがどれほど早く獲得したか！ 2015年12月でした。 PHP 7.0は現在、古いバージョンのPHPと見なされているため、更新することを強くお勧めします...いいえ、バージョン7.1ではなく、バージョン7.2に更新してください。開発者によると、バージョン7.1はすでにアクティブなサポートを奪われており、セキュリティアップデートのみを受け取ります。そして、8か月後にこれは停止します。アクティブなサポートとバージョン7.2とともに廃止されます。今年の終わりまでに、PHPには現在のバージョンが7.3しかありません。

現在使用しているPHPバージョン

実際、これはあまり意味のないことではなく、PHP 7.0で作成したプロジェクトの場合、PHPからの脱却の理由に起因するものではありません。*開いた時点で既に非推奨の警告は発生していません。依存関係のインストールがクラッシュしたプロジェクトに戻りましょう。これは、2015年にLaravel 4とPHP 5.6で書かれたプロジェクトです。わずか4年が過ぎたように見えましたが、そうではありません-多くの廃止警告、古いモジュール、通常はルートエンジンの更新が原因でLaravel 5にアップグレードできません。

そして、これはLaravelだけに当てはまりません。 PHP 7.0の最初のバージョンがアクティブにサポートされている間に書かれたPHPアプリケーションを使用して、古いPHPモジュールで発生した問題の解決策を探して夜を過ごす準備をしてください。最後に、興味深い事実：PHP 7.0のサポートは、PHP 5.6のサポートよりも早く廃止されました。ちょっと。

NodeJSはどうですか？ここですべてがより良くなるとは言いませんし、NodeJSのサポート期間はPHPと根本的に異なります。いいえ、ここではほぼ同じです。各LTSバージョンは3年間サポートされています。ただし、NodeJSには、これらの最新バージョンがもう少しあります。

NodeJSの現在のバージョン

2016年に作成されたアプリケーションをデプロイする必要がある場合は、これでまったく問題がないことを確認してください。ちなみに、バージョン6。*は今年4月のみサポートされなくなります。そして、前に8、10、11、そして次の12があります。

NodeJSに切り替える際の難しさと驚き

おそらく、NodeJSでHTMLページをレンダリングする方法について、私にとって最もエキサイティングな質問から始めましょう。しかし、最初にこれがPHPでどのように行われるかを思い出しましょう。

HTMLをPHPコードに直接埋め込みます。 MVCにまだ到達していないすべての初心者も同様です。そのため、WordPressで行われますが、これは非常に恐ろしいことです。
MVCを使用します。これにより、開発者のやり取りが簡素化され、プロジェクトをいくつかの部分に分割することができますが、実際にはこのアプローチではすべてが複雑になるだけです。
テンプレートエンジンを使用します。最も便利なオプションですが、PHPでは使用できません。 TwigまたはBladeで提案されている構文を中括弧とパーセンテージで見てください。

私は、いくつかの技術を組み合わせたり、統合したりすることに熱心に反対しています。 HTMLは個別に存在し、スタイルは個別に存在し、JavaScriptは個別に存在する必要があります（Reactでは、通常、これは怪しげに見えます-HTMLとJavaScriptは混在しています）。それが、私のような好みを持つ開発者にとって理想的なオプションがテンプレートエンジンである理由です。 NodeJSのWebアプリケーションで長い間検索する必要がなかったため、Jade（PugJS）を選択しました。構文がシンプルであることを感謝します。

  div.row.links div.col-lg-3.col-md-3.col-sm-4 h4.footer-heading . div.copyright div.copy-text 2017 - #{current_year} . div.contact-link span : a(href='mailto:hello@flaut.ru') hello@flaut.ru

ここではすべてが非常に簡単です。テンプレートを作成し、それをアプリケーションにダウンロードし、一度コンパイルしてから、いつでも都合の良い場所で使用します。私の意見では、PugJSのパフォーマンスは、PHPコードにHTMLを埋め込むことでレンダリングするよりも約2倍優れています。 PHPの初期段階で約200〜250ミリ秒でサーバーによって静的ページが生成された場合、この時間は約90〜120ミリ秒になります（PugJSでのレンダリングではなく、ページリクエストからサーバーへのHTMLを使用したクライアントへの応答までの時間についてです））これは、アプリケーションの起動段階でテンプレートとそのコンポーネントをロードおよびコンパイルする方法です。

 const pugs = {} fs.readdirSync(__dirname + '/templates/').forEach(file => { if(file.endsWith('.pug')) { try { var filepath = __dirname + '/templates/' + file pugs[file.split('.pug')[0]] = pug.compile(fs.readFileSync(filepath, 'utf-8'), { filename: filepath }) } catch(e) { console.error(e) } } }) //       return pugs.tickets({ ...config })

非常にシンプルに見えますが、Jadeでは、コンパイル済みのHTMLを操作する段階で少し複雑でした。実際、ページにスクリプトを実装するには、ディレクトリからすべての.js

ファイルを.js

、それぞれに最終変更の日付を追加する非同期関数が使用されます。この関数の形式は次のとおりです。

 for(let i = 0; i < files.length; i++) { let period = files[i].lastIndexOf('.') // get last dot in filename let filename = files[i].substring(0, period) let extension = files[i].substring(period + 1) if(extension === 'js') { let fullFilename = filename + '.' + extension if(env === 'production') { scripts.push({ path: paths.production.web + fullFilename, mtime: await getMtime(paths.production.code + fullFilename)}) } else { if(files[i].startsWith('common') || files[i].startsWith('search')) { scripts.push({ path: paths.developer.scripts.web + fullFilename, mtime: await getMtime(paths.developer.scripts.code + fullFilename)}) } else { scripts.push({ path: paths.developer.vendor.web + fullFilename, mtime: await getMtime(paths.developer.vendor.code + fullFilename)}) } } } }

出力では、ファイルへのパスとタイムスタンプで最後に編集された時間（クライアントキャッシュを更新するため）という2つのプロパティを持つオブジェクトの配列を取得します。問題は、ディレクトリからスクリプトファイルを収集する段階でさえ、それらがすべて厳密にアルファベット順にメモリにロードされることです（ディレクトリ自体に配置され、ファイルは上から下-最初から最後まで収集されるため）。これにより、 app.jsファイルが最初に読み込まれ、 その後にpolyfillsを含むcore.min.jsファイルが読み込まれ、 最後にvendor.min.jsが読み込まれました。この問題は非常に簡単に解決されました-非常にありふれたソート：

 scripts.sort((a, b) => { if(a.path.includes('core.min.js')) { return -1 } else if(a.path.includes('vendor.min.js')) { return 0 } return 1 })

PHPでは、文字列で事前に記述されたJSファイルへのパスという形で、すべてが巨大な外観をしていました。シンプルだが非現実的。

NodeJSはアプリケーションをRAMに保持します

これは大きなプラスです。サーバー上に、互いに独立して並行して、開発者用バージョンと本番バージョンの2つのサイトが存在するように、すべてが準備されています。開発サイトのPHPファイルにいくつかの変更を加え、これらの変更を実稼働環境にロールアウトする必要があると想像してください。これを行うには、サーバーを停止するか、「申し訳ありませんが、tech。Work」スタブを配置し、この時点で開発者フォルダーから本番フォルダーにファイルを個別にコピーする必要があります。これにより、何らかのダウンタイムが発生し、変換が失われる可能性があります。 NodeJSのインメモリアプリケーションの利点は、エンジンファイルへのすべての変更が再起動後にのみ行われることです。これは非常に便利です。なぜなら、必要なすべてのファイルを変更とともにコピーしてから、サーバーを再起動するだけだからです。このプロセスには1〜2秒しかかからず、ダウンタイムは発生しません。

たとえば、nginxでも同じアプローチが使用されます。最初に構成を編集し、 nginx -t

で確認してから、 service nginx reload

変更を加えます。

NodeJSアプリケーションのクラスタリング

NodeJSには非常に便利なツールpm2プロセスマネージャーがあります。通常、Nodeでアプリケーションを実行するにはどうすればよいですか？コンソールに入り、 node index.js

を記述しnode index.js

。コンソールを閉じるとすぐに、アプリケーションが閉じます。少なくともこれは、Ubuntuを搭載したサーバーで発生することです。これを回避し、アプリケーションを常に実行し続けるには、単純なpm2 start index.js --name production

コマンドでpm2に追加するだけです。しかし、それだけではありません。このツールを使用すると、モニタリング（ pm2 monit

）およびアプリケーションクラスタリングが可能になります。

PHPでのプロセスの編成方法を思い出しましょう。 httpリクエストを処理するnginxがあり、リクエストをPHPに渡す必要があるとします。これを直接行うこともできますし、リクエストごとに新しいPHPプロセスが生成され、完了すると強制終了されます。または、fastcgiサーバーを使用できます。誰もがそれが何であるかを知っており、詳細に立ち入る必要はないと思いますが、念のため、PHP-FPMはfastcgiとして最もよく使用され、そのタスクはいつでも新しいリクエストを受け入れて処理する準備ができている多くのPHPプロセスを生成することです。このアプローチの欠点は何ですか？

1つ目は、アプリケーションが消費するメモリ量がわからないことです。次に、プロセスの最大数が常に制限されるため、トラフィックが急激に増加すると、PHPアプリケーションは使用可能なすべてのメモリを使用してクラッシュするか、プロセスの許容制限に合わせて休み、古いプロセスを強制終了します。これを防ぐには、PHP-FPM構成ファイルのどのパラメーターを動的に記憶しないかを設定します。この時点で必要な数のプロセスが生成されます。ただし、基本的なDDoS攻撃はすべてのRAMを使い果たし、サーバーを使用します。または、たとえば、バグスクリプトがすべてのRAMを消費し、サーバーがしばらくフリーズします（開発プロセスには前例がありました）。

NodeJSの基本的な違いは、アプリケーションが1.5ギガバイトを超えるRAMを消費できないことです。プロセスの制限はなく、メモリの制限のみがあります。これにより、可能な限り軽量なプログラムを作成することが推奨されます。さらに、使用可能なCPUリソースに応じて、余裕のあるクラスターの数を計算するのは非常に簡単です。各コアで1つ以下のクラスターをハングアップすることをお勧めします（nginxとまったく同じように-CPUコアごとに1つ以下のワーカー）。

PM2のクラスタリング

このアプローチの利点は、PM2がすべてのクラスターを順番にリロードすることです。前の段落に戻ると、再起動中のダウンタイムは1〜2秒でした。 Cluster-Modeでは、サーバーを再起動すると、アプリケーションでミリ秒のダウンタイムが発生しません。

NodeJSは優れたスイスナイフです

現在、PHPはサイトを作成するための言語として機能し、Pythonはこれらの同じサイトをクロールするためのツールとして機能します。 NodeJSは2 in 1で、片側にフォーク、もう片側にスプーンがあります。同じアプリケーション内の同じサーバー上で、高速で強力なアプリケーションとWebクローラーを作成できます。魅力的ですね。しかし、これをどのように実現できるのでしょうか？ Google自体が公式のChromium API-Puppeteerを公開しました。 Headless Chrome（ユーザーインターフェースのないブラウザ-「ヘッドレス」Chrome）を実行し、ブラウザAPIに可能な限り広範囲にアクセスしてページをクロールできます。 Puppeteerを使用する最も簡単でアクセスしやすい方法。

たとえば、VKontakteグループでは、CISの都市からさまざまな目的地への割引や特別オファーの定期的な投稿があります。自動モードで投稿用の画像を生成します。それらを美しくするには、美しい写真が必要です。さまざまなAPIに結び付けて何十ものサイトにアカウントを作成したくないので、ストックイメージでサイト内を歩き回り、キーワードで見つかったイメージをランダムに選択するGoogle Chromeブラウザーで一般ユーザーを模倣するシンプルなアプリケーションを作成しました。これにはPythonとBeautifulSoupを使用していましたが、今ではこれは必要ありません。また、Puppeteerの主な機能と利点は、サイト上のJavaScriptコードを理解して実行する本格的なブラウザを自由に使用できるため、SPAサイトでも簡単に不正行為ができることです。とても簡単です：

 const browser = await puppeteer.launch({headless: true, args:['--no-sandbox']}) const page = (await browser.pages())[0] await page.goto(`https://pixabay.com/photos/search/${imageKeyword}/?cat=buildings&orientation=horizontal`, { waitUntil: 'networkidle0' })

そのため、3行のコードでブラウザーを起動し、ストックイメージを含むサイトページを開きました。これで、ページ上の画像を含むランダムブロックを選択し、それにクラスを追加することができます。これに応じて、今後同じ方法でページを開き、画像自体を直接読み込んでさらに読み込むことができます。

 var imagesLength = await page.evaluate(() => { var photos = document.querySelectorAll('.search_results > .item') if(photos.length > 0) { photos[Math.floor(Math.random() * photos.length)].className += ' --anomaly_selected' } return photos.length })

PhantomJSでこれを書くのにどれだけのコードが必要かを思い出してください（偶然、閉じて、Puppeteer開発チームとの緊密なコラボレーションを開始しました）。このようなすばらしいツールは、だれでもNodeJSに切り替えることを妨げることができますか？

NodeJSには基本的な非同期性があります

これは、特にES2017でasync / awaitが登場したことにより、NodeJSとJavaScriptの大きな利点と考えることができます。 PHPとは異なり、呼び出しは同期的に行われます。簡単な例を挙げます。以前は、検索エンジンでページがサーバー上で生成されましたが、JavaScriptを使用してクライアントのページに何かを表示する必要があり、その時点でYandexはまだWebサイトでJavaScriptを使用できず、そのためのスナップショットメカニズム（スナップショット）を実装する必要がありましたPrerenderを使用します。スナップショットはサーバーに保存され、リクエストに応じてロボットに発行されました。ジレンマは、これらの画像が3〜5秒以内に生成されたことであり、これは完全に受け入れられず、検索結果でのサイトのランキングに影響を与える可能性がありました。この問題を解決するために、単純なアルゴリズムが考案されました：ロボットが既に持っているスナップショットのページを要求した場合、既存のスナップショットを単に与え、その後、バックグラウンドで新しいスナップショットを作成して置き換える操作を実行しますすでに利用可能です。 PHPで行われた方法：

 exec('/usr/bin/php ' . __DIR__ . '/snapshot.php -a ' . $affiliation_type . ' -l ' . urlencode($full_uri) . ' > /dev/null 2>/dev/null &');

絶対にしないでください。

NodeJSでは、非同期関数を呼び出すことでこれを実現できます。

 async function saveSnapshot() { getSnapshot().then((res) => { db.saveSnapshot().then((status) => { if(status.err) console.error(err) }) }) } /** *     await * ..    resolve()   */ saveSnapshot()

要するに、同期をバイパスしようとするのではなく、同期コード実行を使用するタイミングと非同期を使用するタイミングを決定します。とても便利です特にPromise.all（）の可能性について学ぶとき

フライト検索エンジンエンジン自体は、データを収集および集約する2番目のサーバーに要求を送信し、すぐに発行できるデータを要求するように設計されています。方向ページは、オーガニックトラフィックを引き付けるために使用されます。

たとえば、クエリ「Flights Moscow St. Petersburg」の場合、アドレス/チケット/モスクワ/サンクトペテルブルグ/のページが発行され、データが必要です。

今月のこの方向の航空会社の価格
今後1年間のこの方向の航空会社の価格（今後12か月間の各月の平均価格）
この方向のフライトのスケジュール
派遣都市からの人気のある目的地はモスクワからです（リンク用）
到着都市からの人気の目的地はサンクトペテルブルクからです（リンク用）

PHPでは、これらすべてのリクエストは同期的に実行されました-順番に。リクエストあたりの平均API応答時間は150〜200ミリ秒です。 200を5倍して、平均して、データに対するサーバーへの要求を満たすためだけに1秒を取得します。 NodeJSには、すべての要求を並行して実行する素晴らしい結果、 Promise.allがありますが、結果は順番に書き込まれます。たとえば、上記の5つのリクエストすべての実行コードは次のようになります。

 var [montlyPrices, yearlyPrices, flightsSchedule, originPopulars, destPopulars] = await Promise.all([ getMontlyPrices(), getYearlyPrices(), getFlightSchedule(), getOriginPopulars(), getDestPopulars() ])

また、すべてのデータを200〜300ミリ秒で取得し、ページのデータ生成時間を1〜1.5秒から約500ミリ秒に短縮します。

おわりに

PHPからNodeJSに切り替えることで、非同期JavaScriptに精通し、promiseとasync / awaitを操作する方法を学ぶことができました。エンジンが書き直された後、ページのロード速度が最適化され、エンジンがPHPで示した結果とは劇的に異なりました。この記事では、NodeJSでキャッシュ（Redis）およびpg-promise（PostgreSQL）を操作し、Memcachedおよびphp-pgsqlと比較するために単純なモジュールがどのように使用されるかについて話すこともできましたが、この記事は非常に膨大であることが判明しました。そして、私の書く「才能」を知っていた彼女はまた、構造が不十分であることが判明しました。この記事の目的は、まだPHPで作業している開発者の注目を集めることで、かつてPHPで記述されていた実環境プロジェクトの例を使用して、NodeJSの喜びとNodeJSでのWebベースのアプリケーションの開発を認識していませんその所有者は別のプラットフォームに行きました。

私は自分の考えを伝え、この資料でそれらを表現するために多かれ少なかれ構造化できたことを願っています。少なくとも私が試した:)

コメントを書く-友好的または怒っています。建設的な質問には答えます。

フライト検索エンジンをPHPからNodeJSに書き直した方法