今日、TOP.ST格付けニュースアグリゲーターの開発の歴史をhabrasocietyと共有したいと思います。

開始する

それはすべて、私が休むのに疲れていた年末年始に始まり、就業日の開始前にはまだかなりの時間がありました。 いつものように、さまざまなアイデアが頭に浮かび、そのうちの1つを実装したいと考えました。 概念の概要を説明して放棄するほどではありません（そのような取り組みの数を数えることは既に困難です）が、長い箱に入れずにゼロから立ち上げるまでです。



格付けニュースアグリゲーターのアイデアは新しいものではありません。 ネットワークには成功したプロジェクトとそうでないプロジェクトの両方があります。 すべての長所と短所。 私はニュースを読むのが好きで、新鮮に読むのが好きなので、よく似たプロジェクトを使って、自分でこのアイデアをどのように実現するかというビジョンを徐々に形成しました。 そして始めました。



まず第一に、私は、サイドプロジェクトの場合によくあることですが、開発を遅らせないことを約束し、できるだけ早く実用的なプロトタイプを立ち上げる予定です。 これを行うには、「入る」時間を無駄にしないために、最も使い慣れた技術スタックを使用する必要がありました。 当時は、バックエンドとしてのPHP + Phalconフレームワーク、データベースとしてのMySQL、キューマネージャとしてのBeanstalkdでした。



私は、アプリケーションアーキテクチャプランを開発することから始めました。 その結果、互いに独立した4つの実質的に独立した部分で構成されました。

• Webサーバー ユーザーが対話するエンドポイント。 コンテンツを提供するために、できるだけ軽量で、最も必要な機能のみを実行するか、1つの機能を実行する必要があります。 必要に応じて、このようなサーバーが複数存在する場合があります。
• 労働者。 アプリケーションのこの部分は、ニュースと評価の収集と一次分析を担当します。 作業者は、処理する情報量を増やすために簡単に拡張する必要があります。
• データベース、タスクスケジューラ、およびメインデータハンドラ。 これがアプリケーションの中核です。 システムの状態を管理し、ワーカーのタスクをスケジュールし、Webサーバーのデータを準備します。
• 管理パネル。 システムを制御するために設計されたアプリケーションの一部。

これらのすべての部分は、Beanstalkdキューマネージャーを介して相互作用し、OpenVPNを介して単一の仮想ネットワークに統合されます。

プロセスが開始されました

スクリプトの作成の最初の日に、最初の失望が私を苦しめました。 RSSフィードの解析、HTML解析、およびいくつかの関連タスクの、一見単純な操作で、パフォーマンスとメモリリークの深刻な問題に遭遇しました。 判明したように、多くの（人気のある）サードパーティライブラリはまだデーモンモードで動作する準備ができていません。 スクリプトがスキームに従って動作するとき：開始、動作、コンテンツの提供、および終了-すべてが正常です。 しかし、長時間の作業により、メモリリークと突然のクラッシュが現れ始めます。 それから、これらすべてに対処し始めると、長い間行き詰まることに気付きましたが、これに時間がないので、node.jsを見つけました。



node.jsについてはかなりの経験がありましたが、それまでに6か月以上も書いていないことがわかったため、このトピックに戻る必要がありました。 私の恐怖に反して、2日後、あのような休憩はなく、事件は新しいターンから始まったかのように、私は再びその雰囲気に完全に染み込んだ。

設計

私にとってデザインはとても難しいです 私はデザイナーではありません。 私は良いセンスを持っていると信じています。良いインターフェイスと悪いインターフェイスを区別できます。すべてが美しくできたとき、それが大好きです。私の頭の後ろのどこかで「どうあるべきか」を見ています。 しかし、頭の向こうにあるこのビジョンを取り除くことは非常に困難です。 しかし、設計を行わなければならず、私はそれを良くしたかったのです。 「素敵な」素敵なインターフェイスを作成するために多くの時間を費やしました。 そしてその瞬間、彼は私にとっても美しく見えた。 しかし今、私は彼を恐怖で覚えています。 最初のバージョンは次のようになりました。







最初のバージョンを起動した後、頭が少し冷たくなったとき、私はもう一度「それ」を見て、それがひどく見えて、使用しさえしないことに気付きました。 そして、私は最初から始めました。 私はそれがどのように起こったのかわかりませんが、私はまだ何が起こったのが好きで、まだそれが好きです。 このサイトには新しい顔があり、今では訪問者に会うことができます。

最初の作業バージョン

約1か月半で、最初の作業バージョンを作成するのに時間がかかりました。 その時までに、私はすでにドメインを購入し、適切な容量の無料ホスティングを考えていました。 システムを展開し、主要な情報を収集した後、デバッグを開始しました。 最大の落とし穴を特定し、アルゴリズムをデバッグし、データソースを収集するのに約2週間かかりました。

サイトは機能し始めましたが、容量はすぐに不足しました。 4Gbメモリと4つのCPUコアを備えたVPSは、明らかにそのタスクに対処できませんでした。 そして、容量を最適化または追加するという選択に直面しました。 最適化は長くて面倒なプロセスであり、常に予測できるとは限りません。 それにもかかわらず、私は最適化に取り組んでおり、まだそれを行っていると言うために先に進みます。 その結果、システムの全体的な負荷を大幅に削減することができましたが、そのサーバーではまだ十分ではなかったので、私は決断しました-より多くの鉱物資源が必要です。

移転

その時に必要な特性を備えたサーバーの価格は、正当化できないように思えました。 簡単な言葉で言うと、私はそんなにお金を払ってすみませんでしたし、状況から抜け出す方法を探し始めました。



サーバーの主な負荷は、データベースと基本的な計算とスケジューリングタスクを担当するシステムの一部によって作成されたため、私はそれを自宅のサーバーに持ち込むことにしました。 当時、私はCore i7と8Gbのメモリを搭載したMacBook Air 2013を搭載していましたが、MacBook Pro Retinaに移行したため使用しませんでした。 その上にサーバーを展開し、VPNを介してネットワークの残りの部分に接続しました。 幸いなことに、私は自宅に安定したインターネットがあり、その速度はタスクの通常の実行に十分でした。 MacBook Airは、高速SSDのおかげで大部分がタスクに完全に対応し始めました。



それまでに数ギガバイト増加したデータベース構造に変更を加えても問題はありませんでした。また、サーバーへの全体的な物理アクセスにより、バックアップ作成の高速化などの利便性が追加されました。 そのため、サイトは約1か月間機能し、ゆっくりと作成と改善を行いました。 処理されたデータの量の増加は、MacBook Airの負荷が大幅に増加したという事実につながりました。 彼はまだ問題なくそれに対処しましたが、彼は浴し始め、それに応じてファンで騒ぎ始めました。 私は彼を気​​の毒に思いましたが、彼はそのような仕事をするつもりはありませんが、尊厳をもってそれらに耐えました。



この時点で、これらの目的により適したマシンにサーバーを転送することにしました。 強力なデスクトップアイロンを購入したいと思いましたが、停電の恐れから強力なラップトップを購入するようになりました。 選択はラップトップ会社のDNSにかかった。 これらのラップトップは優れた外観を誇ることはできません。画面、キーボード、本体には多くのものが残されていますが、価格/充填率は非常に優れています。 4コアCore i7および8Gbメモリを搭載したモデルを取り上げました。 すぐにメモリを16Gbに拡張し、Kingston KC300 SSDを180Gbで挿入しました。 費用は35,000ルーブルでしたが、ルーブルの崩壊後、すでにかなりの予算決定のように思えました。



サーバーは、24時間365日モードで約4か月間正常に動作しており、そのタスクに完全に対処しています。 システムを少し冷やすために、スピーカーの間に設置したので、ラップトップの底面の下で空気を自由に循環させ、プロセッサーの周波数をわずかに下げることができました。 このモードでは、夏でもプロセッサーの温度が65度を超えて上昇することはありません。これは良い指標です。



この間、私は電気とインターネットの短期的な停止に何度か遭遇しましたが、サイトの運用はこのサーバーに直接依存しないため、訪問者をそれほど煩わせません。 これは、ダウンタイム中にデータの更新が停止するという事実でのみ明らかになりますが、これは短い間隔ではそれほど重要ではなく、この段階でそれと共存できます。

通常の飛行

現在、このサービスは28か国の出版物を監視しています。 インターフェイスは10の言語に翻訳されており、言語はブラウザの設定に基づいて選択されます。 サイトのデザインは適応性があり、デスクトップコンピューター、タブレット、携帯電話でも同じように見えます。 モバイルデバイスの場合、ショートカットを保存して、サイトがアプリケーションモードで動作するようにすることができます。 サイト上のデータはリアルタイムで更新され、インターフェースはAngularJSに実装されます。







このサービスは、MicrosoftのBizSparkプログラムのメンバーになりました。 このプログラムが提供するAzureホスティングは、プロジェクトの開発を大いに支援し、引き続き支援してくれました。Microsoftには非常に感謝しています。 BizSparkは、スタートアッププロジェクトの開発に本当に価値のある貢献をしています。

聴衆

このサイトの最初の発表は、 Site of the dayポータルのFerra.ruという見出しの下に公開されました。 また、Reddit、HackerNews、Twitterへのリンクを数回投稿し、Zuckerberg CallプロジェクトのTribuneを使用しました。 彼らはサービスをかなり受け入れて、いくつかの貴重なアドバイスをしました。 現時点では、これはすべてウェブサイトのプロモーションです。 時間の経過とともに、サイトのいくつかのレビューが外国のリソースに登場し、ロシア国外からの最初の定期的な訪問者がそこから来ました。 数日前、サイトへのリンクがDesignerNewsのトップポータルにヒットしました。



一般的に、分析は訪問者がプロジェクトを好むことを示しています。 過去数か月間、サイトでのユーザーセッションの平均時間は30分で、直帰率は10〜12％前後で変動し、リピーターの数は65〜70％です。 同時に、トラフィックの55％は直接、35％はレビューとブログからのリンクです。 残りの20％はソーシャルネットワークと検索です。 興味のあるユーザーはサイトに戻り、定期的な訪問者になります。これは非常に楽しいことです。 絶対数では、訪問者は私たちが望むよりも少ないです。

計画

機能を改善するための多くの計画があり、私はそれらをゆっくりと実装していますが、残念ながら、私が望むほど速くはありません。 私はメインの仕事から自由時間にプロジェクトを行います。



内部アーキテクチャに関しては、主にシステム全体をDockerコンテナの使用に移行し、私に合わなくなったコードの一部をリファクタリングし、プロジェクトのすべての作業部分からログの集中コレクションを設定し、もちろんランキングアルゴリズムとその速度を改善したいと考えています。



目に見える変更のうち、カテゴリまたはタグを導入して、ニューストピックをナビゲートし、ニュースダイジェストにサブスクライブする機能を追加し、最終的に壊れたリンクと重複したリンクの問題を解決し、コメントする機能を導入するようにします。



後者では、トロールや他の不適切な人がスラチャの別の場所をそこに配置しないように、この機会を制御する方法を見つけることは最も困難です。



夢の中では、同じ主題のニュースを物語にまとめることを学んでいますが、これまでのところ、これはより良い時代まで延期されてきました。



モバイルアプリケーションは計画中です。モバイルアプリケーションの必要性が明らかになるとすぐに表示されます。



プロジェクトの開発速度は、ユーザーからのフィードバックに正比例することに気付きました。 ブログのサイトへのリンク、ニュースリソースのレビュー、またはメールで満足したユーザーからの手紙を見るたびに、作業は新しい速度で動き始めます。 フィードバックは本当に非常に重要な動機付け要因です。

おわりに

簡単になります、なぜなら 記事でしたので、予想以上の結果になりました。 それを読んだすべての人に感謝します。 コメントにあるすべての質問に答えようとします。そのような機会がない人はmail@top.stに安全に書き込むことができます。 さて、 ようこそ 。