「次の2年間で、何か特別なふりをしようとするべきではなく、人類がすでに作成したものを構成するのに十分なだけ賢明であるべきです」 （c） bobuk

1年前、社内のハッカソンで、ロストフのスタッフは視覚的なテキストエディター、Muravyevのタイポグラファー、反agi窃サービスを一夜で訪れました。 出版物を迅速に準備してブログに送信するのに役立つことが判明しました。



かつては、このプロジェクトはサイドプロジェクトとして生きていましたが、社内のスタートアップのように、いくつかのリソースが与えられました。 その結果、編集スタッフのいない便利な集合メディアができました。





老人グーテンベルクは喜ぶだろう



40歳の叔父ダイバーがバレンツ海で沈没船を上げるなどの興味深い物語を読んだり、人気のある非技術的なトピックに関する作家のために、テキストから少しお金を稼ぐことができます。



そのようなサービスを開発する際に何を考慮し、松葉杖なしで何を選択するかを見てみましょう。



伝統的に、私たちは投稿を章に分割しました-各章には、最小限の外部コメントでプロジェクト参加者からのヒントと直接のスピーチがあります。

10人のエディターのうち、中 （JS）を選択する必要がある理由

タイポグラファーのMuravyovに感謝 （Python）

盗作防止システムの仕組み （Pytnon）

著者はどのようにテキストが与える影響を理解できますか

サポート方法 （システム管理者との仕事について）

叔父のダイバーの物語 （uPages）

しかし、最初から始めましょう。 サイドプロジェクトが高負荷のプラットフォームに発展し始めたとき、何かを追加して書き直す必要があるという理解がありました。

0.テクノロジーを選択した方法

年末までに、8,000人の著者がこのプラットフォームを使用し、読者数は30万人に達すると予想されます。



Ilya devhard 、CTO uPages： 「プロジェクトにテクノロジーを選択するとき、私たちは次のような考慮事項から進めました。約束と重負荷への抵抗。



選択はNode.js + MongoDBの束にかかった。 クライアントには角度、反応、縮小はありません。 Express.jsがフレームワークとして選択されたのは、そのミニマリズムと、追加設定なしで必要なすべてをすぐに使用できるか、または追加設定が少ないためです。



また、 ESlintがありました。これは、「タブとスペースのどちらが良いか」という精神であまり議論することなく、複数の開発者のコ​​ードを多少統一したスタイルにするのに大いに役立ちました。 開発の初期段階で非常に役立ちます。



ESlintのサイトにはデモがあります。 GitHubからプロジェクトをダウンロードできます。



プロジェクトアプリケーションの作業環境としてのDockerコンテナ-「ライブラリの更新とすべての破損」などのパラノイアから身を守り、必要に応じて、適切なライブラリバージョンまたは完全に異なるいくつかのアセンブリ（大まかに言って、安定した、bleeding_edgeアセンブリ）を迅速に取得します。



また、 3つのGitリポジトリ （オフィスにローカルに1つ、異なるデータセンターに2つ）がありました。 そして、いつかビジュアルエディターの作成を開始することを知っていました。」

1.独自のWYSIWYGを作成する場合は、同情します

開発者のセルゲイ： 「ハッカソンのプロトタイプは、uCozのブログとサイト用に作成されました。 そしてもちろん、私たちが最初に考えたのはそこから何かを取ることでした。 しかし、ご存知のように、uCozの一部はPerlで記述されており、Node.jsを選択しました。 そのため、エディターは別のサービスとして接続するか、書き直す必要があります。



さらに多くのオプションを検討した後、それらは同様に破棄されました。

1. どちらも「何かを見て」編集者ではありませんでした。
2. または、箱から出してすぐに見えませんでしたが、Word 2003のようです。
3. それらをカスタマイズすることは、コスタイライズのようなものです。

編集者のリストは最初のコメントではお勧めしませんが、すぐに開きます：





CKEDITOR-あなたの仲間ではありません（少なくとも理由＃2のため）



このサイトの著者はさまざまな人々です-そして、プロのジャーナリスト、コピーライター、完全に新人、そして厳しい2000年代にブログを試みた人々です。 誰もがすぐに記事をダウンロードできるようにエディターを作りたかったのです。



再度検索した結果、2016年の春には選択肢が明確であることがわかりました。MediumEditorは、同名の人気ブログプラットフォームに触発されたオープンソースエディターです。 一見すると、いくつかの利点があります。



MEには完全で理解しやすいドキュメントがあり、プロジェクトは絶えず更新されており、放棄されていません。 また、「箱から出してすぐに」必要な機能（テキストを操作するためのツールバーとツール-これがGitHubにあります）とカスタマイズの可能性もありました。





編集ツールは、必要な場合にのみ表示されます。 横のプラス記号の後ろには、写真とビデオの挿入があります。



キットに含まれていないウィジェット-「ビデオ」、「写真」、および「セパレータ」-私は、デザインから始めて自分で書きました。 そして、彼らの創造には多くの時間はかかりませんでした。



しかし、軟膏にハエがないわけではありません。 最初の驚きは、MEがエディター内の標準イベント（ keyup、pasteなど）を再定義し、独自のイベントに置き換えたという事実でした。 状況を制御するには、MEコードに移動して例外を追加する必要がありました。





脆弱性を発見したので、プロジェクトでMEを使用している人々に手紙を書き、それを閉じる方法を説明しました。



最初のテストで脆弱性が発見されました。 MEでは、次のような危険なリンクに対する保護が存在しないことに気付きました。

javascript:alert('xss http://www.ru')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これは、私たちがやったように、単にjavascript：タイプのシーケンスを追跡して破壊することで解決できます。



一方で、私たちは無作法にそれを行っています-危険なリンクの場合、私たちは単に記事を保存しようとはしていません。 しかし、一方で、そのような実験を行うことを決定した場合、そのユーザーは明らかにユーザーではありません。

2.ハイフンの代わりにヘリンボーンとダッシュの引用符

開発者のピーター： 「一般的に、自然言語でのテキスト処理は、特にロシア語に関して重要な作業であることに注意してください。 必要な機能を備えた既製のツールを使用できるため、異なることをしようとする試みの開発を遅らせないでください。



ハッカソンでおなじみのユーティリティを導入することが決定されました。 私たちはそれらをDockerコンテナの形で別個のマイクロサービスに詰め込みました-WSGIを介して動作するAPIを持つ一種のPythonラッパーです。







ツールの1つは、 印刷会社Muravyovaでした。 私の謙虚な意見では、Runet全体にタイポグラフィ修正のためのより良いツールはありません。ルールとPHPとPythonの実装の印象的な要約です。 そして、非常に重要なのはライセンスです。



@emuragevに敬意を表して、パブリックドメイン（パブリックドメイン）として配布されているため、Python実装でプロジェクトに固定しました。 ルールを補足する方法についての機会とアイデアがありますが、これまでのところ、彼らは何も変更していません。

3. SEOコンテンツファームにならないようにする方法

グラフォマニアとアマチュアが居心地の良いblozicsから再投稿するのを防ぐために、事前調整を導入しました。 出版物のテキストの一意性がチェックされます。著者自身とそのようなチェックを実行できます。







開発者のピーター： 「プラットフォームのコンセプトは、トピックや形式を厳密に規制することなく、面白​​いストーリーやレビューを作成することです。 しかし、各テキストで稼ぐこともできます。 そして、それが一意でなければならないことは明らかです。



一般に、テキストの一意性をチェックするためのオンライン機能を実装するには、 Yandex.XMLテクノロジと、理想的には、テキストを最初に実行してからY.XMLをノックするテキストパターンのベースが必要です。



ただし、1つのドメインからY.XMLサービスへのリクエストの数は制限されており、サイトのTCIに直接依存します。 また、未リリースのWebプロジェクトにはどのようなTICがありますか？ なし。 また、開発中は、リクエストを送信し、回答を解析し、データを処理することが常に必要でした。







もちろん、大きなTICがあるサイトが存在するドメインにリクエストを送信することもできます。 しかし、最終的には、これを行わず、既製のContent-Watch（CW）APIを使用することにしました。 システムは有償ですが、私たちにとって特別な条件になりました。



ネットワーク上のレビューはさまざまですが、問題をよく理解しているようで、優れたドキュメント、最小限のAPI、およびY.XMLに加えて独自のアルゴリズムを使用してサービスを撮影しました。



私たちにとって、サービスのユーザーに関しては、すべてが非常に簡単に機能します。チェックするテキストを含むCWサービスのリクエストを送信し、json応答を取得します。 応答には、テキストの一意性の程度に関する情報（美しい円グラフが表示されます）と、このテキストまたはそのテキストが見つかったネットワーク上のページへのリンクが含まれます-これまでのところ、モデレーターのみがリンク付きのトピックを使用し、メインページで公開する前に記事を確認します。」

4.著者に記事を分析させる方法

著者をより面白くするために、私たちはすべての人にテキスト分析と支払いツールを導入することにしました。 収入は次のように生成されます。テキストの横には、広告と推奨の2つのバナーがあります。 バナーにはクリック価格があります（広告システムによって決定されます）-各クリックのコストの80％を著者に提供します。



イリア、CTO uPages： 「興味深いタスクは、著者に稼いだ金額と時期を示し、同時に事実を示すことでした-誰もが記事を読むわけではなく、ティーザーや見出しだけでなく、テキスト内での取り組みに取り組む必要があります。



したがって、統計モジュールを作成しました。







クライアント部分で構成されています-Chart.jsを介してグラフを描画し 、数字とリストを提供します。



サーバー側では、「いいね！」、「読み取り」、「ブックマーク」の数など、自分自身で何かを検討します。



そして、データの一部-作成者が獲得するバナーのクリックに関する-は、GoogleアナリティクスAPIとEngageya推奨サービスを利用します。 2番目のものには便利なAPIがありませんが、1日に1回、必要なすべての情報を含むレポートをアップロードすることに同意することができました。 これは、記事の側面での広告クリックと著者の収入を示す方法です。







Google APIの場合、リクエストには制限を満たすために一定の周期があります。

はい、 Google APIは苦痛です。 非常に多くの異なる製品があるため、膨大な量のドキュメントを読み直して、いくつかのアプローチを試す必要があります。 最初、AdSense Management APIを使用してAdSenseの収益データを取得しようとしましたが、そのレポートでは収益源の詳細な会計情報を提供できません。



長いグーグルと私の頭をキーボードで叩いた後、救いは分析からもたらされました。

Google AdsenseアカウントとAnalyticsアカウントの間にリンクが確立され、その後、分析APIをリクエストするとAdSenseデータが利用可能になります。

5.メンテナンス方法

Ruslan pys 、システム管理者： 「タスクは、それがクラウドサーバーであることを微妙に示唆しました。 マザーボードの温度、ファンの速度、ディスクの監視、およびシリアル番号の書き換えを忘れずにディスクを変更することは、本当にしたくありませんでした。



クラウド仮想マシンには次の要件がありました。

• モスクワのデータセンター（ロシア語を話す聴衆があるため）、
• 便利な構成変更、
• 異なるプロバイダーの 2台のサーバー-フォールトトレランスとダウンタイムなしの技術的作業の可能性のため。

もう1つの重要なタスクは、ソフトウェア展開モデルです。 明らかに、開発サーバーでの生活と戦闘での生活は、2つの大きな違いです。 すぐにユニバーサルコンテナ化を選択したのは良いことです。この機会に、システム管理全体から感謝を表明します。



他のプロジェクトで既に正常に使用しているため、コンテナの展開および構成管理システムとしてSaltstackを選択しました。



サービスを警戒状態にした結果、運動を実施したいという自然な欲求が生じました。 Yandex.Tankから発砲します。 プロセッサコアとシステムおよびアプリケーションソフトウェアの設定に対する要求の比率を変えた実験の過程で、1つのノードの容量と、この容量と仮想ハードウェアおよびOS設定の構成との相関関係を特定しました。 まあ、彼らは11月1日に始まりました。」



PS 新しいサービスに http-requestsを送信してください！