Golang、PHP、映画検索、電信-それらを結合するものは何ですか？

定期的に、ほこりに覆われないように、私は誰かの生活を楽にする面白いものを作ろうとしています。 猫のソーシャルネットワークよりも有用であることを確認するよう努めています。 最近の例の1つは、指定された座標で既知のWi-Fiポイントを検索し、それらのパスワードを確認できるTelegramボットです。



今回も例外ではありませんでした。ボットを作成して、お気に入りの映画やテレビ番組を最大限の快適さと最小限の労力で視聴できるようにし、音声演技のいくつかのバージョンでコンテンツを提供することもできました。 すぐに言ってやった。 そして今、人の鉄の友人がお気に入りのショーをユーザーに喜んで提供しているとき、ボットの作成に伴うもの、私の問題点、およびそれらの解決方法についてお話したいと思います。 最初の章では、PHP開発者の目を通してGoについて、2番目の章ではKinopoiskを解析するためのZenを見つけることについて、3番目では文書化されていない機能Telegraphについて説明します。

1. $ alexander-> useLanguage（GOLANG）;

私の名前はアレクサンダー、21歳です。 私はWeb開発に携わっており、ほとんどの場合、PHPを使用しています。





PHPは夢のような言語とは言えません。 他の言語と同様、彼には長所と短所があります。 しかし、私はPHPにうんざりしていることに気づき始めました-この言語の開発は次第に退屈になり、その子供の痛みは同様の引数をとる同様の関数のようですが、順序は異なり、必ずしも予測可能な動作ではなく、もちろん弱い型付けです。 そのため、次の製品ではGolangを使用することにしました。 私が始めたとき、私は彼についてこれを知っていました：

• 強い型付け
• それほど多くないキーワード
• ゴルーチンは、すぐに使える便利な並列処理です
• 彼らは、言語はシンプルで予測可能であると言います。

また、私は退屈からGolang本をめくったことがあります。 最初はすべてが非常に珍しかった...まあ、最初の3-5時間。 はい、言語の入力は非常に簡単です。 魔法の欠如とキーワードの豊富さ、そして予測可能な動作は、トリックをします-あなたがすでにプログラミング言語に精通しているなら、確かにGoへの没入はそれほど時間がかかりません。 重要な発言は次のとおりです。1ページのページを3年間書いて、それで経験が終わったら、私の言葉を取り戻します。 言語の予測可能性と厳密なタイピングにより、起動とチェックのためにバイナリをコンパイルせずに非常に大量のコードを書くことができます。 もちろん、実行時エラーはありますが、PHPの後は新鮮な空気です。ご存知のように、私は自分で間違いを犯しましたが、エラーは明らかではありません。



Golangでコードを編成すると、すべてが簡単になります。「ここにディレクトリがあり、同時に名前空間でもあります。 ここにすべてを保管してください。」 そして...それは動作します。 開発とサポートがとても簡単なので、幸福の涙が湧き出ます。 正直に言うと、このアプローチでプロジェクトをどれだけ大きくすることができるかわかりません。 いくつかの大きなライブラリのリポジトリを調べました-正気に見えますが、サポートについて話すことはできません。 主観的には、PHPで同じサイズのコードベースを維持するのはGoよりも困難です。



公平に言うと、配列（スライス）を使用した便利で明白な作業は、Goについてではありません。

//... s.KeyBoard = [][]string{} s.KeyBoard = append(s.KeyBoard, []string{}) s.KeyBoard[0] = append(s.KeyBoard[0], s.text.GetAction(locale, "view-prev")) //...
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Golangの観点からは、すべてが論理的に見えますが、人間の観点からは少し奇妙です。 このトピックについては、 ここで詳しく説明します 。



また、Golangでの並列作業にはゴラン（スレッド）が使用されますが、PHPではフォーク（プロセス）を使用するのが一般的です。 私のプロジェクトにはゴルーチンを適用できる場所は多くありません。 ただし、それらが使用されている場合は、非常に論理的でシンプルに見えるため、分岐点に戻る気がしません。 フォークは独立したプロセスであるため、通常、サードパーティ（RedisまたはMemcache）を使用して相互に通信します。 Golangの同様の問題は、チャネルの助けを借りて解決されます-箱から出してアクセスできる言語の一部です。 考えてみてください！ すぐに使える並列作業、さらには同期のサポート。 私はこれを夢見てもいませんでした。 現代のバックエンド開発における並列作業のタスクは一般的であるため、PHPにあまり多くを要求するとは思わない。 また、Golangは人類のすべての問題の万能薬であるとは言いたくありませんが、PHPで開発した経験の後、Goで同様の問題を解決することは、結果以外に喜びでもあります。

2. Alexander.NeedInfo（）

ある時点で、キノポイスクから映画情報を取得するために使用していたAPIは終了しました。





Kinopoisk独自のパーサーを作成することが決定されました（Kinopoiskチームのメンバーは、スリッパを投げないで、パブリックAPIを作成することをお勧めします）。

v1-ローンヒーロー

最初の実装は単純で額が大きかった-単一のPHPスクリプトがプロジェクトに落ち着きました。このスクリプトにアクセスすると、キューからランダムプロキシサーバーのアドレスを取得し、それを経て映画のためにKinopoiskに移動しました。 解析自体はPHPでも行われました。 孤独なヒーローはクッキーを使用しなかったため、キノポイスクは1回のリクエストですべてのアドレスを禁止しました（キャプチャを表示し始めました）が、すべてのプロキシサーバーが高速ではありませんでした。



Cookieのサポートを実装し、最後に対処するようです。 ただし、Cookieをサポートしていても、Kinopoiskはブラウザで表示するよりも頻繁にキャプチャを表示します。 これがクライアントでのjs-code実行のような匂いがし始めていることに気づいたので、Kinopoiskの解析からの保護を詳細に調査しないことにしました。

v2-フルクライアント

パーサーの次のバージョンはGoのWebサーバーで、GET要求で必要なパラメーターと送信されたムービーIDを使用してPhantomJSを起動します。 うまくいきました。 プロキシサーバーは不要になり、IPからキノポイスクに直接行きました。 セッションサポート、フルブラウザ、そして一般的に、すべてが便利でした。 しかし、それは非常に遅かった。 PhantomJSは、必要なすべてのJSコードをロードして実行するために、すべての静的データを正直に待ちました。 遅いという事実に加えて、リソースの点で非常に高価でした。 1ページの解析には100〜150 MBのRAMが必要でした。 このバージョンの頭を撃たれた理由は、PhantomJSの不安定さとその不安定な動作です-たとえば、そのプロセスは常に終了せず、実行中のプロセスにハングしたままで、メモリを解放しませんでした。 PhantomJSのさまざまなバージョンを試し、起動を開始するWebサーバーを使用して背後のプロセスを終了しようとしましたが、結果は常に同じでした。はい、動作しますが、もちろん便利ですが、貪欲で不安定です。

v99

Kinopoiskを解析するための聖杯を探す過程で、私が作成したさまざまなパーサーとその修正のバージョンの数を把握できませんでした。 その結果、次のバージョンを99番目に呼び出しました。 99番目のバージョンはPHPで作成されました。 私はGuzzle（PHP用のHTTPクライアント）を使用し、セッションをサポートし、ユーザーのブラウザーの動作と可能な限り類似するようにしました。 JSのサポートを拒否しました。 CAPTCHAももちろん表示されますが、パーサーの最初のバージョンよりもはるかに少なく、原則として、このオプションは快適と呼ばれます。 このバージョンでは、停止しました。



また、私はKinopoiskのリクエストでそのAPIへのアクセスを提供できることを知っていますが、このオプションを考慮しませんでした：アクセスがあったとしても、いつでもアクセスを奪われる可能性があるため、潜在的な障害ポイントになる可能性があります。

3. Video.Publish（）

Kinopoiskとの戦争の後、私はユーザーにビデオへのリンクを提供する準備ができており、それを再生する場所がなかったという状況にありました：Telegram Bot APIはリンクでビデオを表示する便利な機能を提供しませんが、ドメインを登録し、パーサーでボット以外のものをホストしますそして、私は絶対に前線の開発に関与したくありませんでした。

どうする？

ビデオをどこかに公開します。 少し考えた後、私は電信が「どこか」に完全に合格できると決めました。 Telegramから記事を公開するために事実上使用されているサイトですか？ 必要なもの！ 1つの問題-参照による動画の投稿はできません（YouTubeまたはVimeoを除く）。

そして見れば？

ページ上でブロックがどれだけ簡単かつ動的に作成されるかを見て、ボタンを1つ押すだけで記事が公開されると、思わず疑問に思う人がいます。 特に、コンテンツを公開する場所を探している場合。 調べることにしました。





POST後のリクエストにはJSONが含まれていますが、これはHTMLマークアップに疑わしいことに似ています。 そして、私たちが持っている構造に従って、ビデオタグを追加してみましょうか？ さあ 少しの忍耐とこれを取得...





上記の構造を使用して編集のためにPOSTリクエストを実行すると、 参照によって任意のビデオがパブリケーションに追加されます 。 必要なもの。

ここじゃなかった

すべてが機能し、問題はありません。 問題は、ほとんどの属性がサポートされていないことです。つまり、字幕やビデオのポスターなどを忘れることができます。 つまり、「ありがとう、何がそこにあるのか」というカテゴリから解決策が生まれました。 考え直すことなく、プレーヤーを構成できるようにするためにXSSを使用することにしました。 おそらく、この場所のどこかで通常の開発は終了しますが、撤退する場所はありませんでした。ビデオの公開を整理する必要がありました。 サードパーティのコードをページに導入するためのさまざまなオプションを試してみましたが、画像を使用しても、すべてが無駄になり、Telegraphは英雄的に生き残りました。 しかし、私は情報セキュリティの分野の専門家ではありません。 おそらくもっと時間を費やしたら、XSS for Telegraphの動作バージョンを見つけて、それを排他的にプレーヤーのカスタマイズに使用するでしょうが、私はこのベンチャーを辞めました。 コンテンツを公開するためにさらにいくつかのサイトを試しましたが、どこでも何かが欠落しているか、何かが機能しませんでした。 したがって、私はまだ私の側にビデオプレーヤーを実装しました...







PS Telegraphの開発者がこの記事を読んでいる場合：そのような機能が利用可能であるため、インターフェイスを参照してビデオの公開を追加してください。