Python / Djangoの高負荷サイトおよびアプリケーション(29プロジェクト)

当社は、かなり長い間、Python / Djangoで大規模なWebアプリケーションを開発しています。 RuNetでは、この素晴らしいプログラミング言語とそれに基づくフレームワークに関する情報はほとんどありません。 このエラーを修正し、この技術に関する人気の高い負荷の高いサイトについて話し、多くの興味深い技術的な詳細を提供することにしました。 サイトを相互に比較しやすいように、各プロジェクトの統計情報も提供しています。 一般的に、Python / Djangoには世界中に多くのサイトがあります。もちろん、私たちの意見では最も興味深いものだけを扱っています。



有名なプロジェクトの小さなテーブル( http://builtwith.com/のデータに基づく)、クリック可能:



クリックして拡大



表の大きなバージョンはこちらです: http : //seclgroup.ru/article_vysokonagruzhennyye_sayty_i_prilozheniya_na_python_django.html



Pinterest(ソーシャルネットワーク)



使用されるテクノロジー:



Pythonはプログラミング言語として、Djangoはフレームワークとして選択されました。 ホスティング-Amazon。 MySQLはメインのデータベース管理システムとして使用され、オブジェクトはmemcachedによってキャッシュされ、オブジェクトのコレクションはRedisによってキャッシュされます。 Solrは検索プラットフォームとして使用され、Hadoopは検索およびコンテキストメカニズム、データ分析の実装に使用されます。



統計について少し:



最新のデータによると、スタッフの従業員数は140人を超えています。 2011年12月の週あたり約1100万のユニークビジター。EC2の500台の仮想マシン、410テラバイトのユーザーデータまたは8000万の異なるオブジェクトがAmazon S3に保存されます。 フランスの代理店Semiocastによると、2013年7月現在、Pinterestには約7000万人のユーザーがいます。 合計で、PinterestはFacebook、Twitter、LinkedInに次いで米国で4番目に人気のあるソーシャルネットワークになります。



http://en.wikipedia.org/wiki/Pinterest



(元のhttp://www.businessinsider.com/how-we-scaled-pinterest-2013-4?op=1、http://highscalability.com/blog/2012/5/21/pinterest-architecture-update- 1800万人の訪問者-10x-growth.html



Disqus(サービス)



使用されるテクノロジー:



Pythonはプログラミング言語として、Djangoはフレームワークとして選択されました。 オペレーティングシステムはLinuxです。 PostgreSQLはメインのデータベース管理システムとして採用されており、Pinterestの場合のように、オブジェクトキャッシュはmemcachedによって実行されます。 HAProxyは負荷分散を担当し、Slonyはデータ複製を担当します。



統計について少し:



スタッフは33人を雇用しています。 登録ユーザーの数は増え続けており、現在5000万人です。 サイトは、1秒あたり約17000のリクエストを受信します。 米国だけで1か月あたり1億4400万を超えるユニーク訪問。 約750,000のサイトとブログ。



(ソースhttp://www.insight-it.ru/masshtabiruemost/arkhitektura-disqus/ 、オリジナルhttp://highscalability.com/blog/2010/10/26/scaling-disqus-to-75-million-comments- and-17000-rps.htmlhttp://en.wikipedia.org/wiki/Disqus



Instagram(写真およびビデオアプリケーション)



使用されるテクノロジー:



Ubuntu Linux 11.04がメインオペレーティングシステムとして採用されています。 Djangoは、プログラミング言語としてのPythonをフレームワークとして選択しました。 PostgreSQLはメインのデータベース管理システムとして採用され、オブジェクトキャッシュはmemcachedによって再び実行され、Redisは追加のデータストレージとして機能します。 HAProxyは負荷分散を担当します。 このプロジェクトでは、Amazonインフラストラクチャ、特にEC2、ELB、Route、S3、CloudFrontを使用しています。 Solrは検索プラットフォームとして採用されています。 タスクを操作するには、Gearmanが使用されます。



統計について少し:



それはすべて、1つの小さく脆弱なサーバーと2人の開発者から始まりました。 初日、約25,000人のユーザーが登録されました。 今日、Instagramは2億人以上の人々、つまり毎日700万人以上のユーザーによって使用されています。 約200億枚の写真が公開されており、6,000万枚が毎日公開されています。 Facebookは2012年4月に10億ドルでサービスを取得しました。



(ソースhttp://expandedramblings.com/index.php/important-instagram-stats/、http://en.wikipedia.org/wiki/Instagram



Reddit(ニュースサイト)



使用されるテクノロジー:



Pylonsは、プログラミング言語としてのPythonをフレームワークとして選択しました。 PostgreSQLもメインのデータベース管理システムとして採用されており、オブジェクトキャッシュはmemcachedによって実行されます。 RabbitMQはオフラインデータ処理に使用されます。 HAProxyは負荷分散を担当します。 Amazon CloudSearchは、検索プラットフォーム用に採用されています。



(ソースhttp://en.wikipedia.org/wiki/Reddit



統計について少し:



1か月あたり約1億1,200万のユニークアクセス。 1か月あたり54.6億ページビュー。 289万人がRedditを使用しています。 そして、これはすべて28人のチームによって提供されています。



(ソースhttp://expandedramblings.com/index.php/reddit-stats/



Dropbox(クラウドストレージ)



使用されるテクノロジー:



DropboxサーバーとクライアントアプリケーションはどちらもPythonで記述されています。 クライアントは、wxWidgetsやCocoaなどのGUI開発ツールと、Twisted、ctypes、pywin32などの他の重要なPythonライブラリを使用します。 Dropboxは、Cで記述されたlibrsyncライブラリに依存しています。ファイル情報は、MySQLに基づいて実装されたリポジトリに含まれています。 Amazon S3は、ファイル自体を保存するために使用されます。



(ソースhttp://en.wikipedia.org/wiki/Dropbox_(service)



統計について少し:



スタッフは110名の従業員で構成されています。 5000万人以上の登録ユーザー。 3分ごとに、100万を超えるファイルがサービスを使用して保存されます。 毎日5億個のファイルが保存されます。



(ソースhttps://www.dropbox.com/static/docs/DropboxFactSheet.pdf



Pitchfork(電子音楽雑誌)



使用されるテクノロジー:



Djangoは、プログラミング言語としてのPythonをフレームワークとして選択しました。 ホスティング-Amazon。 MySQLがメインのデータベース管理システムとして選択されました。 さらに、PostgreSQLが使用されます。 Redisはオブジェクトのキャッシュを担当します。 検索プラットフォームとして、ElasticSearchとSolrが使用されます。 Amazonサービス(EC2、RDS、SES)も使用されます。



(ソースhttp://www.siteclass.com/www/pitchfork.com



統計について少し:



このプロジェクトの月間訪問数は1450万回(1日あたり58万回)で、そのうち5.5回はユニーク(1日あたり4万1千回)です。 ページビューは1か月あたり3,850万(1日あたり160万)です。 2014年3月から4月までの登録ユーザー数は430万人です。



(ソースhttps://www.quantcast.com/pitchfork.com



Lanyrd(ポータル)



使用されるテクノロジー:



Pythonはプログラミング言語として、Djangoはフレームワークとして選択されました。 PostgreSQLはメインのデータベース管理システムとして採用され、memcachedはオブジェクトキャッシングを実行します。 RedisはCeleryと組み合わせて使用​​され、Celeryが非同期モードで実行するタスクの中間結果を保存します。 HAProxyは負荷分散を担当します。 このプロジェクトでは、Amazonインフラストラクチャ、特にS3を使用しています。 Solrは検索プラットフォームとして採用されています。



(ソースhttp://www.slideshare.net/InfoQ/inside-lanyrds-architecture



統計について少し:



Andrew Godwinのプレゼンテーションで述べられているように、開発チームはわずか6人で構成されています。 2014年3月の月間ユニークビジター数は約900,000人で、最大値は2013年10月で、100万人をわずかに超えるビジターになりました(http://www.trafficestimate.com/lanyrd.com)。 1日のページビューは約55,000です。



(ソースhttp://www.slideshare.net/InfoQ/inside-lanyrds-architecture



Mozilla(ソフトウェア)



使用されるテクノロジー:



Mozillaは、広く使用されているPythonを含むさまざまなプログラミング言語を使用します。アセンブリスクリプトの記述から会社のWebサイト、Webmakerおよびその他のコンポーネント、さらに同期サーバー(Pasteを使用してホスティングおよびSqlite3をデータベースとして展開する最小限のWSGIアプリケーション)まで。



統計について少し:



現在までに、5億人以上がMozillaプロジェクトを使用しています。 競争を考えると、これは非常に大きな指標です。 1000人以上の開発者がMozillaプロジェクトに参加しています。



(ソースhttp://expandedramblings.com/index.php/internet-browser-stats/



Yelp(ソーシャルネットワーク要素を持つポータル)



使用されるテクノロジー:



Ubuntu Linuxがメインオペレーティングシステムとして採用されています。 Pythonはプログラミング言語として、Djangoはフレームワークとして選択されました。 MySQLはメインのデータベース管理システムとして採用されています。 Yelpは、Amazonサービス、特にS3を使用してログと写真、EMRも保存します。 Solr / Luceneは検索プラットフォームとして使用されます。 HAProxyとLVSは負荷分散を担当します。



(ソースhttp://engineeringblog.yelp.com/、http://aws.amazon.com/solutions/case-studies/yelp/



統計について少し:



サイトのトラフィックは月に約2億人で、そのうち約1億2,000万のユニークアクセスがあります。 ( https://www.quantcast.com/yelp.com )。 プロジェクトの全期間にわたって、世界中で5,300万件を超えるユーザーレビューが書き込まれています。



(ソースhttp://expandedramblings.com/index.php/yelp-statistics/



Foursquare(位置情報機能を備えたソーシャルネットワーク)



使用されるテクノロジー:



このプロジェクトは、運用タスクやその他のプロセスを自動化するために使用されるPythonなど、いくつかの言語で書かれています。 CentOS Linuxはメインのオペレーティングシステムです。 HAProxyは、負荷分散とAPI要求を担当します。 MongoDBはメインのデータベース管理システムとして採用され、Memcacheは計算プロセスのキャッシングを実行します。 一部の情報、つまりユーザーの写真はAmazon S3に保存されます。 分析はHadoopによって行われます。 検索プラットフォームはSolrとElasticsearchです。 地理インデックスで検索するには、Google s2ライブラリをPostGISと組み合わせて使用​​します。 ケストレルは非同期タスクの処理を担当します。



(ソースhttps://foursquare.com/about



統計について少し:



スタッフは約140人の従業員で構成されています。 2013年のデータによると、約4万人の開発者がプロ​​ジェクトに関与しました。 約4,500万人のユーザーがいます。 世界中のチェックインの総数は50億で、毎日約300万が追加されます。



Rdio(音楽サービス)



使用されるテクノロジー:



Rdioはいくつかのプログラミング言語を使用します。 特に、バックエンドの一部はPythonで記述されており、フレームワークとしてDjangoが選択されています。 情報を保存するためにいくつかのデータベースが使用されます-MongoDBとMySQL。 Redisはmemcachedの代替として選択されました。



統計について少し:



2000万曲以上のカタログ。 毎日約20万ページビュー。 米国では、約30万人が1か月間プロジェクトのサービスを利用しています。



Google(検索エンジン)



使用されるテクノロジー:



Googleは多くのプログラミング言語を使用しています。 Pythonの作成者は一度Googleで働いていたため、このプログラミング言語も使用されていると推測するのは簡単です。 そうです。 YouTubeの一部と検索エンジン、および他の多くのコンポーネントは、Pythonで記述されています。 要するに、LevelDBはメインデータベース管理システムとして使用されます。 Closureは、Google開発者が作成した一種のツールキットであるJavaScriptの操作にも使用されます。



統計について少し:



Googleの統計情報はどこにでも誰にでも知られていますが、ここにいくつかの数字があります。 毎月124億7700万件の検索が行われます。 Googleは、米国の検索市場の約67%を保有しています。 1か月あたりのユニークアクセス数-1億9,100万人。 同社の従業員数は53,891人です。



(ソースhttp://expandedramblings.com/index.php/by-the-numbers-a-gigantic-list-of-google-stats-and-facts/



Quora(社会サービス「質問と回答」)



使用されるテクノロジー:



プログラミング言語としてのPython。 ホスティング-Amazon。 MySQLはメインのデータベース管理システムとして採用され、オブジェクトキャッシュはmemcachedによって実行されます。 HAProxyは負荷分散を担当します。



統計について少し:



スタッフは72人の従業員で構成されています。 2014年2月のユニークアクセス数は100万を超えています。 毎月のQuoraサービスは1,126.00人によって使用されています(2013年のデータ)。



(ソースhttp://www.quora.com/How-much-traffic-does-Quora-get、http://techcrunch.com/2013/11/12/quora-confirms-its-favoring-search-ads- 最終的な収益化の開始-作成者-統計ツール/



まとめると



ご覧のとおり、有名なプロジェクトの多くはPython / Djangoを使用しており、これは正当な理由です。 Pythonは非常に興味深い最新のプログラミング言語であり、西側でもRuNetでも急速に人気を博しています。 Python / Djangoの利点については、すでに短いメモを書いています。 現時点では、Python / Djangoプログラミングに対する大きな需要があります。これは品質だからです! プロジェクトの需要は、専門家の需要をもたらします。



負荷の高いプロジェクトを開発する場合は、Python / Djangoを技術的なプラットフォームとして検討することをお勧めします。 同僚にとって、プログラマになりたい、または新しいプログラミング言語を学びたいなら、Pythonが最良の選択肢の1つになります。



Pythonコース 。 5か月のトレーニングコース「Python / DjangoでのWebアプリケーションの開発」が当校で始まります。まだいくつかの場所があります。 サインアップするには、 info @ digitov.comに書き込みます



新しい記事他の記事よりも早く新しい記事を受け取るため、または単に新しい出版物を見逃さないために-FacebookVKTwitterで購読してください。



プログラミングコースすぐに、Digitovビジネススクールでコースが開始されます。ジュニアPHP開発者になりたいです。Symfony2。アジャイル開発Ruby on Rails。 専門能力開発へのレールで 。 今すぐコースを購読すると、割引価格で購入できます。



もとの記事: http : //seclgroup.ru/article_vysokonagruzhennyye_sayty_i_prilozheniya_na_python_django.html



著者:

アンドレイアスタフィエフ、ミドルプロジェクトマネージャー、 SECL GROUP / Internet Sales Technologies

Nikita Semenov、 SECL GROUP社長/ インターネットセールステクノロジーズ



All Articles