Python依存関係管理：既に使用できるようです

依存関係のある最も一般的なプログラミング言語とエコシステムでは、すべてが悪いです。 原則として、新しいプログラミング言語の作成者はこれにあまり注意を払いません。単に、新しい言語には、相互に依存関係のないさまざまなアーキテクチャやバージョン用の数十万のライブラリがないためです。 そして、これらの数十万のライブラリが表示されたら、何も変更するのは遅すぎます。



私の記憶の唯一の例外はnode.jsであり、その作成者は驚くほど成功した依存関係管理システムをゼロから開発しました。 まあ、どのように幸運ですか？ そこには多くの問題もあります。3番目のバージョンでは、スクリプトの自動実行から始まり、ツリーのような構造からフラットな構造への移行で終わります。 しかし、その時点で他の言語にあったものと比較すると、ノードはブレークスルーです。



最近では、エコシステムに新しいrnpmユーティリティが追加され、1つのチームがReact Nativeの依存関係をインストールできるようになりました。 その中に、AndroidとiOSのバイナリコードが少しあります。 異なるアーキテクチャ向け。 そして、それはすべて箱から出して動作します。 Voximplantの私たちはこのことに非常に精通しています。独自のReact Native SDKを使用しています。



ちょうど2日前に公開された興味深い記事をご覧ください。Pythonの依存関係管理について詳しく説明しています。 開発の歴史について。 問題について。 そして、最も価値のあるもの-コミュニティがそれらを解決する方法について。 Habrに適合したカット翻訳の下で、依存関係の悲しい主題について議論する機会。 Pythonだけではありません。



わかりました。 Pythonの依存関係の悪い点をお互いに伝えることができる時代は過ぎ去ったようです。 では、その理由を説明します。



依存関係の作業を修正したためです。 あなたが開発者であり、Pythonライブラリを作成または使用する場合、これは簡単に、苦痛なく行われます。 これは、長い間、依存関係を処理するためのPythonのツールに問題があったためです。 これはもはや事実ではありませんが、多くの人々は「Pythonの依存関係の問題」について読み続け、何も変わっていないと思います。 すべてを伝える時が来ました。



小さな歴史的な小旅行。 Pythonの依存関係はこのようなものでした...

夜明け

Pythonは、依存症の追加がサイバースペースへの長い旅行を意味するという、今日の光を見ました。 まず、電話回線の解放を待つ必要がありました。 次に、プロバイダーを呼び出します。 通常のモデムを呼び出します。 SLIPまたはPPPクライアントとの戦いの後、直面している問題を解決するためのライブラリを見つけることができる優れたgopherサイトを誰かが知っている場合、グループの1つに質問することができます。 その後、インターネットから切断して数十時間待つことができました。突然、誰かが答えました。 運がよければ、夜にダウンロードを実行できます。



そのときピップ検索はありませんでした！



その間、依存関係管理に対するPythonのアプローチは驚くほど洞察に富んでいました。 インポートディレクティブと拡張可能なモジュールロードシステムにより、どこからでも依存関係を接続できるようになりました。



Pythonバージョン2.0（2000年10月）とともに、Distutilsがリリースされました。 これにより、開発者はモジュールのコレクションを抽象的に記述し、モジュールとパッケージの配布可能なコレクションを作成できました。 繰り返しになりますが、これは非常に非常に不可解な決定でした。 当時、そのようなものは問題外ではありませんでした。



時間を2004年に巻き戻します。 インターネットを介してモジュールを配布するときにオープンソース開発者が直面する一般的な問題を解決するためのセットアップツールの作成。 2005年に、easy_installユーティリティが追加され、依存関係が自動的に検出され、必要なディレクトリにダウンロードされます。

暗黒時代

残念ながら、依存関係を記述するための単純なメカニズムとともに、setuptolsはそれらに膨大な量の複雑さをもたらしました。 著者は、「import」ディレクティブは少し異なる動作をするはずであり、setuptoolsを設定すると動作が変わると考えました。 通常のインポートディレクティブと比較して、setuptoolsは同じプログラム内の同じ依存関係の複数のバージョンをサポートしていました。 それは素晴らしいアイデアのように思えました。 しかし、時間はこれがそうではないことを示しています。 さらに、1つのコンピューターに（1つのプログラムに対して同時にではなく）ライブラリの複数のバージョンをインストールできるという同様の考え方は、重要で必要なことです。



標準のPythonセマンティクスからのこのイデオロギーの逸脱に加えて、setuptoolsにはメンテナーに問題がありました。 もっと正確に言えば、メンテナーが不足しています。 著者が他のプロジェクトを開始することを決定した瞬間に、Pythonエコシステムの重要な部分になりました-プログラミングとはまったく関係ありません。 かなり長い間、誰がどのようにプロジェクトをサポートするかについて誰も同意できませんでした。 その時点ですでにフォークされていましたが、多くのディストリビューションでは、古いバグのあるバージョンが「石化」されていました。



2008年から2012年まで、Pythonの依存関係管理は最高の光景ではありませんでした。 それを使用することは少なくとも苦痛でした。 どのライブラリとユーティリティを使用するのか、どのライブラリとユーティリティを使用するのか、そしてどのライブラリとユーティリティを使用するのかは明確ではありませんでした。 依存関係を手動で管理するのは退屈でしたが、自動化には文書化されていない多くの回避策が必要でした。



これは、ツールチェーンのさまざまな部分に多数のセキュリティホールがあることは言うまでもありません。 Pythonライブラリをネイティブコードでパックして配布することはできなかったため、ユーザーはコンピュータに完全に構​​成されたコンパイラを用意する必要がありませんでした。



同時に、新しい言語とエコシステムの人気が高まり始めました。依存関係管理は最初からほぼ正しく実装されており 、バイナリファイルの配布をより適切にサポートしていました 。 これらのソリューションは、 PythonおよびPerlのエラーから教訓を学びました 。



そして最後に、Python Package Index。 Pythonコミュニティによって作成されたすべてのオープンソースライブラリを保存および配布するサイト。 あまりに早く開始された概念実証にすぎず、インフラストラクチャを開発するためのリソースがなく、 頻繁にオフラインになりました 。



Pythonではうまくいきませんでした。



間奏



そこで、「Pythonの依存関係管理は＃$ @＃@@！」と言われるようになります。 これらのステートメントのほとんどは、この期間を説明する古い情報です。 苦情のあるブログ投稿が多く、「問題」の検索エンジンで高く評価されています。 当時Pythonを使用し、他の言語を使用するように切り替えた人は、依存関係を管理するのがどれほどひどいのか、エコシステムがどれだけ壊れているのか、PyPIがどのくらいの頻度であったのかについて不平を言うことがよくあります。 最悪の場合、ネットワークには、長い間必要とされていなかったが、検索結果に検索エンジンによって表示される問題を解決するための回避策に関する多くのヒントがあります。 これらのヒントに従うと、ユーザーの作業環境が破壊され、状況が悪化するだけです。

灰からの復活

そして、この大規模な故障の真っin中に、多くの開発者が英雄的に、静かに、ゆっくりとすべてを修復し、バグレポートに一度に噛みついた。 「pip」プロジェクトが開始され、その多数のメンテナーが「easy_install」がもたらした複雑さのほとんどを取り除き、その欠点の多くを修正しました。 Donald StufftはすぐにPipとPyPIを取り上げ、 古い脆弱性を修正し、システムをより安定させました。 Daniel Holthは、「ホイール」形式のPEPを作成しました 。これにより、ライブラリとともにバイナリコードを配布できます。 つまり、つまり、「C」コンパイラーを持たないユーザーは、このコンパイラーをビルドする必要のあるパッケージをインストールできます。



2013年、setuptools はfork distributeと再び提携しました。これにより、オペレーティングシステムベンダーは依存関係管理システムを更新し、ユーザーに最新のツールを提供できました。 「ensurepip」モジュールは、バージョン2.7および3.3のPython Coreディストリビューションに含まれていました。これにより、多かれ少なかれPythonのバージョンを使用するユーザーは、単一のコマンドで依存関係を操作する作業環境を取得できます。



新しいルネッサンス



中毒を扱う現代の方法については話さない。 別のウェブサイトがこれに専用されています。 しかし、私は今それがどれほど簡単かを示します。 Pythonの最新バージョンで、管理者権限のない作業環境が必要な場合、必要なものは次のとおりです。

$ python -m ensurepip --user $ python -m pip install --user --upgrade pip $ python -m pip install --user --upgrade virtualenv
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

プロジェクトごとに、独自のvirtualenvサンドボックスを作成できます。

 $ python -m virtualenv lets-go $ . ./lets-go/bin/activate (lets-go) $ _
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

以上です。 pipを使用して、依存関係をインストールできます。 ほとんどの場合、コンパイラーも必要ありません！ さらに、これらのスペルはPythonのバージョンに依存しません。Python2、Python 3、PyPy、さらにはJythonでも動作します（翻訳者のメモ：驚きですか？）。



実際、「pip」はすでにインストールおよび設定されているため、「ensurepip」を使用する必要さえありません！ それにもかかわらず、この単純な呪文を実行する方が良いです、それは害を引き起こしません。



より高度な依存関係操作も簡素化されました。 Cコンパイラが必要ですか？ オペレーティングシステムの作成者は、コミュニティと緊密に協力して、コンパイラの構成をできるだけ簡単にしました。

 $ apt install build-essential python-dev # ubuntu $ xcode-select --install # macOS $ dnf install @development-tools python-devel # fedora C:\> REM windows C:\> start https://www.microsoft.com/en-us/download/details.aspx?id=44266
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

わかりました、わかりました、最後のステップはそれほど苦痛ではありません。 しかし、少なくともコンパイラがあり、無料で、サイトから簡単にダウンロードすることでインストールされます！ PyPIに何かアップロードしたいですか？ ほとんどのプロジェクトでは、とても簡単です：

 $ pip install twine $ python setup.py sdist bdist_wheel $ twine upload dist/*
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

バイナリホイールパッケージを構築したいですか？ そして、このためのアプリケーション （もちろん、dockerコンテナー）があります。



重要なのは、高いオンラインPyPIについて自信を持って話せることです。 そして日々、彼らは新しい、完全にやり直されたウェブサイトを持っています （ 翻訳者のメモ：もう一つの驚き） 。



私は多くのPython開発を行っていますが、昨年に遭遇した最も深刻な問題はキャッシュファイルを削除することで解決したと言えます。 私は毎日最新のツールチェーンを使用していますが、機能します！

私たちがしなければならない仕事

現在の状況はすでに良好です。 しかし、彼女は「素晴らしい」とは言えません。 私たちのエコシステムからさらに何をしたいですか：

• エンドユーザーのコンピューターにインストールするためのツールの方が良い場合があります。
  
  
  
  
• Pipはグラフィカルユーザーインターフェイスに害を与えないため、コマンドラインスペルなしで使用できます（翻訳者のメモ：ここでOstapが被害を受けました...）
  
  
  
  
• 「setup.py」を自動的に作成および更新するには、ツールが必要です。 まあ、または「setup.python.json」などのようなものなので、数行のメタデータだけでコードを書く必要はありません。
  
  
  
  
• システムコンパイラを使用して何かをコンパイルできない場合のエラーメッセージは、 より明確で、ユーザーへの指示が含まれている必要があります。
  
  
  
  
• PyPIは、sdistsパッケージをロードすると、すべてのプラットフォームの「ホイール」を自動的に構築します。 はい、これは大きな野心的なタスクですが、中毒の作業をどれだけ簡単にするかを考えてください！

私はとても長く続けることができます。 Pythonの依存関係管理を改善するには多くの方法があります。



あとがき



このロングライドで言いたかったこと。 Pythonでの依存関係の状況は理想とはほど遠いですが、他のプログラミング言語が「はるかに優れている」とは言えません。 Goの場合、さまざまな依存関係管理オプションについて議論が続けられており、「CGo」の状況は理想とはほど遠いものです。 Nodeには、依存関係の管理とツールチェーンの文化に関する 、独自の熱い議論のある問題があります。 ハッキングはクールですべてですが、ビルド時間は本当に天文学的な価値に達します 。 いつものように、Rust with Cargoのすべてがほぼ完璧ですが、これらの行を読む人は誰もRustを使用していませんか？



これらの言語で依存関係を扱うことは、なんとなく特に悪いことだとは言いたくありません。 実際、特に数年前の病院の平均気温と比較すると、彼らは非常にうまくいっています。 絶え間ない進歩と改善がエンドユーザーに見えています。



私の意見では、言語の依存関係を使用することはPythonよりもはるかに優れているという陳述は古くなっている可能性があります。 Pythonで既に依存関係を使用することができ、それは害を与えません..もちろん、それはさらに良くなる可能性がありますが、多くのプログラマーは改善に取り組んでおり、さらなる開発を妨げるすべての主要な障壁をすでに正常に除去しています。



virtualenvを使用してください！ 少しsetup.pyをハックしてください！ 前回Pythonで依存関係を長時間操作した場合は、今すぐ試してください。 私は約束します、すべてがずっと良くなった。