PythonからJuliaに切り替えた方法（およびその理由）

Pythonに関する少しの背景

Pythonは素晴らしい言語です。 その前にいくつかの言語を試しました。学校のパスカル。 C、クラス付きC、C ++-大学で。 最後の2つ（3つ）はプログラミングに対する強い嫌悪感を植え付けました。問題を解決する代わりに、割り当てとデストラクタ（過去の怖い言葉）を台無しにして、低レベルのプリミティブの観点から考えます。 私の意見では、Cは教育や科学の問題（いずれにせよ、数学の分野）の解決には適していません。 彼らは私に反対するだろうと確信していますが、私は誰かに何かを押し付けようとはしていません。単に意見を表しています。



Pythonはかつて啓示でした。 私の人生で初めて、私はCで慣習的なものよりも高い抽象化のいくつかのレベルを書きました。 タスクとコードの間の距離は、かつてないほど短縮されました。



突然NIST統計テストを実装する必要がなければ、Pythonでこれまでずっとこれをやっていただろう。 タスクは非常に単純なように思われます。長さが数メガバイト（> = 10）の配列があり、この配列に適用する必要がある一連のテストがあります。

numpyは何に適していますか？

pythonには、配列を操作するための優れたnumpyパッケージがあります。これは、本質的にLAPACKのような高速ライブラリ用の高レベルインターフェイスです。 科学計算用の紳士用セット全体（Sympy、Numpy、Scipy、Matplotlib）が利用可能であるように思われますが、さらに何が必要でしょうか？



numpyを扱ったすべての人は、彼が良いことを知っていますが、すべてではありません。 操作がベクトル化されるようにする必要があります（Rのように）。 ある意味では、アレイ全体で均一です。 何らかの理由で問題が突然このパラダイムに収まらない場合、問題が発生しています。



どのような非ベクトル化タスクについて話しているのですか？ はい、少なくとも同じNISTを使用します。Berlekamp-Messiアルゴリズムを使用して線形シフトレジスタの長さを計算します。 連続するユニットの最長サブシーケンスの長さを計算します。 私は、問題をベクトル化されたものに減らす何らかの種類の独創的な解決策がある可能性を排除しません。





Pythonでのベクトル化されていない操作は長い時間です。 numpyが十分でない場合、どう対処するのですか？ 通常、彼らはいくつかのソリューションを提供します：

1. ヌンバJIT。 彼女がヌンバのタイトルページで説明されているように働いていたら、ストーリーを終了する価値があると思います。 私は少し前に彼女が間違っていたことを忘れていました。 一番下の行は、加速が悲しいかな、私が期待したほど印象的ではなかったということです。
2. シトン。 さて、cythonはPythonの意味と精神を破壊しない、本当に美しくエレガントなソリューションであると信じている人を手を挙げてください。 そうは思いません。 Cythonに着いたら、自分をだますのをやめて、C ++やCのようなあまり洗練されていないものに切り替えることができます。
3. Cのボトルネックを書き直し、愛するPythonからそれらをヤンクします。 わかりましたが、プログラム全体を持っている場合はどうでしょうか。計算とボトルネックがすべてです。 Xiは提供していません！ このソリューションでは、2つ以上の言語（PythonとC）を知っている必要があるという事実については述べていません。

ジュリアが登場！

既存のソリューションを採用し、良いものを見つけられなかった（プログラムできなかった）ため、「より高速な」ものに書き換えることにしました。 実際、21世紀に配列の通常のサポートを使用して「数値の脱穀」を書いた場合、ベクトル化された操作は「そのまま」などで使用できます。 など、あなたの選択は非常に密ではありません：

1. Fortran そして、私たちのうち、お気に入りの言語からBLAS / LAPACKを引き出しなかったのは誰ですか？ Fortranは、科学計算のための本当に優れた（より良いSI！）言語です。 Fortranの時代から多くのことが発明され、プログラミング言語に追加されたという理由で、私はそれを受け入れませんでした。 もっと現代的なものを望んでいました。
2. RにはPython（ベクトル化）と同じ問題があります。
3. Matlab-おそらくはい、残念ながらチェックするお金がありません。
4. ジュリア -馬は暗く、離陸し、離陸しません（安定バージョン1.0までは自然でした）

ジュリアの明らかな利点

1. 少なくとも同じ「高レベル」なPythonのように見えますが、必要に応じて、数値を少しだけ下げることができます。
2. メモリの割り当てなどで大騒ぎしません。
3. 強力な型システム。 タイプはオプションで処方され、非常に投与されます。 単一のタイプを指定せずにプログラムを作成できます。これを使用可能にすると、プログラムは高速になります。 しかし、微妙な違いがあります。
4. 組み込み型と同じくらい高速なカスタム型を書くのは簡単です。
5. 複数のディスパッチ。 これについて何時間も話すことができますが、私の意見では、これはジュリアが持っている最高のものであり、すべてのプログラムの設計の基礎であり、一般に言語の哲学の基礎です。
   
   複数のディスパッチのおかげで、多くのことが非常に均一に書かれています。
   
   
   
   
   複数のディスパッチがある例

    rand() #       0  1 rand(10) #   10     0  1 rand(3,5) #   3  5   .... using Distributions d = Normal() #     0, 1 rand(d) #     rand(d, 10) #   10 ...   
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   つまり、最初の引数は、Distributionsからの任意の（1次元）分布にすることができますが、関数呼び出しは文字通り同じままです。 そして、配布だけでなく（RNG自体をMersenneTwisterオブジェクトなどとして転送することもできます）。 別の（私の意見では、実例となる）例は、loc / ilocなしのDataFramesでのナビゲーションです。
   
   
6. 6.配列はネイティブの組み込みです。 すぐに使えるベクトル化。
   
   

どちらが犯罪になるかについて黙っておくことの短所！

1. 新しい言語。 一方で、もちろんマイナス。 何か、おそらく未熟です。 一方、彼は過去の多くの言語のすくいを考慮し、「巨人の肩の上に」立ち、多くの興味深い新しいものを吸収しました。
2. すぐに高速なプログラムが機能する可能性は低いです。 対処が非常に簡単な非自明なものがいくつかあります。あなたは熊手を踏む、コミュニティに助けを求める、もう一度踏む...など これらは主に、型の不安定性、型の不安定性、およびグローバル変数です。 一般に、私が自分でわかる限り、ジュリアですばやく書きたいプログラマーはいくつかの段階を経ます：a）Pythonで書きます。 これは素晴らしいことですし、そうですが、パフォーマンスの問題が発生することもあります。 b）Cのような記述：可能な場合は常に型を規定します。 c）タイプを処方する必要がある（非常に計量された）場所、および干渉する場所を徐々に理解します。
3. 生態系 一部のパッケージは、どこかで常に何かが落ちるという意味で生です。 一部は成熟していますが、互いに矛盾しています（たとえば、他のタイプへの変換が必要です）。 一方で、これは明らかに悪いことです。 一方、ジュリアには「私たちは巨人の肩の上に立つ」という理由だけで、多くの興味深い大胆なアイデアがあります-私たちは熊手を踏むことと「それをやってはいけない」という素晴らしい経験を蓄積しており、これは（部分的に）パッケージ開発者によって考慮されています
4. 配列に1から番号を付けます。冗談ですが、これはもちろんプラスです。 いいえ、まあ、真剣に、問題は何ですか、番号付けはどのインデックスで始まりますか？ 5分で慣れます。 整数が整数ではなく整数と呼ばれることに文句を言う人はいません。 これらはすべて味の問題です。 そして、はい、アルゴリズムに従って少なくとも同じコーメンを取る-すべてがそこから番号が付けられており、逆にPythonでそれをやり直すことは時々不便です。

さて、速度はどうですか？

すべてが始まった理由を思い出す時が来ました。



注：Pythonを忘れてしまったので、コメントに改善点を書いてください。ラップトップで実行してランタイムを確認します。



したがって、マイクロベンチマークを使用した2つの小さな例です。







また、提示されたバージョンは最終プログラムには含まれていませんが、さらに最適化されていることに注意してください。 ここでは、それらは例として与えられており、不必要な複雑さはありません（Juliaで追加メモリを転送してrfftをインプレースで実行するなど）。

最後に何が出ましたか？

PythonとJuliaの最終的なコードは表示しません。これは秘密です（少なくとも今のところ）。 Pythonバージョンを終了するために停止した時点で、16メガバイトのバイナリ文字の配列に対するすべてのNISTテストが約50秒で完了しました。 現時点のジュリアでは、すべてのテストが同じボリュームで実行されます（最大20秒）。 私は愚か者であり、最適化などの余地があったのかもしれません。 など しかし、これは私と同じように、すべての長所と短所があり、私の意見では、プログラミング言語の真空中のプログラムの球面速度ではなく、私が個人的にどのようにプログラムすることができるかを考慮する必要があります（本当に重大なエラーなしに）。

なぜこれをすべて書いたのですか？

ここの人々は興味を持ちました。 時間が来たら書くことにしました。 将来的には、いくつかの典型的な問題を解決する例を挙げて、ジュリアをより徹底的に検討していきたいと思います。 なんで？ より多くの言語、良いもの、異なるもの、そして自分に合ったものを見つけたい人は誰でも聞かせてください。