ソフトウェアツールの誕生：GREPとAWKが登場した方法と理由

今年の夏、 ブライアン・カーニガンのエッセイに出くわしました。「昔のやり方は最高かもしれません」 、2008年のIEEE Software誌の25周年を記念して出版されました。 その中で、カーニガン教授は自分の仕事で使用するツールについて話しました。



その瞬間、彼は2つの複雑なプロジェクトに追われていました。そのうちの1つは、Windows XPで1990年にCとAssemblerで書かれた100,000行のコードのプロジェクトの専門家の分析に関係していました。 もう1つは、Linuxの名前のないスクリプト言語で書かれたプログラムを使用して、エキゾチックなL1言語からそれほどエキゾチックでないL2言語にコードを移植することです。 驚いたことに、Kernigan教授はIDEの代わりに、 grep、diff、sort、awk、wc 、および初期のUnix時代の「昔の知り合い」など、さまざまなタスクに同じツールセットを使用しました。 さらに、彼は不便と欠陥のために、過去10年の終わりの多くのツールとIDEを批判しました。



確かに、私たちは私たちの生活の中でいくつかのものに非常に慣れているので、私たちはすでにそれらをすでに当たり前のことと考えています。 このような考え方は、新しい情報の流れに適応するのに役立ち、現代の世界では避けられませんが、 ソフトウェアツールのアイデアがどのように生まれたかを見るために今日「レベルを下げる」喜びを否定しないでください（以下、 「ソフトウェアツール」と呼びます） "、ユーティリティ、Unixコマンド ）。

誰が

もちろん、それはすべてAT＆TのBell Labsラボの壁の中で始まりました。Unix、C、および（ やや後に ）C ++が生まれたのはここです。 Unixチームの出現はOS自体の作成と密接に関連していたため、ここでの主人公はHabrahabr Ken Thompson、Brian Kernigan、Alfred Ahoの読者になじみがあります。



デニスリッチーと共にUnixの作成者となったケントンプソンは、1975年にベルラボを離れ、母校であるバークレー大学に戻り、BSDの出現に貢献します。 彼は後にベル研究所に戻り、彼とロブパイクと残りはプラン9に取り組みます。



Alfred Ahoは、有名な「ドラゴンブック」 （ 「コンパイラー：原理、技術、ツール」としても知られています ）と教科書「データ構造とアルゴリズム」で国内のプログラマーに知られています 。 アホは1967年から1991年までベルラボで働いた後、ミレニアムの変わり目にコンピューターサイエンスリサーチセンターの副社長として再び戻ってきました。



Brian Kernighan、有名なK＆R C-Programming Language -for-all-time book（K＆Rの「K」の文字で隠されている）の共著者、および過去30年間に出版された他の多くの素晴らしいプログラミング本の共著者-最近のGo Programming Language 。



Kerniganは1966年にMITでキャリアを開始し、Multicsプロジェクトに間接的に関与していました。 1年後、プリンストン大学の大学院時代に彼はベル研究所の従業員となり、1969年にUnixの開発に参加した最初の開発者の1人になりました。 KerniganにはユーザーID＃9が割り当てられましたが、Unixへの最初の重要な貢献は1973年に遡ります。eqnは、数式を記述するための言語のtroffプリプロセッサです。





これが世界で最初の「Hello World」だと言われています。 ブライアン・カーニガンによって書かれました。 （ソース）



60年代後半から70年代前半にBell Labsで働いていたこれらの科学者や他の多くの科学者にとって、Unixは単なるOSではありませんでした。

ソフトウェアツール

今日、私たちはUnixコマンドとパイプラインのアイデアを当たり前のことと考えています。 ただし、実際にはこれが常に当てはまるわけではありません。



プログラマの生産性を向上させるために、人類が生活の他の分野で使用しているものと同様のツールを使用するべきであるという考えは、確かに新しいものではありません。 別のコンピューターサイエンスの先駆者であるアランジェイペルリスは、多数の即興ツールの出現により、プログラマーがより大きなプロジェクトを作成できると予測しました。



この方向への最初の真のステップは、タイムシェアリングシステムの発明であり、これにより、コンピューティングリソースを多くのユーザーに分散することが可能になりました。 2つ目はMulticsの作成で、このようなシステムを実装する試みです。 3番目はUnixで、Multicsの残骸で育ちました。



Bell LabsおよびUnixオペレーティングシステム以外の70年代には、そのようなツールを作成するというアイデアは不明でした。 しかし、Unixの作者は自分たちが何を扱っているかをよく知っていました。なぜなら、彼らにとって柔軟性はUnixの重要な機能だったからです。 必要に応じて、シンプルなUnix OSから本格的なIDEになりました。 さらに、言うまでもなく、この考え方は今日でも適用可能です（ 「IDEとしてのUNIX」を参照）。



Unixシステムに設定された柔軟性により、プログラミング自体を新しく見直すことができました。 「この機能が必要ですか？ ありませんが、ユーティリティ＃1と＃2のおかげで、今すぐ実装でき、明日は使用できます。 「柔軟な」ソフトウェア開発方法論が実際に使用されず、タスクに数か月かかることがあった時代には、そのような言葉は非常に価値がありました。



Unixの最も重要な機能の1つであるパイプラインが1969年にこのOSの一部になることを知っている人はほとんどいません。 その後、リッチーとトンプソンはファイルシステムを設計する際にこのようなアイデアを検討しましたが、残念ながら「想像力が失敗しました」とリッチーは後で嘆きました。 しかし、Unix v3のmanページでこの概念を発明し、説明した、ベル研究所の研究部長であるダグラスマキロイは失敗しませんでした。



1973年1月15日にUnixで最初にチャンネルが登場した後、これはベル研究所全体を「不自由にする」だけではありませんMakilroy）、しかし、それはまた、組み合わせることができるソフトウェアツールのアイデアの実装に必要な最も強力な最終的な推進力を与えます。



次にGrepが生まれ、その後完全に明確になります-未来はこの考えの背後にあります。 有名な「UNIX Philosophy」で定式化されます ：

各プログラムにたった1つのことをさせますが、それはうまくいきます。 新しい機能を実行する必要がある場合は、新しい「機能」を追加して古いプログラムを混同するよりも、新しいプログラムを作成することをお勧めします。 ツールを使用して、自分や他の人がタスクを簡単に行えるようにします。そのために、新しいヘルパーユーティリティを作成する必要がある場合でも、それを捨てる必要があります。

グレップ

grepは長い間Ken Thompsonの個人的なツールです。 grepの最初の公開バージョンはUnix v4 に含まれていました-そしてすぐに日常の仕事で需要のあるツールになりました。



今日のgrepという名前は、 一般的な正規表現パーサーとしてしばしばデコードされます。 ただし、 デニスリッチーとケントンプソンによると、ユーティリティの名前は異なった方法で登場しました： qed / ed、g / re / pエディターでは、実行されたのは単なるエディターコマンドでした- グローバルな正規表現の印刷 （グローバルな正規表現の検索と印刷行、一致を含む）。



spell、diff、sort、join、その他のチームの著者であるDouglas McIlroyは、その後、彼のリクエストでgrepが追加されたと主張します。 彼はスピーチシンセサイザーに従事しており、Ken Thompsonがedエディターからテキスト内の常連の検索機能を別のプログラムに「持ち込む」必要がありました。 残念ながら、これがどの程度真実かはわかりません。



いずれにせよ、 grepは他のすべてのソフトウェアツールの出発点になりました。その後、Bell Labsは互いに組み合わせることができるさまざまなツールの開発に移行し始めました。 ただし、すべてのものからは程遠いユーティリティを備えたディレクトリに来ました。 開発者の間では、不必要な「ゴミ」を控えることに合意がありました。 したがって、チームがパブリックアクセスを開始する前に、ほとんどの場合、プライベートモードで長時間実行されます。



さらに、Unixの作成者はこのチームまたはそのチームの作成にかかった時間を記録しなかったため、 manに示されている日付（チームがリファレンスガイドに登場した瞬間）でのみナビゲートできます。



Brian KernighanとBill Plagerが1975年にSoftware Toolsの本をリリースしたとき、彼らはソフトウェアツールのアイデアを幅広い聴衆に紹介しました。 この本は、Unixからアイデアを借用して、テキストベースのユーティリティの小さなセットを使用することで、プログラマの生産性を大幅に向上させる方法を示しました。 興味深い事実：この本のプログラムはFortranの方言で書かれています-Cは当時3歳であったので、著者はFortranに賭けて、これのおかげでより多くのコピーを売ることを望んでいました。



Bell Labsの壁で本がリリースされる前に「ソフトウェアツール」というフレーズが使用されていなかったにもかかわらず、このコンセプトの著者が誰であるかを言うのは困難です。 同じカーニガンは、この考えの著者として自分自身を認めることをきっぱりと拒否しています。 むしろ、彼は自分自身をこのアプローチの普及者と考えており、それについて議論するのは難しいです。eqnと70年代に書いた数多くのUnixマニュアルから始めて、彼はこのアイデアを大衆に広めてきました。



2年後、Kernighanは別のユーティリティ（または、むしろ言語）の著者になります。

Awk

AWKは必然的に生まれました。 Bell Labsで働いている数人のプログラマーのグループの外で使用されるとは誰も考えませんでした。 ベル研究所で働いていたアルフレッド・アホは、予算と通信、そして近くにいて当時教えていた大学の学生の成績を追跡しなければなりませんでした。



もちろん、これらの問題を解決する最良の方法は、1行または2行のプログラムを書くことです。 それはそのようなプログラムを書くことができる言語であり、存在していませんでした。 当時、ブライアン・カーニガンはアホの隣のオフィスで働いていましたが、彼自身の日常業務が同様の欲求を引き起こしました。 彼らは毎日これらのアイデアについて何度も議論しました。そのため、単純なデータ処理タスクに適したパターンマッチング用の言語を作成したいと考えました。



AWKのインスピレーションはgrepでした。 しかし、GREPでできることは、かなり限られたクラスの正規表現で一致するファイルを検索し、見つかったすべての行を出力することだけである場合、AWKの作成者はさらに多くを求めていました。 まず、プログラムは数字と文字列を処理する必要がありました。 第二に、単純な行の印刷ではなく、より多様なデータ処理操作を可能にします。



当時のアホとカーニガンは、データ処理に関連するアルゴリズムに長い間従事していました。 アホにとって、これらのタスクは特に興味深いものでした。 したがって、彼はLEXとYACCに注意を喚起しました。これらは、Bell Labsでコンパイラを作成するために使用されました（後ほど、他の場所で適用されます）。 Brian Kernighanもこれらのプログラムに精通していたため、トークンの使用などはAWKにとって当然のことでした。



ピーター・ワインバーガーは最初から最新でした。 彼は文法仕様を完成した瞬間にアホとカーニガンに加わり、1週間で実用的なプロトタイプを作成しました。 彼の仕事のおかげで、言語の進化にさらに取り組むことが可能になりました。



どの構造が言語であるべきで、どの構造がそうでないべきかについて合意するのにたった1年しかかかりませんでした。 AWKの最初のバージョンは1977年後半に書かれました。 ソフトウェアと言語の名前はそれ自体で生まれました。三位一体が絶えず一緒に見られたという事実により、同僚は彼らを「AWK」（姓の最初のイニシャルに従って）と呼ぶことに慣れました！



作成された言語は非常に成功していることが判明したため、プログラミングを考えたことのない人をプログラマの仲間に引き付けました。 アホは後に、AWKを使用して絶対に息をのむようなプロジェクトを行った人々に会ったことを思い出しました-たとえば、ある愛好家が自分のCAD（CAD）を実装し、AWKのバグにより3週間の時間を失ったことを嘆きました。 （ところで、この苦情の後、AhoとKerniganは品質管理を実装する時であると判断し、それ以来、AWKに新しい機能を実装する前に、開発者は最初にテストを作成する必要がありました）

過去と現在

Unixが徐々に成長したツールは、ますます多くの人々の注目を集めました。 それらはすぐに研究され、便利に使用でき、その都度、これまで困難なタスクの時間を節約できました。



今日awkを学ぶことは大したことではありません。 Githubのこのコマンドラインテキストリポジトリには、 数百のサンプルawkおよびgrep プログラムが用意されています。 複数のプロセスを並行して実行するために使用されるxargsについて読むことを忘れないでください。



この問題に対してより徹底的なアプローチが必要な場合は、 GNU Awkユーザーガイドを参照してください。教科書として完璧な非常に詳細なリファレンスです。



異なる年にawkのソースコードがどのように見えるかを知りたければ、嬉しい驚きを見つけるでしょう。 Dalvikの作成者であるDan Bornsteinは、彼が見つけた同じOne True Awkのすべてのバージョンをリポジトリに収集しました ！ リポジトリには、オリジナルのawkのみが格納されます。これは、Brian Kernighanによって作成され、その後積極的にサポートされています 。したがって、多くの場合bwkと呼ばれます 。



あまり深く潜りたくない場合は、別のリポジトリにある作業中のbwkソースを ご覧ください 。



「ソフトウェアツール」のアイデアは勢いを増し続けます。 1981年までに、Unix自体には300以上のユーティリティが含まれていました。 また、AWKは痕跡なしに消えることはありません。長い間最も人気のある言語の1つであり続け、Perlの原理を刺激します。



彼によると、それ以来多くの水が流れました。JavaとPythonが人気を博し、プログラマーに時間と記憶と引き換えに表現力と安全性を提供しました。

エピローグ

会話の最初に戻って、エッセイを読んだ後、私はケルニガン教授に質問することにしました-彼のワークフローは過去10年間でどのように変わりましたか？彼は今日の仕事で何を使いますか？ 答えは私にとって十分に興味深いようでした：

それ以来、ほとんど変わっていません。 私は主にテキストの編集にsamとviを使用します。 私はそれらを囲forに関する本に使用しました。 Alan Donovanはemacsのウィザード （ "emacs wizard" ）です。 NYのGoについて書いている人たちの中では、本格的なIDEを使用する人に会うことはめったにありませんでした。



他に何が変わったのですか？ 今日は、おそらく10年前よりもずっと多くのPythonコードを書いています。 AWKよりも優れた拡張性を備えています。 ただし、大規模なプログラムを作成する必要はありません。



ブライアンk

職場では、ブライアンはまだ27インチiMacを使用しており、自宅にはいくつかのMacBook ProとMacBook Airがあります。 Windows XPがインストールされた古いLenovo。 Macは、彼が勤務する大学のLinuxサーバーにアクセスするための端末として主に必要です。



Kernighan教授は今でもAlpineを使用してメールを読み、 Samは編集者としてRob Pikeによって書かれ、 viは非常によく知っています（ emacsに近づくたびに、それでも邪魔になります）。自宅や旅行で迷惑になる想像を絶する数のワイヤとコネクタを取り除きたい。 あなたがより詳細に興味があるなら、彼はここでこのトピックに関する小さなインタビューをしました -それはすでに4年までに時代遅れになりましたが、それ以来あまり変わっていません。



これが、半世紀前に登場したアイデアが今日も私たちに役立っている方法です。 現代のソフトウェアが将来その場所を見つけることを願うばかりです。