インターネットキーパー

「一部の人々は私たちを「Plyushkins」と呼んでいます。「私たちはアーキビストであると言いたいです。」

Wayback Machineディレクターのマーク・グラハムは、みんなのお気に入りのアーカイブの規模について概説しています

Online News Association 2018でWayback Machineを見る



テキサス州オースティン。 加入者サービスがこれをあなたに納得させたくはありませんが、すべてがAmazonやNetflixで見つかるわけではありません。 たとえば、ブレット・カバノー裁判官の本 （または悪名高い年刊 誌 ） を読みたいですか？ ビンテージの喫煙広告ポスターの束を見てみたいですか？ 世界最大のチベット仏教文学コレクションをご覧ください。 今日、これらすべてを行うことができる場所が1つあります。これは、Googleやあなたが（多くの場合）アクセスする海賊サイトではありません。

「 手を洗うか 、核戦争に備える かについての政府のビデオがあります 」と、インターネットアーカイブのWayback Machineのディレクター、マークグラハムは言います。 「ミリタリーインダストリアルパワーポイントコンプレックスの.milドメインを持つすべてのサイトで.pptファイルのリストを簡単に作成できました。」

Grahamは最近、オンラインニュースアソシエーション2018カンファレンスの参加者のいくつかの小グループと話をし、Ars Technicaはそこにいて幸運でした。 彼は後にカンファレンスの完全なプレゼンテーションを行い、現在はオーディオ形式で利用可能です 。 そして、基本的な考え方は、今日のインターネットアーカイブの規模は、インターネット自体の規模と同じくらい理解するのが難しい場合があるということです。



非営利の物理的空間は、いまだに把握するのが簡単です。少なくとも、それはグラハムが意図したものです。 現在、インターネットアーカイブのすべての活動は、サンフランシスコにある1つの古い教会（ベンチが取り外されていない場合でも）から約200人が実施しています。 アーカイブには、書籍だけでなく、ビニールレコードなどの物理メディアを保存するための最も近い倉庫も含まれています。 グラハムは、主な測定単位が「配送コンテナ」であると冗談を言っています。 アーカイブは、この量の資料を2週間ごとに受け取ります。



同社は現在、Googleに次いで世界で2番目に大きいブックスキャナーです。 グラハムは、現在のスキャンの合計が400万を超えることを確認しています。 アーカイブには、ウィキペディアで引用されているすべてのものを含む、次の150万スキャンのウィッシュリストもあります。 Wayback Machineは、Wikipediaのリンクをクリックしたときに404エラーがポップアップしないように保護しようとしています（Grahamは最近、BBCに、Waybackボットがリンク障害のために600万ページ近く失われたと報告しました）。 現在、1923年以前に出版された書籍は、インターネットアーカイブから無料でダウンロードでき、後でこれらの書籍の多くのデジタルコピーを借りることができます。

ツイート翻訳：

インターネットアーカイブ：900万を超えるウィキペディアの不適切なリンクの修正

WikiResearch：@internetarchiveの友人が404エラーを処理し、Wikipediansが世界最大の百科事典を作成する際に引用したサイトおよびソースへの数百万のリンクをデジタルで保存するために行った驚くべき作業に感謝します。

もちろん、最近ではインターネットアーカイブは単なるテキスト以上のものを提供しています。 彼のニュースコレクションには、キャプション内の単語を検索する機能や最新ニュースへのアクセスなどのツールを備えた160万を超えるニュースプログラムが含まれています（ブロードキャストは24時間後に利用可能になり、2分間の検索可能なパッセージの形で訪問者に提供されます）。 インターネットアーカイブのオーディオおよび音楽の成長部分は、ラジオニュース、ポッドキャスティング、および物理メディア（たとえば、ボストン図書館から最近寄贈された78の200,000コピーのコレクション）を対象としています。 そして、Arsが書いているように、この組織は、誰でも研究やレジャーのためにブラウザーベースのエミュレーターにアップロードできるビデオゲームの広範なクラシックコレクションを誇っています。 公式には、このセクションには約300,000以上のタイトルが含まれており、「ブラウザで古いApple Cコンピューターでオレゴントレイルを実際にプレイできます。広告もユーザートラッキングもありません」とGraham氏は言います。

「一部の人は私たちをプルーシキンと呼ぶかもしれません」と彼は言います。 「私たちはアーキビストだと言いたいです。」

一般に、Grahamは、インターネットアーカイブに毎年4ペタバイトの情報が追加されると述べています（コンテキストでは400万ギガバイト）。 現在の組織データは22ペタバイトですが、インターネットアーカイブは実際に44ペタバイトを所有しています。 「私たちは妄想的だから」とグラハムは言う。 「車は故障する可能性があり、評判があります。」 このNASAに触発された信条は、非営利組織が火災によって引き起こされた損害を乗り切るのに役立ちました。







30,000入力？ 悪くはありません。また、Wayback MachineボットはArsへの愛情を確かに高めているようです。







Wayback Machineを使用すると、2011年10月にArsがSteve Jobsの死をどのように隠したかを思い出して考えることができます。







うーん...インターネットアーカイブでキャプチャされた1000番目のPDFをダウンロードするために、今でもアルシアン/アルシアンになるチャンスがあります。

知識（および事実、膨大な数の事実）への普遍的なアクセス

過去22年間にわたるインターネットアーカイブの一般的な概念は、 「すべての知識への普遍的なアクセス」という単純なものでした。 インターネットの時代では、これはもちろん、ボットの小さな軍隊の導入を意味し、グラハムはインターネットアーカイブが常にコンテンツを収集するソフトウェアを持っていると指摘します。 約7,000の同時プロセスがネットワーク全体に広がり、最終的には週に15億の異なるデータを受け取ります。 GoogleホームページやThe New York Timesなどの一部のものは、1日に何度も表示できます。 その他の表示頻度は低くなります。

「私たちはすべてを手に入れようとしていますが、それは難しいことです」とグラハムは指摘します。 「埋め込み、Javascript、対話型アプリケーション-これらの資料の一部は入手できませんが、現在取り組んでいます。」

私たちが取り組んでいるもののキャッシュには、SnapchatやTelegramパブリックグループなどの一時的なメディアが含まれ、Wayback Machineは一部のメディアアーカイブやサーバーが危険にさらされる可能性のある場所でローカルの連絡先を維持します（Grahamは最近、エジプトなど）。



このすべての結果、ウェイバックマシンは、LiveJournalsへの過去の楽しい旅行よりもはるかに便利なものに変わりました。 Ars は、Comcastのネット中立性の変化のキャプチャから、Defense Distributedの組織記述が進化したという事実まで、さまざまな目的で何度も使用しました。 そして、グレアムは2018年にトランプ大統領がGoogleがそのホームページでアメリカ合衆国との良好な関係を促進していないとツイートしたときの最近の論争を指摘します（過去のように）。 Googleがこれに答える前に、会社は簡単な質問でインターネットアーカイブに目を向けました-コピーはありますか？

「Googleは大好きですが、彼らの仕事はホームページのコピーを10分ごとに作成することではありません」とGraham氏は言います。 「これが私たちの仕事です。」

Grahamは、Wayback Machineが実際に2018年1月にGoogleホームページの835コピーを押収したことを共有しました。 「このようにして、メモを拾うのを手伝うことができました。 私たちは味方しませんが、真実のためです。」



ホワイトハウスがニュースレターのすべてのアーカイブを最近削除し、多くの組織（ニュース組織だけでなく環境組織またはACLUも）が必要になったときに、サイトは同様の役割を果たしました。 そしてWayback Machineから入手した資料は、法廷で証拠として使用されました 。 「時間の面で起こる多くのイベントがあります」と彼は付け加えます。 NBC Newsの元副社長として（おそらくONAに参加したいと考えているため）、グラハムは誇らしげに、このサイトが1日に約5回メディアによって参照されていることも指摘しています。



Graham氏によると、Wayback Machineはユーザーツールを改善してサイトを改善するために懸命に取り組んでいます。 Wayback Machineホームページの左下には、たとえばパブリックAPIがあります 。 グラハムは、人々がそれらを使用して差別化要因のようなものを作成し、そこで2つのスキャンを行い、それらを並べて配置し、変化を見ることができると指摘しています。 ユーザーが作成した別のツールはユーザーの注意を引き、サイトを見て放射状のツリーチャートを作成し、 その構造が時間の経過とともにどのように変化するかを確認できます



おそらく誰にとっても最も簡単で効果的なツールは、Wayback Machineから直接提供されるテクノロジーです。このサイトでは、誰かがホームページから直接アーカイブするためにインターネットアーカイブへのリンクを手動で送信できます。 「庭で猫を歩いて、Googleニュースでストーリーを見た場合、それを印刷できます。 しかし、今日はインターネットアーカイブに送信することもできます」とGraham氏は言います。 彼の推定によると、結果は週に約100万ショットになる可能性があります。



「不正行為をせずに、本当に大きなネットワークで情報を探します」と彼は言います。 そして、何かがボットによって発見されたか、アーカイブの熱心なアマチュアユーザーによって発見されたかに関係なく、他の誰もがコンテンツを見つける能力に感謝することができます。これは、ところでArs Technicaの本来の使命です 。 （幸いなことに、20年経っても、「NT、Linux、BeOSのコンテンツのような非常に悪いことを1つの屋根の下で」ということを誰もまだ知らせていません。



翻訳：ダイアナ・シェレミエワ

---