DHTネットワークでトレントを検索

Habrのユーザーや読者の中には、トレントを使用したことがない人はほとんどいません。 そして確かに、多くの人々がこのシステムの中心的なリンクの脆弱性を理解しています-トレントトラッカー(パイレーツベイの歴史と、現在rutrackerであった元torrents.ruは、これを確認するものです)。



ただし、誰もが長い間、従来のトラッカーに代わるものがあることを知っているわけではありません。トラッカーなしで配信を整理できるDHTネットワークです。 これまでは、ネットワーク内での検索が不可能なため、あまり配信されていません-マグネット配信リンクがある場合にのみ、目的のファイルをダウンロードできました。 ただし、 BTDigg.org DHTネットワーク上で、これまでにないユニークな検索サービスが最近登場しました。



非常に簡潔な設計のサービスは、1つの機能のために研ぎ澄まされています-検索:





トレントハッシュ検索



トラッカーへの依存を減らすために、2007年に、BitTorrentプロトコルの開発者は、 DHT構造に基づいた変更を採用しました。これにより、トラッカーなしで配信できます。



DHTネットワークとは何ですか? 実際、これは、すべてのパブリックディストリビューションの識別子(ハッシュ)を保存するトレントクライアントの分散ネットワークです。いわゆる 160ビットの乱数であるマグネットリンク。 顧客DHTノードは、トレントを発表し、要求されたトレントを見つける責任があります。 最新のクライアントはすべてDHTをサポートしているため、このネットワークにはほぼすべてのパブリックトレントが存在します(ネットワークはプライベートトレントを「認識せず」、ダウンロードを許可しません)。 実際には-クライアントのDHTを無効にできるためです。 検索は、torrentファイルに含まれるメタ情報に基づいています。つまり、torrentの名前とそれに含まれるファイルの名前で検索します。 ユーザーはトレントクライアントでマグネットリンクを開き、すべてのファイルディストリビューターを見つけて、通常どおりダウンロードします。このチェーンにはトラッカーの参加はありません。



このソリューションのマイナス点は、DHTが1つの要求のみに応答することです。どのIPアドレスに、この情報ハッシュでトレントを配布するピアがあります。 つまり、適切なマグネットリンクがある場合にのみ、DHTを介してダウンロードを開始できます。 この意味で、DHTネットワークはGoogleのないインターネットに似ています。正確なアドレスがわかっている場合にのみ、必要なページにアクセスできます。 はい。DHTネットワークはトレントトラッカーなしで動作するように作成できますが、それらが閉じている場合、ファイル共有のプロセスははるかに複雑になります。



したがって、このネットワークは、当初から独自の検索サービスを必要としていたことは明らかです。 しかし、このアイデアはシンプルでしたが、実装するのが非常に難しい技術的なタスクであることがわかりました。 サービスの作成者は、これが一般的に可能であることを理解するのに約6か月かかりました。



BTDiggにできること



これは、トレントトラッカーの検索サービスではありません。 BTDigg.orgの機能は、はるかに強力です。これは、DHTネットワークで初めて、つまりこれまでのところ唯一の検索エンジンです。つまり、実際にはインターネット上のすべてのパブリックトレントで利用できます。 初期データとして、他のノードからの情報ハッシュ要求が使用され、独自のDHTクラスターから受信されます。 さらに、マークアップをクリーンアップした後、これらのハッシュはファイル共有に参加しているピアから急流を取得します。 トレントのコンテンツは、どの段階でもダウンロードされません。



リソースの作成者はコミュニティへの敬意を表明するため、禁止されているデータ収集方法を使用しません(情報収集の速度を上げることができますが、同時に他のネットワーク参加者に追加の負荷がかかります)。 一方、24時間365日のクラスターは、DHTネットワークをサポートします。 BTDiggは、ディストリビューションのアクティビティを分析し、1日に1回インデックスを付けます( 上位100の最も人気のあるディストリビューションは、リアルタイムで、10秒ごと)。 検索は、 Sphinx検索クエリ言語をサポートしています (残念ながら、ロシア語の言語の説明は見つかりませんでした)。



検索結果は、トレントファイルを含む情報、つまり名前とサイズを提供します。 結果は、関連性とピアの数(つまり、このファイルをダウンロードする顧客)でソートできます。



これまでの追加機能のうち、2週間で上位100のトレントのみ、および過去10分間でリアルタイム上位100のみが、ページをリロードせずに10秒ごとに更新されます。



さらに、サービスはその機能のAPIも提供します-ネットワーク上のトレントの人気度の計算と検索(現在qBittorrentクライアントで使用)の両方。 APIは開いていますが、単位時間あたりのリクエスト数に制限があります。



について



タスクの技術的な複雑さのために、プロジェクトは最近開始されました-2011年1月にのみ。今では、毎日の観客は10,000人ですが、もちろん可能性ははるかに高くなっています。 このプロジェクトはまだRunetであまりよく知られていません(Habréでは以前のサンドボックスへの投稿に過ぎませんでした)が、彼の国際チームはロシアの参加を明確に表明しました-少なくとも、ジョンスミスという珍しい名前でロシア語を話す代表者と話をしました。 明らかな理由で、彼らは彼ら自身についての詳細を開示しません。



ところで、著作権者について(誰が理解しなかったか-彼らは「理解できる理由」です)。 フロアをジョンに渡します。



これまでのところ、私たちに対する深刻な襲撃はありませんでした(一部のポルノスタジオがデータベースからコンテンツへのリンクを除外することを要求しない限り)。 法律の観点から(私たちの意見では)私たちは通常の検索エンジン(google、yandexなど)のように振る舞います-さらに直接リンクを与えません(マグネットリンクは文字通りの意味のリンクではありません)。 しかし、弁護士と著作権所有者の世界では、法律はあらゆる方向に向けられる可能性があり、海賊湾とルトラッカーの例はこの証拠です。




したがって、これまでのところ、権利者に不在の知的議論とは異なる方法で交渉する機会を与えないために-まあ、そこには、ホストのホストに関する苦情、サーバーの押収、メディアの悪用などがあります -彼らは匿名を強いられますが、これはプロジェクトの開発を複雑にします。



開発計画



現在、テストを行っており、近い将来、発行の設定やフィルタリング、ネットワークカバレッジの改善など、多くの新機能がサイトに登場します-BTDigg.orgは、DHTネットワークでより多くの(非常にまれなトレントでも)新しいディストリビューションのインデックスを作成します。



ロシアの聴衆への特別な挨拶-ロシア語のローカライズを行うサービスプランの作成者、およびサポートがロシア語で理解できるようになりました。 サービスを収益化する計画はまだありません-視聴者が気にしない場合、おそらく広告が表示されます。



All Articles