ITO Worldのビデオロシア：OpenStreetMap 2007-2012の編集を見た後、私は自分のものを作りたかった-ゼレノグラードでのみ。 詳細や小さな変更を明確に見るため。



実装には2週間以上かかりました。

この記事では、これがどのように行われたかを説明します。

ビデオ自体はカットの下にあります。









1080pの全画面表示と音声付きで見やすく



このようなビデオの作成は、2つの主要な部分に分かれています。

1. 必要なデータを取得します。
2. このデータからビデオを収集する

必要なデータを取得します。

履歴データの取得は、OpenStreetMapアーキテクチャによってやや複雑です。このアーキテクチャは、現在のマップをすばやく表示して編集するように設計されていますが、履歴をアンロードするためではありません。 さらに、 ライセンスをCC-BY-SAからODbLに変更すると、タスクが複雑になり、データベースから一部のオブジェクトが削除され、他の一部の変更の履歴が生じます。 ゼレノグラードは、ライセンスを変更する際に多くの苦労をしました。7：18には、ビデオにはっきりと表示されています。

一般に、特定のエリアのすべてのオブジェクトの履歴全体を便利にダウンロードするサービスはまだありません。

必要なもの

もちろん、まず、ダウンロードするものを決定する必要があります。

行政境界線のゼレノグラードは、ほぼ正方形の枠にかなり収まります。 ただし、スケールを回したり、歪めたり、大きく歪めたりせずに、最も近い周囲（メンデレーエボ、チャシュニコヴォ、ゴルボイエ、フィルサノフカ、ピャトニツコエショッセなど）を捉えることは不可能です。 Firsanovskoe高速道路のみを追加することが決定されました。

フルHD 1920x1080はやや不均衡であることが判明しました-中央のゼレノグラード、右下隅の不完全なFirsanovkaとSkhodnya、および残りの空の隅。 1080行の垂直解像度を維持しながら、最小フレームは1220x1080でした。 ビデオ解像度スキームの瞑想の後、1440x1080に拡張することが決定されました。

データをダウンロードするために、bbox 55.92-56.05.37.08-37.31が取得されました-フレームの端を越えて伸びるラインのマージンがあります。

データソース

主な情報源には次のようなものがあります（執筆時点）。

1. ODbLデータのみを生成するメインデータベースは、地域ごと、オブジェクトごと、またはチェンジセットごとの履歴です。
2. 10月19日の最後の完全な履歴ダンプ（全惑星ファイル） 。bz2アーカイブで37 GB、ODbLデータのみ。 つまり 1か月半前に300〜500 GBが解凍され、全体ではありません。
3. bz2アーカイブで35 GBの6月1日のSS-BY-SAの最後の完全な履歴ダンプ 。 これは、ボットがODbLと互換性のないデータを「切り取る」1.5か月前で、ライセンスが変更される4.5か月前です。
4. 毎日 、毎時、および毎分の差分-ODbLの現在のベース、CC-BY-SA時代 、および移行期間の両方。
5. さまざまなアンロードフルストーリー 。
6. 残念ながらgis-labでのロシアの毎日の差分には省略が含まれていますが、 惑星のものには含まれていませんが、それらのすべてには変更されたオブジェクトの最終バージョンのみが含まれています。 1日あたり1フレーム以上のビデオにはあまり適していません。

実験により、完全な履歴ダンプから必要なデータを切り出すには、かなりのリソースが必要であることが示されています。 たとえば、 history-excerpt.plスクリプトは、6 GBであってもRAMの不足を訴えていました。



その結果、混合オプションが選択されました。

1. 2012.04.01までの話は、サイモンプールからロシアを降ろした（russia.osh.bz2-1 GB） から取られたもので、17 GBしか解凍されていません。
2. 2012.04.01から2012.08.31までのストーリーは、移行期間の毎日の差分から取られています。 差分はCC-BY-SA時代に完全にはドッキングされていません（4月1〜4日の一部の編集は、1時間と1分間の差分でのみ使用できます）が、Zelenogradの編集はすべて毎日のレンタルです。 ただし、65 GBは解凍されています。
3. 2012.09.01のストーリーは、Zelenogradのすべてのチェンジセットをポンプでくみ出すことにより、メインベースから取得されました。 変更セットのリストは、openstreetmap.orgから長方形の領域の変更履歴の数百ページをダウンロードすることによって取得されました。 このソースは多くの追加データを生成します（たとえば、 アラスカはインポートをキャッチし 、ダウンロードしませんでした）が、短期間でデータボリュームは小さく、わずか90 MBです。

目的のフラグメントを切り取ります

現在のアーキテクチャによると、OSMには、ノード、ウェイ、リレーションの3種類のエンティティがあります。 ただし、ノード（ポイント）に座標がある場合、ウェイ（ライン）は単なるノードのリストであり、独自の座標はありません。 特定の領域にデータをアップロードするには、必要なノードを選択するのは簡単ですが、必要な方法を選択するには、使用するすべてのノードを確認する必要があります。 つまり ノードのまばらなリストを作成する必要があります（識別子はほぼ20億に達しています）。これにより、ノード上の方法をすばやく確認できます。

リレーションは、オブジェクトをグループ化し、複雑な構造を描画するために使用され、ノード、ウェイ、その他のリレーションで構成できます。これには、あらゆるレベルのネストとループを形成できるリレーションが含まれます。 このビデオでは、追加のジオメトリを提供しないため、ダウンロードまたは表示しないことが決定されました（ビデオで使用されていないペインティング領域の順序に影響を与える可能性があります）。



いくつかの実験の後、次の順序が選択されました。

1. ノードリストは、正規表現であるegrepユーティリティを使用してコンパイルされました
   
   すべてのデータ（ファイルに保存せずにアーカイブからアーカイブに送信されたデータを含む）を非常に迅速に引き出しました。
   
   さらに、ノードID（egrep、sort、uniqの2つ）のみがリストから取り出され、ファイルに保存されました。 合計で約30分かかりました。
2. 特別に作成されたプログラムが1行ずつ（XML解析なし）ファイルをスキャンし、検出されたノードのすべてのバージョンに関する情報と、選択されたノードの少なくとも1つを使用したすべての情報を引き出しました。 オブジェクトの可視属性を指定しない毎日の差分の場合、この属性は外部タグ（<delete>など）に基づいて追加されました。 ノードのリスト（合計で約17万）の検索は、16ビットインデックス（ノードIDの32ビット表現からの最高16ビット）によって加速されました。 その場で補充されるウェイリストでは、インデックスは使用されませんでした。 私はたった2万6000しか蓄積しておらず、検証はそれほど頻繁に必要ありません。 約7時間かかりましたが、そのうち5時間-1日の差分が150でした。

結果の正確性を確認しました：

1. バージョンの連続的な増加を確認すると、ギャップがないことがわかりました。 2008年にTorzhokからZelenogradに移行したway 8038408の最新バージョンは手動で削除されましたが、現在はTorzhokのみが存在し、 誤ってopenstreetmap.orgから受信した変更のリストに含まれています
2. 必要な日の荷降ろしのセクションは、2009年から 2012年に保存した都市の荷降ろし、および2012年のgis-labからのモスクワ地域の選択的な荷降ろしと一致しました。

ただし、フレームをレンダリングするときに、2008年から2010年にYahoo衛星画像の境界を設定する23273948が 、2009年4月まで1つのドットだけでbboxに入り、誤って描画されることがわかりました。 この方法の追加ノードは、手動でアンロードに追加されました。



最終アップロード（rarで6.3 MB）をダウンロードできます 。

これは、2つのライセンスに基づくデータアセンブリであることを忘れないでください。2012-09-12T10までのすべてのCC-BY-SA 2.0：00：00ZおよびODbL 1.0以降。

ビデオを作成する

データを受け取ったら、描画を開始できます。

ただし、最初にビデオの速度を決定する必要があります。

速度を一定にするという最初のアイデアは、最初の編集のリストを見たときにばらばらになりました。

1. 2005-11-10T17：35
2. 2007-04-02T12：30
3. 2007-09-29T11：29

つまり 合計7年の間隔で、最初のほぼ2年は-2回の編集のみです（その後、タイトになります）。 これらの編集の間のボイドにより、「スクワダー」加速が決定されました。

1日に1フレームの合計速度が高すぎるように思えました。 5年間の多かれ少なかれアクティブな編集-1830フレーム、1分強。

1時間に1フレームで30分のビデオが得られますが、これは多すぎます。

オプション1フレームで4時間で停止しました（つまり、現実と比較してx360000）。

最初のスクロールを考慮すると、11,800フレームが7:52になりました。

時間枠

フレームを描画するには、すべてのオブジェクトのすべてのバージョンをクイックアクセスで保持するか、時間の経過とともに順次変更を「適用」して、適切なタイミングでフレームを描画する必要があります。 彼は2番目のオプションで停止しました。

Simon Pooleからのアンロードは「すべてのノード-すべての方法-すべての関係」で構成されているため、時間の経過とともに何らかの方法でソートする必要がありました。 単純なプログラム（ここでも、XML解析なしの行ごと）で、アップロードはクロノフレームに分割されました。4時間ごとの変更は、フレーム時間にちなんで命名された別のファイルに記録されました。 約10分かかりました。

これで、タイムフレームを順番に読み込み、それぞれが画像を描画した後に読み込むだけで十分です。



少し上にレイアウトされたアップロードは、実際にはすべての時間枠の順次ドッキングです。 最初のものは構造上で不均一でした。

SVGでのレンダリング

独自のラスターレンダラーを発明しないために、ベクターSVGを作成し、既製のプログラムによってラスターに変換することにしました。 SVGはxml-textであるという点で便利ですが、半透明などのあらゆる種類の便利なものをサポートしています。

SVGを作成するには、XML解析を使用したプログラムを再度作成する必要がありました。 ただし、データ量は十分に受け入れられるようになりました。

レンダリングには1時間15分かかりました。 SVGの合計ボリュームは15 GBです。



20120720080000.svg-ボットが到着する前の最後のフレーム





20120721000000.svg-非ODlデータを切り捨てる遠慮





プログラムによってはSVGの解釈が異なる場合があり、このために準備する必要があることに注意してください。 生成されたファイルを見ていたChromiumは、ImageMagickが後でしたのとは異なる画像を表示することがありました。 SVGの形成は数回調整する必要がありました。

ラスターに変換

当初、ラスタースキームに最適な形式として、SVGをPNGに変換する予定でした。 しかし、ImageMagickによって作成されたPNGで友人をavidemuxにすることはできませんでした。avidemuxは頑固に緑色のフレーム全体であふれていました。

その結果、BMPへの変換が行われました。

ImageMagickの変換ユーティリティは、単一タイプのトゥルーカラースイッチで動作しました

このプロセスには6時間かかりました。 BMPの合計ボリュームは53 GBです。

ビデオアセンブリ

ビデオは、 avidemuxによってBMPファイルのパックから収集されました 。

Xvidコーデックは、GNUベースの定評のあるものとして選ばれました。 標準設定に関しては、量子化器のみが2で再配置されました。

組み立てには約25分かかりました。



CC-BY-SA 3.0のライセンスの下でファイルとしてアップロードされた音楽なしのビデオ（137 MB）

上記の2つのSVGフレームもこのライセンスに基づいています。

音楽オーバーレイ

私のコレクションの音楽はCCライセンスと互換性がないため、YouTubeの音楽オプションが作成されました。

ほぼ8分間を埋めるために、組成物から最も壮大な断片が取り出されました。

1. ヴァンゲリス-声（約1:00から6:50）
2. 債券-エリュシウム（約0:30〜2:30）

Adobe Auditionでミックスされ、 VirtualDubのビデオに貼り付けられた音楽

一部のイベントの音楽へのバインドは行われず、すべての偶然はランダムです。

結果

ビデオに表示されるもの：

• 適切なタイミングでのタイムスタンプとライセンス
• すべてのアンロードされた方法-ライン
• 何らかの方法で含まれていないすべてのアンロードされたノード-ポイント単位
• 新しいオブジェクトが白く点滅し、ゆっくりと緑と濃い緑にフェードします
• 変更されたオブジェクトは黄色に点滅し、ゆっくりと緑と濃い緑にフェードします
• 削除されたオブジェクトは赤く点滅し、スムーズに消えます（つまり、実際の削除後に表示されます）
• ウェイに含まれるノードが変更されたが、ウェイ自体は変更されない場合、ノードは黄色のドットで点滅し、フェードアウトします
• 表示領域で編集した全員のニックネームが表示されます-編集時に白く点滅し、スムーズに緑に消えて消えます
• 非ODBLデータを見つけた2つの管理アカウントのニックネームは赤く点滅します

謝辞：

• サイモンプール-2012年4月1日にロシアを降ろした全歴史。
• Larry0ua-毎日の差分を使用するためのアイデア。
• giner-ニックネームを表示するためのアイデア、Linuxユーティリティの使用の支援、およびベータテスト。
• 作者ImageMagick、avidemux、VirtualDub、Xvid、osmconvert、Ubuntu

受け入れられたオファー：

• アニメーション付きの1 SVG形式の「ビデオ」を組み立てる方法
• そのようなワイヤフレームグラフィックスのより良い伝送に使用するビデオコーデック