MikroTikの内部および外部通信チャネル、静的ルーティング、企業ネットワークの予約

ISPでテクニカルサポートエンジニアとして働いています。 この記事では、小売店チェーンの限られた予算で、静的ルーティングと通信チャネルの予約、および電子メールによる事故の自動報告を使用して企業ネットワークを構築した経験を共有します。 経験豊富なネットワークエンジニアにとって、この記事は興味深いものではありません。 同様のタスクを持っている管理者にとって、この記事は役に立つかもしれません。



この特定のタスクでの動的ルーティングは、プロジェクトが必要とするほど速く、おそらく確実に動作しないと思います。 ダイナミックルーティングに反対することはありませんが、MikroTik機器での操作といくつかのネットワーク仕様（これについては以下で詳しく説明します）についての否定的なレビューが、静的およびスクリプトの方向の選択に影響を与えました。

パート0.提供されるもの

お客様から連絡がありました-ローカル取引ネットワーク。 市内全域に分散した店舗間の通信用にローカルネットワークを編成するためのサービスを提供します。



技術的な観点から、プロバイダーはネットワーク内に個別のVLANを提供します。 すべての店舗（12店舗）は、FTTHとPONの2つのテクノロジーを使用して、光学系を介してISPに接続されています。



近代化前の企業のネットワーク図を図に示します。







2つの店舗と中央オフィスには、イーサネット（FTTH）接続があります。 残りの9店舗では、接続はPON（Passive Optical Network）テクノロジーを介して行われます。 PON経由で接続する場合、Huawei端末が使用され、HG810モデルもONU（Optical Network Unit）です。 PONテクノロジーについてはこちらをご覧ください 。



この会社の機器には特定の機能があります。 これは、一方ではISPユーザーには不要であり、加入者アクセスネットワークの設計に関して積極的な役割を果たします。 一方、これらの機能は企業顧客に悪影響を及ぼす可能性があります。



それらを詳しく見てみましょう：

1. Huawei機器上に構築されたPONネットワークでは、同じベースステーション（OLT-Optical Line Terminal）から動作しているONU間のトラフィック交換はデフォルトで禁止されています。 企業VLANの特別なプロファイルを使用して、この問題を解決することができました。
2. ONUは、加入者からプロバイダーネットワークに向けてDHCPパケットを渡しません。 プロバイダーのネットワークから加入者に向かって-すべてが進みます。 メインオフィスをDHCPサーバーでONUを介して分散企業ネットワークに接続すると、オフィスにあるサーバーはオフィスの外にあるノードにアドレスを配布できなくなります。
3. クロスカントリーマルチキャスト-パッケージに関する同様の問題。 すべてのマルチキャストパケットはONUを通過せず、ネットワークの他の部分では見えません。

他のトラフィックに問題はなく、フィルタリングや制限もありません。



問題2および3について、読者がネットワークでHuaweiのPONを使用し、そのようなトラフィックの通過を許可する方法を知っているエンジニアがいる場合、私は喜んでアドバイスします。



私に連絡した時点では、店舗のチェーンは、Kerio Control Serverを実行している1つのルーターを持つ、管理されていないフラットなネットワークでした。



ネットワーク上では、すべての店舗のすべてのIPデバイスが相互に認識されていました。 プロバイダーのスイッチのFDBテーブルには、VLAN内の合計で350を超えるデバイスがあります。 これらのデバイスはすべて、1つの大きなブロードキャストドメインに属していました。



このため、ネットワークでさまざまな障害が発生し、店舗の運営に干渉したため、ネットワークではセグメンテーションが必要でした。



プロバイダーで事故が発生し、オフィスと個々の店舗との接続が失われたことがありました。



さらに悪いことに、セントラルオフィスとプロバイダーのネットワークとの間で通信が失われた場合。 この場合、市内に分散している12店舗すべてが、オフィスにあるサーバーと通信せず、インターネットにアクセスできません。 この期間中、店の仕事は非常に限られており、機会は消えます：

1. 銀行振込による支払いを受け入れます。
2. 商品の受け取りと修正。
3. 価格と残高を同期します。

セントラルオフィスはイーサネット経由で接続されました。 すべての店舗のデバイスにDHCPを配布する必要があるため。 オフィスからの光学機器は、プロバイダーの通信センターがある最寄りのアパートに送られます。 この家またはさらに接続された家で電力が失われると、12店舗すべてがオフィスとの通信なしで残されます。



停電の場合に機能するために、PONラインが本社に設置されています。 イーサネットドロップの場合の予備としてのみ使用されました。 DHCPパケットは通過しませんでした。 イーサネットとPON通信チャネルの切り替えは手動で行われました 。



私はタスクを割り当てられました：

1. ネットワークをセグメント化し、多くの小さなブロードキャストドメインに分割して、共通ネットワークへの悪影響を排除します。
2. 本社とプロバイダーの間でイーサネットとPON間の通信が失われた場合に、内部通信チャネルを自動的に切り替える方法を導入します。
3. 特定の店舗でISPとの接続が失われた場合に備えて、オフィスとの通信を自動的に切り替える方法を導入します。これは、オフィスとのインターネット通信およびローカルアクセスを意味します。
4. ネットワークの特定のセクションでの事故（オフィスとの連絡が失われた、またはバックアップインターネットが失われた）について、企業のシステム管理者に自動的に通知する機能を実装します。

パート1.タスクを解決する

これらのタスクを達成するために、 MikroTik機器が購入されました。 RB1100AHx2モデルは中央オフィスで購入し、 MikroTik hEx（RB750Gr2 ）は12店舗それぞれで購入しました。



セントラルオフィスとすべての店舗では、2番目のプロバイダーが接続されています-Rostelecom。 この会社はインターネットアクセス のみを購入します 。 セントラルオフィスでは、ADSL経由の店舗でケーブル（FTTH）によって接続が行われます。 モデムはプロバイダーからレンタルされ、ブリッジモードでのみ動作します。



分散アドレッシングスキームがエンタープライズネットワークに導入されました。

• 192.168.1.0/24-セントラルオフィスのネットワーク。
• 192.168.2.0/24-12店舗それぞれの192.168.13.0/24ローカルネットワーク。

オフィス間のルーティングのために、MikroTikルーター間の通信が編成される2つの補助ネットワークが導入されました。

• 10.10.10.0/24-メインイーサネットチャネルを介してメインオフィスに到着するネットワーク
• 10.10.20.0/24-バックアップチャネル（PON）を介して本社に到着するネットワーク

メインオフィスには、3つのチャネルを介したインターネットアクセスがあります。

• ISP1-A-イーサネットチャネル経由、/ 30 IPプレフィックス付き-1.1.1.1
• ISP1-B -PONチャネル経由、プレフィックス/ 30 IP- 2.2.2.2
• ISP-2 （Rostelecom） -PPPoE 、IP経由-3.3.3.3

以下に設定例を示します。

[s@MAIN-BORDER-ROUTER] > ip address export # nov/27/2015 22:43:50 by RouterOS 6.32.2 # /ip address add address=10.10.10.1/24 comment=ISP-LOCAL-ADDRESS interface=eth-1 network=10.10.10.0 add address=10.10.20.1/24 comment=ISP-RESERVE-LOCAL-ADDRESS interface=eth-2 network=10.10.20.0 add address=1.1.1.1/30 comment=ISP1-MAIN-INET-ADDRESS interface=eth-1 network=1.1.1.0 add address=2.2.2.2/30 comment=ISP1-RESERVE-INET interface=eth-2 network=2.2.2.0 add address=192.168.1.1/24 comment=OFFICE-LOCAL-ADDRESS interface=bridge-MAIN-OFFICE network=192.168.1.0
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

2番目のプロバイダーからのPPPoEの場合：

 [s@MAIN-BORDER-ROUTER] > interface pppoe-client print Flags: X - disabled, R - running 0 R name="RT-PPPoE" max-mtu=1480 max-mru=1480 mrru=1600 interface=eth-3 user="U" password="P" profile=default keepalive-timeout=30 service-name="" ac-name="" add-default-route=no dial-on-demand=no use-peer-dns=no allow=pap,chap,mschap1,mschap2
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

店舗とISP-1間の通信が失われた場合にリモートストアの作業を整理するために、各店舗に2人のVPNユーザーがオフィスのメインルーターに作成されました。 これは、各ストアが外部インターネットネットワークを介して、両方のプロバイダーからオフィス内の2つの外部IPアドレスへの2つのアクティブな接続を同時に持つようにするためです。



VPNを介したオフィスと店舗間のトラフィック交換のために、さらに2つの補助ネットワークを導入します。

• 10.20.30.0/24-VPN内のネットワーク、外部ネットワークを介してISP-1からIPに固執する店舗用
• VPN内の10.30.40.0/24ネットワーク、外部ネットワークを介してISP-2からIPにくっついている店舗用

ルーターでL2TPサーバーを有効にし、ユーザープロファイルを作成します（ここでは、1つのストアの例を示します）。

 /interface l2tp-server server set enabled=yes keepalive-timeout=15 add local-address=10.20.30.1 name=VERTOLET-VPN password=Pass profile=default-encryption remote-address=10.20.30.15 service=l2tp add local-address=10.30.40.1 name=VERTOLET-VPN-RESERVE password=Pass profile=default-encryption remote-address=10.30.40.15 service=l2tp /interface l2tp-server add name=15.VERTOLET-VPN user=VERTOLET-VPN add name=15.VERTOLET-VPN-RESERVE user=VERTOLET-VPN-RESERVE
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

/ interface l2tp-serverコマンドを使用して、各ストアのPPPセクションにハードバインディングを追加します。 これは、接続されているストアを簡単に判別するために行われます。 そして、どのトラフィックが通過しているか。



トラフィック交換のために4つのネットワークを取得します。

 [s@MAIN-BORDER-ROUTER] > ip address print Flags: X - disabled, I - invalid, D - dynamic 0 ;;; IT-MAIN-LOCAL-ADDRESS 10.10.10.1/24 10.10.10.0 eth-1 1 ;;; IT-RESERVE-LOCAL-ADDRESS 10.10.20.1/24 10.10.20.0 eth-2 2 D 10.30.40.1/32 10.30.40.15 2.VERTOLET-VPN-RESERVE 3 D 10.20.30.1/32 10.20.30.15 2.VERTOLET-VPN
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

便宜上、ネットワークが192.168。になるようにアドレス指定を計画しました 15 .0 / 24は10.10.10まで利用可能です。 15.10.10.20。 15、10.20.30。 15および10.30.40。 15 、他のサブネットはそれぞれ異なるアドレスを持ちます。



次に、ルートを作成します。

 [sbl@MAIN-BORDER-ROUTER] > ip route export # nov/27/2015 23:24:47 by RouterOS 6.32.2 # /ip route add comment=1.VERTOLET distance=10 dst-address=192.168.15.0/24 gateway=10.10.10.15 add comment=2.VERTOLET distance=20 dst-address=192.168.15.0/24 gateway=10.10.20.15 add comment=3.VERTOLET distance=30 dst-address=192.168.15.0/24 gateway=10.20.30.15 add comment=4.VERTOLET distance=40 dst-address=192.168.15.0/24 gateway=10.30.40.15
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ルートごとに異なるアドミニストレーティブディスタンスを使用しています。 通常モードでは、データは10.10.10.15のネットワーク経由でストアに送られます。 彼女の管理距離は最も短く、 10です。 ネットワーク10.10.10.0/24はeth-1を介してアクセスできます。これは、 ISP-1からのメインイーサネットチャネルを意味します。



eth-1通信チャネルに障害が発生した場合、データはPONを介してeth-2ネットワークを通過します。問題が発生した場合、ISP-2からPPPoEを介してVPNを支援します。



オフィスでのネットワーク接続の例を下の図に示します。







リモートストアで同じ設定を実行します。 アドレスを割り当てます：

 [s@VERTOLET-GW] > ip address export # nov/27/2015 23:47:45 by RouterOS 6.32.3 # /ip address add address=192.168.15.2/24 interface=bridge-VERTOLET network=192.168.15.0 add address=10.10.10.15/24 comment=LOCAL-MAIN-ADDRESS interface=ether1 network=10.10.10.0 add address=10.10.20.15/24 comment=LOCAL-RESERVE-ADDRESS interface=ether1 network=10.10.20.0 add address=192.168.15.253/30 interface=ether2 network=192.168.15.252
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

l2tp VPN接続を作成する

 [s@VERTOLET-GW] > interface l2tp-client export # nov/27/2015 23:54:11 by RouterOS 6.32.3 # /interface l2tp-client add connect-to=2.2.2.2 disabled=no keepalive-timeout=45 mrru=1600 name=VPN-OFFICE password=Pass user=VERTOLET-VPN add connect-to=3.3.3.3 disabled=no keepalive-timeout=45 mrru=1600 name=VPN-OFFICE-RESERVE password=Pass user=VERTOLET-VPN-RESERVE
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ストア接続図をご覧になることをお勧めします。







チャネルがリモートストアでeth-1に失敗すると、ISP-1を経由する両方のローカルルートを通じてオフィスとの接続が自動的に失われます。 ここでは、VPNネットワーク10.20.30.1および10.30.40.1が私たちの助けになります。これらは常に発生し、ストアのバックアップインターネットチャネルを介して常に発生します。



このトリックを実装するために、 ISP-2用に別のルーティングテーブルを作成しました。 これは、ルーターが常に同じインターフェイスを介してISP-2側からの要求に応答できるようにするためにも行われますが、これについては詳しく説明しません。



ストアにISP-2のルーティングテーブルを作成します。

 [s@VERTOLET-GW] > ip route export # nov/28/2015 00:13:41 by RouterOS 6.32.3 # /ip route add distance=1 gateway=RT-INET-Reserve routing-mark=ISP2-Reserve
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

また、オフィス内の両方のIP VPNサーバーへのトラフィックがバックアップインターネットのみを通過するルーティングルールを作成します。

 [s@VERTOLET-GW] > ip route export # nov/28/2015 00:13:41 by RouterOS 6.32.3 /ip route rule add action=lookup-only-in-table dst-address=2.2.2.2/32 table=ISP2-Reserve add action=lookup-only-in-table dst-address=3.3.3.3/32 table=ISP2-Reserve
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これで、オンラインストアとルーターがどのチャネルを使用するかに関係なく、VPNが常に利用可能になります。 VPNネットワークは常にバックアップチャネルを介してのみ機能し、常にオフィスと通信するという使命を引き受ける準備ができています。



インターネット自体は、デフォルトでオフィスからISP-1を介して機能するため、オフィスを介してインターネットにアクセスするために2つの個別のルーティングテーブルが作成されています。

 [s@VERTOLET-GW] > ip route export # nov/28/2015 00:13:41 by RouterOS 6.32.3 # /ip route add distance=1 gateway=10.10.10.1 pref-src=10.10.10.2 routing-mark=ISP1-A add distance=1 gateway=10.10.20.1 pref-src=10.10.20.2 routing-mark=ISP1-B
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

10.10.10.1および10.10.20.1までのトラフィックがデフォルトルートを通過しないことを確認する必要があります。デフォルトルートから、ある程度の確率で回答が到着する場合があります。 これを行うには、アドレス10.10.10.1および10.10.20.1を検索するリジッドバインディングを作成します。

 [s@VERTOLET-GW] > ip route rule export # nov/28/2015 00:13:41 by RouterOS 6.32.3 /ip route rule add action=lookup-only-in-table dst-address=10.10.10.1/32 table=ISP1-A add action=lookup-only-in-table dst-address=10.10.20.1/32 table=ISP1-B
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ストアの最後-オフィスへのルートを作成します。

 [s@VERTOLET-GW] > ip route export # nov/28/2015 00:13:41 by RouterOS 6.32.3 /ip route add comment=1.Local-NET-MAIN-IT distance=10 dst-address=192.168.1.0/24 gateway=10.10.10.1 add comment=2.Local-NET-RESERVE-IT distance=20 dst-address=192.168.1.0/24 gateway=10.10.20.1 add comment=3.Local-NET-RESERVE-INET distance=30 dst-address=192.168.1.0/24 gateway=10.20.30.1 add comment=4.Local-NET-RESERVE-INET distance=40 dst-address=192.168.1.0/24 gateway=10.30.40.1
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ルーティングテーブルがすべてです。 次に、これらの通信チャネル間の自動かつ最速の切り替えを構成する必要があります。

パート2.自動切り替えのセットアップ

記事の冒頭で、この場合、動的ルーティングはあまり適切ではないという意見を書きました。 セットアップの容易さの点では 勝ち ますが、作成と書き込みを少なくすることは簡単です。



ただし、まず、ほとんどの店舗はPONを介して接続されていますが、 PONはマルチキャストを通過しません。 OSPFとRIPの両方がLANを介して離陸することはありません。



第二に、OSPFの経験がほとんどありません。 また、 ISP-1を介したチャネルがローカルで利用可能な場合の動作はわかりませんが、20〜25％以上の損失が発生します。 トラフィックは送信され、ルーターHelloのパケットは表示されますが、ライブトラフィックには問題が発生します。



3番目は、デフォルトでは、OSPF設定の反応とスイッチング速度であり、 ルーターデッド間隔の値は40秒です。 なんて長い間店（そういうお客様）。 もちろん、それをねじって縮小することもできますが、OSPFはどの程度安定しますか？



そして、静力学を支持する最後の評決として、OSPFの安定性に関するMikroTikのユーザー間のかなりの批判と不満を呼びます。 たとえば、 ここに書かれたもの 。



正直なところ、私はOSPFに反対するものは何もありません。 しかし、この場合、私はそれを安全にプレイし、スクリプトを介して切り替えることにしました。



そのため、残念ながら、スクリプトの作成経験はありません。したがって、借用したスクリプト（主要な情報源が提供されます）に対する編集の一部は、あまりにもぎこちないように見えるかもしれません。 批判するのはいつでも嬉しいです。



ローカル通信チャネルの可用性を確認するためのスクリプトは、 Habrauser magnitudoの スクリプトから取られました。





スクリプトの原理は単純です。 メインルータで、1500バイトの大きなパケットで各インターフェイスに7回pingを実行します。 少なくとも5つのパケットが返される場合、満足のいく結果が考慮されます。 この方法は、チャネル内の通信に関する問題の可能性に非常に敏感です。 問題がある場合、チャネルは使用不可と見なされます。



結果に応じて、アドミニストレーティブディスタンスの値を設定します。 チャネルが使用できない場合は、100ずつ増やします。

ローカルに接続された両方のチャネルが消えた場合、スクリプトはクラッシュまたはリカバリに関する通知を送信する別のスクリプトの起動を開始します。



誰かが私には4つのルートがあり、スクリプトは3つしかチェックしていないことに気付きました。 これは時間を節約するために行われます、なぜなら 3つのインターフェイス（ローカルに2つ、インターネット経由で1つ）はすべてメインプロバイダーに関連付けられています。 また、3つのインターフェイスすべてで障害が発生した場合、ISP-2を介した最後のスタンバイ外部VPNのみが残ります。 常にAD = 40です。



ストアからのスクリプトを次に示します。同様のスクリプトがメインルーター上で回転し、各ストアには独自のスクリプトがあります。



誰かが同じくらい多くのスクリプトが絶えず回転していると考えるでしょうか？ 一般に、スクリプトが機能するのにどれくらい時間がかかりますか？ どの間隔で実行する必要がありますか？



私にとって、ルート利用可能性のための応答時間は重要です。 スクリプトをチェックするとき、作業時間を検出しようとしました。 すべてが標準である場合、約7秒です。



いずれかのチャネルが使用できず、スクリプトがタイムアウトまでに応答を待機している場合、時間は約15秒に増加します。

これは、OSPFがデフォルトの40秒待機するよりもはるかに高速です。



どの間隔でスクリプトを実行しますか？ そして、方法はありません！ このスクリプトのスケジューラーはしませんでした！



これにより、反応時間がさらに短縮されました。 NetWatchケースへの接続のおかげで、ほぼ瞬時に反応時間（実際には約5秒 ）を達成できました！



チャンネルの信頼性と事故通知を確認するためにルートが作成され、スクリプトが作成されたら、これらのスクリプトを起動するトリガーを考え出す必要があります。



3つのアドレスすべてに対してNetwatchを作成します。

 [s@VERTOLET-GW] > tool netwatch export # nov/28/2015 01:53:17 by RouterOS 6.32.3 /tool netwatch add down-script="/ip route set [find comment="1.Local-NET-MAIN-IT"] distance=110\r\ \n/system script run CHECK-INET-ALARM\r\ \n/system script run CHECK-LOCAL-ALARM\r\ \n" host=10.10.10.1 interval=10s timeout=2s up-script=\ "/system script run CHECK-INET-ALARM\r\ \n/system script run CHECK-LOCAL-ALARM"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

説明してください-NetWatchは、10秒ごとにホスト10.10.10.1にpingを送信し、タイムアウトは2秒です。 転倒した場合、すぐにプロアクティブにアドミニストレーティブディスタンスを+100に設定します-ルートを非アクティブにします。



その後、ローカルネットワークの可用性ステータスをより正確にチェックして、スクリプトの起動を初期化します。 誤ったアラームが発生した場合、ルートの優先度を返し、両方のローカルチャネルが実際に落ちた場合、 管理者に手紙を送信します。



pingリカバリの場合、ルートをすぐにアクティブとして返しません 。 また、より詳細なチェックを開始します。これにより、メインチャネルに戻ることが可能かどうかがすでに決定されます。



これらのNetWatchは、ISP-1ネットワークの3つの内部アドレスすべてに対して作成されます。 定期的に相互にpingを送信し、問題が発生した場合、即座にADを変更し、より詳細なスクリプトチェックを実行します。



以下は、ドロップを通知し、オフィスとの通信を復元するスクリプトのリストです。 通知用のスクリプトの基礎として、 7番目の 記事を使用しました。





EMAIL-IT-RECOVER回復スクリプトは、テキストを除いて同一です。

終わり

それだけです。 私が望んでいたすべてのことについては話しませんでしたが。 問題は、オフィスと支店でのインターネット自体の予約の実装、インターネットに関連する事故の通知とその回復でした。 時間のカウンター-インターネット上のチャネルはいくらですか。 OSPFを介してWi-Fiプリンターショッピングをキャッチした方法。



最後まで読んでくれたみんなに感謝します。 あなたの批判、アドバイス、提案を楽しみにしています。 質問がありますが、喜んでお答えします。

興味深い場合は、このプロジェクトに関する記事をさらにいくつか書いて、ネットワーク内のいくつかの松葉杖について説明します。これは簡単な方法で解決する必要がありました。



後者は、オフィスと12店舗のうち1店舗を接続するための一般的なスキームです。