DIYメールクラスター

タスクをいくつかの方法で解決できることをすぐに予約してください。 これは可能性の1つです。

この記事は、EximとDovecotがどのように構成され、動作するかを知っている人を対象としており、これらのサービスの基本的な設定については触れません。



ノートを読んだ後、誰かが決定を実行するために必要な知識やアイデアを受け取ることを望みます。



タスクは、サーバー上のメールストレージとIMAPアクセスを使用して、フォールトトレラントサービスを構築することです。

このクラスターは、約60の支店を持つ会社にサービスを提供し、各支店には独自の第3レベルドメインがあります。



サービスの主なタスクは、メールへの中断のないアクセスです。 したがって、ストレージに地理的に分散した2つのサーバーを使用し、メールディレクトリを同期します。

両方のサーバーがアクティブになります。つまり、ノード間で負荷が分散されます。 ドメインの一部は1つのノードによって提供され、ドメインの一部は別のノードによって提供されます。 いずれかのノードで障害が発生すると、クライアントは別のノードに切り替わります。

クライアントのルーティングを負荷分散するためのフロントエンドとして、メールモジュールでNginxを使用します。 メールを受信するには、2つのsmtpサーバーを使用します。



スキーム：





ストレージ ：メールボックスストレージ。 2つのノードで構成されます。

各ノードは、異なるホスティングサイトにある2x4Tb HDDを備えた専用サーバーです

DNS：storage-01.domain.ruおよびstorage-02.domain.ru

OS：FreeBSD、

ソフトウェア：Dovecot、Exim、Postgresql、およびNginx



SMTP ：SMTPトラフィックを処理するサーバー、2つのノード。

異なるホスティングサイトにある仮想サーバー、

DNS：smtp-01.domain.ruおよびsmtp-02.domain.ru

OS：FreeBSD、

ソフトウェア：Exim、Postgresql



PROXY ：IMAP、POP3、SMTPサービスへのユーザーアクセス用のプロキシサーバー。

仮想サーバー。 クラスター内で唯一の重複したリンクは、その単純さの観点から、スナップショットから数分以内に上昇します。

DNS：mail.domain.ru

OS：FreeBSD、

ソフトウェア：Nginx



ストレージ。

DovecotがMDAとして選択されたのは、すぐにクラスタ化できるためです。 メールを保存するために、Maildir形式が選択されました。 すぐに重複排除が必要になりましたが、それについては以下で詳しく説明します。

Datastorsは、smtpサーバーとPROXYからのメールのみを受け入れます。 彼らは、SMTPサーバーをバイパスして、自分自身にメールを送信します。 それらを完全に非表示にし、SMTPノードを介して送信メールを送信できます。

ファイルシステム内のメールボックスへのパス/ usr / mail /ドメインレベル2 /ドメインレベル3 /ボックス/

認証では、完全なmail@ldomain.mdomain.ruメールボックスがログインとして使用されます



DB：

テーブルの説明：

メールボックスを保存するためのメールテーブル

• id
• メールボックス - メールボックスの名前
• パスワード -MD5のパスワード
• ldomain_id -ldomainテーブルの第3レベルドメインのID
• mdomain_id -mdomainテーブルの第2レベルドメインのID
• active-メールボックスのステータス。 オン/オフ

第3レベルドメインを記述するためのldomainテーブル

• id
• ドメイン - ドメイン名
• active-ドメインステータス。 オン/オフ

mdomain第2レベルのドメインの説明の表

• id
• ドメイン - ドメイン名
• active-ドメインステータス。 オン/オフ

マップルーティングテーブル

• id
• ldomain_id -ldomainテーブルからの第3レベルドメインのID
• mdomain_id -mdomainテーブルの第2レベルドメインのID
• storage1-メインストア
• storage2-バックアップストレージ（まだ使用されていません）

上で書いたように、2つのストレージに負荷（メールドメイン）を分散し、 マップテーブルで、3番目のレベルのドメインがどのストレージにあるかを判断します。

mail=# select * from maps limit 3; id | ldomain_id | mdomain_id | storage1 | storage2 ----+------------+------------+--------------------+--------------- 56 | 56 | 2 | storage-01.domain.ru | storage-02.domain.ru 57 | 57 | 2 | storage-02.domain.ru | storage-01.domain.ru 58 | 58 | 2 | storage-01.domain.ru | storage-02.domain.ru (3 )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この表に基づいて、Exm Storagesおよびsmtpノードがレターの送信先を決定します。 Nginx、ユーザーを接続する倉庫。



データベースとテーブルの作成：

  psql -Upgsql template1 ctreate database mail; \q
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 CREATE TABLE mail ( "id" BIGSERIAL PRIMARY KEY, "mailbox" CHARACTER VARYING(32) not null, "password" CHARACTER VARYING(128), "ldomain_id" int NOT NULL, "mdomain_id" int NOT NULL, active BOOLEAN DEFAULT TRUE NOT NULL, CONSTRAINT "mail_ldomain_id_check" CHECK (("ldomain_id" > 0)) ); CREATE TABLE "ldomain" ( "id" BIGSERIAL PRIMARY KEY, "domain" CHARACTER VARYING(32) NOT NULL, "active" BOOLEAN DEFAULT TRUE NOT NULL, CONSTRAINT ldomain_k UNIQUE (domain) ); CREATE TABLE "mdomain" ( "id" BIGSERIAL PRIMARY KEY, "domain" CHARACTER VARYING(32) NOT NULL, "active" BOOLEAN DEFAULT TRUE NOT NULL, CONSTRAINT mdomain_k UNIQUE (domain) ); CREATE TABLE "maps" ( "id" SERIAL PRIMARY KEY, "ldomain_id" int NOT NULL, "mdomain_id" int NOT NULL, "storage1" CHARACTER VARYING(32) NOT NULL, "storage2" CHARACTER VARYING(32) NOT NULL, CONSTRAINT maps_ldomain_k UNIQUE (ldomain_id) );
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ドコット

DovecotはMDAとして機能します。 Dovecotの基本設定はこの記事の範囲外であり、DovecotをDBおよびMTAとリンクするために重要なポイントのみに焦点を当てます。

 /usr/local/etc/dovecot/dovecot.conf protocols = imap pop3 lmtp #    Exim   LMTP
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 /usr/local/etc/dovecot/dovecot-sql.conf.ext driver = pgsql connect = host=localhost dbname=mail user=mail password=password default_pass_scheme = MD5 iterate_query = \ SELECT mail.mailbox || '@' || ldomain.domain || '.' || mdomain.domain AS user \ FROM mail \ INNER JOIN mdomain ON ( mail.mdomain_id = mdomain.id ) \ INNER JOIN ldomain ON ( mail.ldomain_id = ldomain.id ) password_query = \ SELECT mail.mailbox || '@' || ldomain.domain || '.' || mdomain.domain AS mail, mail.password \ FROM mail \ INNER JOIN mdomain ON ( mail.mdomain_id = mdomain.id ) \ INNER JOIN ldomain ON ( mail.ldomain_id = ldomain.id ) \ WHERE mailbox = '%n' AND \ ldomain.domain || '.' || mdomain.domain = '%d' AND \ mail.active = true AND \ ldomain.active = 'true' user_query = \ SELECT '/usr/mail/' || ldomain.domain || '.' || mdomain.domain || '/' || mail.mailbox AS home \ FROM mail \ INNER JOIN ldomain ON ( mail.ldomain_id = ldomain.id ) \ INNER JOIN mdomain ON ( mail.mdomain_id = mdomain.id ) \ WHERE mail.mailbox = '%n' AND \ ldomain.domain || '.' || mdomain.domain = '%d'
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 /usr/local/etc/dovecot/conf.d/10-auth.conf auth_username_format = %Lu #    mail@ldomain.mdomain.ru !include auth-sql.conf.ext
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 /usr/local/etc/dovecot/conf.d/10-mail.conf mail_location = maildir:/usr/mail/%d/%n/Maildir #      /usr/mail/ 2- / 3- //
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ストレージ同期

最初は、Dovecot（dsync）自体を使用して同期を設定しましたが、操作中に非常に不快な問題が発生しました。 判明したように、問題はMaildirストレージタイプに関連していた。 Dsyncがクラッシュし始め、空きディスク領域を使い果たして文字のコピーを作成しました。 その頃には、すべてのメールボックスをdbox（Dovecot独自の形式）に転送できなくなっていたため、dsyncを介して同期を中止する必要がありました。 全体として、このメカニズムに対する他の主張はありませんでした。

単純なスクリプトを使用してrsyncを実行する必要がありました。rsyncは、実行するサーバーがサービスを提供するドメインをデータベースから取得し、ディレクトリを2番目のサーバーに同期します。 したがって、2番目のサーバーでは、同じスクリプトが最初のディレクトリを駆動します。 もちろん、rsyncはスケジュールどおりに実行されるため、このメカニズムの信頼性は低くなります。開始間にウィンドウがあり、サーバーがクラッシュするとレターを失うことになります。



スクリプトは2つのパラメーター-local_server_name remote_server_nameで起動されます

 #mailrsync.pl storage-01.domain.ru storage-02.domain.ru
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

同期スクリプト：

 #!/usr/local/bin/perl use DBI; use threads; use Net::Nslookup; use Sys::Hostname; @host = split('\.',hostname); $dbn="mail"; $dbuser="mail"; $dbpass = "password" $curdata=`date +%Y-%m`; chop $curdata; $conn=DBI->connect("DBI:Pg:dbname=$dbn;host=localhost","$dbuser","$dbpass") or die "Cannot connect"; ($localhostname,$remotehost)=@ARGV; $mail_dir = "/usr/mail/"; sub domains { $q = "SELECT ldomain.domain,mdomain.domain,maps.storage1 FROM mail INNER JOIN ldomain on (mail.ldomain_id = ldomain.id) INNER JOIN mdomain on (mail.mdomain_id = mdomain.id) INNER JOIN maps on (maps.ldomain_id=ldomain.id) WHERE maps.storage1='".$localhostname."' AND mail.mailbox ='dir'"; $domain = $conn->prepare($q) or die "Can't prepare statement: $DBI::errstr"; $domain->execute(); while ( my @domain = $domain->fetchrow_array ) { @domains=(@domains,$domain[0].".".$domain[1]); } print "count of domains: ".($#domains + 1)."\n"; $dt = 2; #      $count = ($#domains / $dt ); print "count: ".$count."\n"; $i1 = 0; for ($i2 = 0; $i2< $count; $i2++){ if ($dt > $#domains ){$dt = $#domains ;} print $dt."\n"; print "loop: ".$i2."\n"; foreach $item (@domains[$i1..$m]){ print "in \@domains: ".$mail_dir.$item."\n"; @stack = (@stack,$mail_dir.$item."/"); } push @threads,threads->create(\&sync,\@stack); $i1 = $dt+1; $dt = $dt + 2; @stack=(); } } sub sync { print "sync\n"; foreach $target (@stack){ system(`/usr/local/bin/rsync -H --delete-during -azz -e "/usr/bin/ssh -i /root/.ssh/dovecot_dsa" $target vmail\@$remotehost:$target`); print $target."\n"; } } domains(); foreach $thread (@threads) { $thread->join(); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Dovecotでこれについては、それだけです。



Exim

Eximがドメインを「認識」できるように、マップテーブルのエントリに基づいてローカルドメインを定義します。

 domainlist LOCAL_DOMAINS = \ ${lookup pgsql{\ SELECT ldomain.domain || '.' || mdomain.domain AS domainname \ FROM ldomain, mdomain,maps \ WHERE ldomain.domain || '.' || mdomain.domain = LOWER('${quote_pgsql:$domain}') \ AND ldomain.active = 'true' \ AND maps.storage1 = 'storage-01.domain.ru' \ AND maps.ldomain_id = ldomain.id}}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

hostlist relay_from_hostsでsmtpノードとプロキシのアドレスを指定し、それらからのメールを許可なしで受け入れます（クライアントはプロキシにログインします）。

  relay_from_hosts = localhost : smtp01.domain.ru : smtp02.domain.ru : mail.domain.ru
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

LMPT Dovecot経由で受信メールを送信します。 そうでなければ、すべてが標準です。 メールボックスとパスワードを検索するデータベースクエリは、Dovecot-aのリストと同じです。



SMTPノード

データベースはストレージと同じですが、パスワードフィールドがメールテーブルにない点が異なります。 ユーザーはこれらのサーバーに接続しません。 smtpノードは、世界からのトラフィックのみを処理します。 ボックスが存在するかどうかのチェックに基づいて、既存のボックスの文字のみをスキップします。



Exim

ルートを決定するためのリクエストを除く標準構成

 ROUTE_LIST = "${lookup pgsql{\ SELECT COALESCE(storage1,'') || ' : ' || COALESCE(storage2,'') \ FROM (\ SELECT storage1,storage2 \ FROM maps \ INNER JOIN ldomain ON ( maps.ldomain_id = ldomain.id ) \ INNER JOIN mdomain ON ( maps.mdomain_id = mdomain.id ) \ WHERE ldomain.domain || '.' || mdomain.domain = '${quote_pgsql:$domain}' \ UNION ALL \ SELECT storage1,storage2 \ FROM co_maps \ INNER JOIN co_domain ON ( co_maps.domain_id = co_domain.id ) \ WHERE co_domain.domain = '${quote_pgsql:$domain}') AS foo}}"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

SQLクエリは受信者のストアの名前を取得し、ルーターのroute_listディレクティブでストアのアドレスが示されます。 したがって、レターは、このメールボックスのアクティブドメインが存在するストレージに送信されます。

 begin routers DATASTORE: driver = manualroute domains = DOMAINS transport = remote_smtp condition = MAILS route_list = * ROUTE_LIST no_more
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

メールボックスとパスワードを検索するデータベースクエリは、Dovecotのリストと同じです。



プロキシ

同じDovecotがプロキシとして機能できますが、私はNginxを選択しました。この点に関しては、よりシンプルで理解しやすいように見えました。 ユーザーをどこに送信するかをnginxに示す1つのタスクがありました。



PROXYのnginx.conf

 cat /usr/local/etc/nginx/nginx.conf worker_processes 1; worker_rlimit_nofile 8192; pid /var/run/nginx.pid; error_log /var/log/nginx-error.log debug; error_log /var/log/nginx-error.log notice; error_log /var/log/nginx-error.log info; events { worker_connections 8192; multi_accept on; use kqueue; } mail { ssl_certificate /usr/local/etc/ssl/proxy.crt; ssl_certificate_key /usr/local/etc/ssl/proxy.key; ssl_session_timeout 5m; xclient off; auth_http storage-01.domain.ru:8185/auth; pop3_capabilities "LAST" "TOP" "USER" "PIPELINING" "UIDL" "RESP-CODES" "EXPIRE" "IMPLEMENTATION"; imap_capabilities "IMAP4" "IMAP4rev1" "UIDPLUS" "IDLE" "LITERAL+" "QUOTA" "LIST-EXTENDED"; smtp_capabilities "SIZE 52428800" "8BITMIME" "PIPELINING" "STARTTLS" "HELP"; server { smtp_auth login plain; listen 25; protocol smtp; proxy on; starttls on; } server { smtp_auth login plain; listen 587; protocol smtp; proxy on; starttls on; } server { listen 110; protocol pop3; proxy on; starttls on; } server { listen 995; protocol pop3; proxy on; starttls on; } server { listen 143; protocol imap; proxy on; starttls on; } server { listen 993; protocol imap; proxy on; starttls on; } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ディレクティブauth_http storage-01.domain.ru:8185/auth;



注意してauth_http storage-01.domain.ru:8185/auth;





Nginx はスタックでも動作します （両方で！）が、Webサーバーモードでは、1つの目的のために-要求storage-01.domain.ru:8185/authを処理します

このリクエストは、クライアントの認証が成功した場合、認証ステータス、ガード名、サービスポートを返します

 "Auth-Status", "OK"; "Auth-Server", "storage-01.domain.ru"; "Auth-Port", "143";
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

その後、PROXYのnginxは、応答で返されたストアにクライアントを送信します。

もちろん、100分の1でnginxを除外することもできますが、そのためには、PROXYのユーザーとのベースを維持する必要があります。 一般的に、オプションがあります。



以下は100のNginx設定で、上記を実装するためのperlモジュールがあります。

 worker_processes 4; worker_rlimit_nofile 8192; error_log /var/log/nginx-error.log info; events { worker_connections 8192; multi_accept on; } http { perl_modules perl/lib; perl_require mailauth.pm; perl_require Digest.pm; access_log off; server { listen 8185; ssl_certificate /usr/local/etc/ssl/storage-01.crt; ssl_certificate_key /usr/local/etc/ssl/storage-01.key; ssl_session_timeout 5m; location /auth { perl mailauth::handler; proxy_set_header X-Real-IP $remote_addr; } } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

モジュールmailauth.pm

 package mailauth; use nginx; use DBI; use Net::Nslookup; use Digest::MD5 qw(md5_hex); $pg_user = "mail"; $pg_pass = "password"; $passhost = "localhost"; $mapshost = "localhost"; our $auth_ok; $protocol_ports->{'pop3'}=110; $protocol_ports->{'imap'}=143; $protocol_ports->{'smtp'}=25; $protocol_ports->{'smtpssl'}=465; sub handler { $r = shift; $Passdbh=DBI->connect("DBI:Pg:dbname=mail;host=$passhost","$pg_user","$pg_pass"); if (!$Passdbh) { $r->header_out("Auth-Status", "OK") ; $r->header_out("Auth-Server", '0.0.0.0'); $r->header_out("Auth-Port", $protocol_ports->{$r->header_in("Auth-Protocol")}); $r->send_http_header("text/html"); return OK; exit; }; $Mapsdbh=DBI->connect("DBI:Pg:dbname=mail;host=$mapshost","$pg_user","$pg_pass"); $auth_ok=0; $mailbox = $r->header_in("Auth-User"); our $get_pass_from_db=$Passdbh->prepare("SELECT password FROM mail INNER JOIN ldomain ON ( mail.ldomain_id = ldomain.id ) INNER JOIN mdomain ON ( mail.mdomain_id = mdomain.id ) WHERE mail.mailbox || '\@' || ldomain.domain || '.' || mdomain.domain = ? "); $get_pass_from_db->execute($mailbox); @row=$get_pass_from_db->fetchrow_array(); $passfromDB=@row[0]; $md5passFromConnect = md5_hex($r->header_in("Auth-Pass")); if ( $passfromDB eq $md5passFromConnect ){ $auth_ok=1; } if ($auth_ok==1){ @domain = split('\@',$mailbox); $get_server_from_maps = $Mapsdbh->prepare( "SELECT storage1 FROM maps INNER JOIN ldomain ON ( maps.ldomain_id = ldomain.id ) \ INNER JOIN mdomain ON ( maps.mdomain_id = mdomain.id ) \ WHERE ldomain.domain || '.' || mdomain.domain = ? " ); $get_server_from_maps->execute(@domain[1]); @row=$get_server_from_maps->fetchrow_array(); $server_from_maps = nslookup(host => $row[0], type => "A"); $r->header_out("Auth-Status", "OK") ; $r->header_out("Auth-Server", $server_from_maps); $r->header_out("Auth-Port", $protocol_ports->{$r->header_in("Auth-Protocol")}); } else { $r->header_out("mail:", $r->header_in("Auth-User")); $r->header_out("Auth-Status", "Invalid login or password") ; } $r->send_http_header("text/html"); return OK; } sub db_fail { $r->header_out("Auth-Status", "OK") ; $r->header_out("Auth-Server", '127.0.0.1'); $r->send_http_header("text/html"); } 1; __END__
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

バランス調整、およびバックアップノードへの切り替え

これで、バックアップノードへの切り替えは手動モードになりました。 それは、mapsテーブルでstorage1フィールドの値が変わるだけです。 T.K. すべてのサーバーは、これまでの監視でハングアップし、十分でした。



結論

クラスターは3年間稼働しています。 この間に、ノードの1つが何度か落下しました（その結果、このノードは別のDCに移動しました）。



このデザインは、複雑で「自転車」のように見えるかもしれません。 しかし、このソリューションのアーキテクチャは、安価で信頼性の低いハードウェアを使用するという決定から始まったことを強調したいと思います。 その結果、最小限のサーバーレンタルコストで信頼性の高いサービスを提供しています。



おそらく、メモは十分に明確ではなく、重要な詳細は表示しませんでした。 コメントで、もしあれば、私はそれを補足します。



PS。 この記事は長いものであることが判明したので、興味がある場合は、次の記事ではここで取り上げていない重複排除とこのクラスターの別の管理サービスについて説明します。



ご清聴ありがとうございました！