Goの知識-私たちは、マルチスレッドと婦でWebページのグラバーを作成します

おそらく誰もがGoogleチームからGo言語について聞いたでしょう。 しかし、誰もがそれを試したわけではなく、Go Gophersと話すことは、私自身の経験から最近見たように、喜びの海です。

人生の例で新しい言語に精通するのが最も楽しいので、ためらうことなく、私は「人生から、最も優先度の高い」に出会った最初のタスクを取りました。



インターネットhttp://vpustotu.ruには 、誰でも苦痛について匿名で話すことができるサイトがあります。 すべてのステートメント（将来的には「引用」と呼びます）はまずモデレーション（バショルグの「深”」に類似）に分類されます。 モデレートページ（ http://vpustotu.ru/moderation/ ）には、ランダムな引用、投票リンク、および同じページにつながる「その他」リンクが表示されます。 クリック、それはすべて非常に簡単です。



そして、タスクが発生しました -緊急に、暗闇の中で、さらなる秘密の研究のために節度に関するすべての引用の完全なダンプをアップロードする必要がありました。 タスクの世俗的な価値や白痴の程度は評価しませんが、技術的な観点から検討します。



モデレートセクションには特定の見積もりへの直接リンクはありません。新しい見積もりを取得する唯一の方法は、ページを更新することです（または、「詳細」リンクをクリックします）。 さらに、繰り返しはかなり可能です。これは、数分間の積極的なクリックの後、簡単に検出されます。



したがって、次のプログラムが必要です。

• 一貫してページを更新および解析（解析）し、引用を書き留めます。
• 重複を破棄できる必要があります。

すべての引用符が読み込まれているかどうかわからないのは論理的ですが、これは、連続して繰り返し受信される多数の引用符によって間接的に推測できます。 したがって、以下を補足します。

• コマンドで停止するだけでなく、一定数の「繰り返し」、たとえば500に達すると停止します。
• これには時間がかかる可能性が高いため、終了後に「中断したところから」続行できる必要があります。
• まあ、それはまだ長いので、いくつかのストリームで汚い仕事をさせてください。 まあ、それは4スレッド（または5スレッド）にもなります。
• そして、成功したことを、たとえば10秒ごとにコンソールに報告します。
• そして、コマンドライン引数からこれらすべてのパラメーターを受け入れさせます！

まあ、すべてが明らかなようです。 プログラムが2つのファイルを保持するようにします-引用符とこれらの引用符のハッシュを使用して、繰り返さないようにし、各実行の開始時にファイルを再読み込みします。 それでは、額でctrl-cを受け取るか、一定の繰り返し回数に満たなくなるまで、サイクルで彼はページを解析し、ますます多くの啓示を引き出します。 タスクは明確で、計画があります-行こう！



お気に入りのエディターを開き、新しいプロジェクトを作成します。 最初は、空のプログラムのコードは次のようになります。

package main import ( "fmt" ) func main() { fmt.Println("Hello World!") }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

私たちはプログラムの順番でリストを調べ始めます：



「ストリーム」の数、ファイル名など、いくつかのパラメーターがあります。 組み込みの「 flag 」パッケージは、コマンドラインからこのすべての美しさを引き出すのに役立ちます。 インポートリストに追加し、同時にパラメーター変数を宣言します。

 import ( "flag" "fmt" ) var ( WORKERS int = 2 //- "" REPORT_PERIOD int = 10 //  () DUP_TO_STOP int = 500 //    HASH_FILE string = "hash.bin" //   QUOTES_FILE string = "quotes.txt" //   )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Goの変数の型はその名前の後に記述されますが、これは少し珍しい場合があります。 また、すべてが便利で一箇所に収まるように、デフォルト値もすぐに初期化します。



引数の解析などは通常init（）関数で行われます。

 func init() { //  : flag.IntVar(&WORKERS, "w", WORKERS, " ") flag.IntVar(&REPORT_PERIOD, "r", REPORT_PERIOD, "  ()") flag.IntVar(&DUP_TO_STOP, "d", DUP_TO_STOP, "-   ") flag.StringVar(&HASH_FILE, "hf", HASH_FILE, " ") flag.StringVar(&QUOTES_FILE, "qf", QUOTES_FILE, " ") //    flag.Parse() }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

UPD： コメントで Forked Habraiserは、initでflag.Parse（）関数を呼び出すのが悪い習慣である理由を一般的に説明しました。 彼に感謝します-これからmain（）でそれを行うことをお勧めしますが、この例は「fu do this！」という教訓としてここに残ります。



フラグパッケージの関数IntVar （数値用）およびStringVar （文字列用）を使用します-コマンドライン引数から指定されたキーを読み取り、変数に渡します。 キーが指定されていない場合、デフォルト値が使用されます。 関数の構文は同じです：

 flag.StringVar( &_,  . ,    ,  )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

関数が必要に応じて変更できるように、変数（＆記号）にポインターを渡すことに注意してください。 パラメータ「キーの説明」も興味深いです。実際には、フラグパッケージは「-h」キーでアクセス可能な引数の凡例を自動的に作成します。 今すぐプログラムを起動して、これを見ることができます：

 C:\Go\src\habratest>habratest.exe -h Usage of habratest.exe: -d=500: -    -hf="hash.bin":   -qf="quotes.txt":   -r=10:   () -w=2:  
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

さらに、計画によると、プログラムの起動時にハッシュがロードされますが、後でロードするものがあるときにこれに戻ることをお勧めします。 今のところ、すべての起動が最初であることを想像してください。



次に、プログラム自体について考えてみましょう。ページを読み取り、それを分解し、結果を記録し、進行状況を分析する必要があります。 はい、そしていくつかの「スレッド」で（すぐに判断します-スレッドではなくスレッドと呼びます。まあ、念のため）。 ハ！



Goのマルチタスクはgoroutinesによって実装されます。つまり、その前にある「go」キーワードを置換することにより、「バックグラウンド」で任意の関数を実行できます。それは開始し、プログラムはすぐに続行します。すぐに別のことができます：

 //   ... func GadgetUmbrella() { //...   ... } //...       ,   : go GadgetUmbrella() fmt.Println(" !") //          ,      GadgetUmbrella()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

一般に、ゴルチンは純粋なストリームではなく、すべてがより興味深いものですが、そのようなことは明らかに私たちの割り当ての範囲を超えています。



無限ループでページを読み込んで解析し、完成した引用を与える関数を別の「ストリーム」に入れることを提案します。それを「グラバー」と呼びましょう。 いくつかのコピーでバックグラウンドで自分自身を回転させてください。メインプログラムから私たちはこれらの引用をサイクルでキャッチし、それらを使用して必要なことを行い、特定の状況の場合には作業をオフにします。 特に、すでにマルチスレッドプログラミングの経験があり、共有と同期の多くのニュアンスについて恐怖で悲鳴を上げる準備ができている人にとっては、疑わしいほど簡単に聞こえます。



しかし実際には、Goのもう1つの優れた機能はチャンネルであるため、すべてが本当にシンプルです。 簡単に言えば、チャネルは、一方の側で値がスローされ、もう一方の側でキャッチされるパイプとして簡単に想像できます。 チャンネルは典型的なものであり、初期化が必要です-簡単に次のように操作します：

 func send( c chan int) {  <- 15 //     } func main() { ch := make(chan int) //      (int) go send(ch) b:= <-ch //    fmt.Println(b) }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

私はgo（ch）を書いただけでなく、（sh）を書いたことに注意してください。 実際には、デフォルトでは、チャネルからのデータの送信と受信は、もう一方の端がデータを処理する準備ができるまで、それらを引き起こしたサブルーチンをブロックします。 これは非常に優れた同期ツールです。

「 go 」を削除すると、 send（）がメインスレッドで実行され、ブロックされます。これは、誰かが15番をピックアップする準備ができるまで待機するためです。次の行でピックアップしますが、制御を移しました。 デッドロック、誰もが悲しい。

ただし、「 go send（） 」の場合、 send（）はブロックされますが、ストリーム内で、別の読み取りを行うまで待機するため、すべてがスムーズに実行されます -これはすぐに行われ、データ交換が行われます成功しました。

また、 send（）関数でチャネルへの書き込みを削除すると、 b：= <-c行のメイン関数は、受信するものがないため、逆に無効になります。

チャンネルはそれぞれファーストクラスのオブジェクトであり、便利なように作成、転送、返却、割り当てが可能です。



データは「グラバー」として送信され、メインサイクルで受信されます。



ページコード内の引用は、単にクラス「fi_text」を持つdivにあります。 「グラバー」で取得するには、 goqueryパッケージを使用します。これにより、htmlページを解析し、jQueryのセレクターを使用してそのコンテンツにアクセスできます。 このパッケージは標準パッケージには含まれていないため、最初にインストールする必要があります。

 #  : go get github.com/opesun/goquery
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

また、コードのインポートセクションに、パッケージ「github.com/opesun/goquery」、「strings」、「time」を追加します。遅延のために後者が必要です。リクエストでサーバーを常にプルするわけではありません（そう、しかし、あなたは私を理解しています）：

 import ( "flag" "fmt" "github.com/opesun/goquery" "strings" "time" )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ポイントに近づいて、「グラバー」コードを記述します。

 func grab() <-chan string { //  ,        string c := make(chan string) for i := 0; i < WORKERS; i++ { //       - worker'o go func() { for { //     x, err := goquery.ParseUrl("http://vpustotu.ru/moderation/") if err == nil { if s := strings.TrimSpace(x.Find(".fi_text").Text()); s != "" { c <- s //     } } time.Sleep(100 * time.Millisecond) } }() } fmt.Println(" : ", WORKERS) return c }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コードは非常にシンプルで、コメントはほとんど必要ありません。

クロージャーを使用して、 grab（）によって返されるチャネルにデータを常に送信する匿名関数を実行する必要な数のgourutinを作成します。 このようなパターンはジェネレーターと呼ばれます。

何らかの理由で、 x.Find（ "。Fi_text"）。Text（）は、先頭と末尾にスペースがある目的の要素のコンテンツを返したので、ためらうことなく、標準の文字列モジュールのTrimSpace関数でクリアします。



ジェネレーターの準備ができたので、main（）関数を変更することで、ジェネレーターが機能することを確認できます。

 func main() { quote_chan := grab() for i := 0; i < 5; i++ { // 5    fmt.Println(<-quote_chan, "\n") } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

計画通りにすべてが進んでいることがわかります。啓示が私たちのチャンネルに広範に流れ込んでいます！





次に、計画に従って値を収集するメインサイクルについて考えてみましょう。 要件と要望に応じて、次のサイクルが必要です。

• 引用を収集します。
• ハッシュ引用符と既存の引用符を比較して、一意性を確認します
• 新しい引用の場合に引用とハッシュをファイルに保存します
• 行の繰り返し数を監視します
• REPORT_PERIOD秒ごとに報告する
• ループは無限であるため、ctrl-cをキャッチして、ユーザーのコマンドで正しく終了します。

コレクションに関する問題はもうありません。ハッシュを決定します。

簡単にするために、引用からmd5を取得することをお勧めします。 ハッシュをマップ （キーと値のストレージの組み込み構造）に保存するので、すばやく簡単に検索できます。 一意性をチェックし、統計と繰り返しをカウントします-これは技術の問題です。 Goでファイルを操作することは他の言語と変わらないため、問題もありません。



時間レポートは、標準の「 時間 」パッケージのティッカーを使用して実装できます。 これは、指定された期間後にトリガーされ、特定の値をチャネルに送信する最も単純なタイマーです。データを受信すると、チャネルを監視して統計を表示するだけです。



そして、「 os / signal 」パッケージを使用してコマンドを完了させるためにキャッチします。これにより、イベント通知をチャネルに送信する特定のシグナルに通知機能を掛けることができます。



計画は準備が整っていますが、1つの警告があります：データを受信する3つの異なるチャネルを取得しますが、以前は読み取りを待機している間、ストリームがブロックされるため、一度に最大1つのチャネルの情報を待機できると言われていました。

しかし、goはCPU時間を無駄に消費するわけではありません。もう1つの優れたツールはselectコンストラクトです。

Selectを使用すると、無制限の数のチャネルからのデータを期待でき、処理中に次のデータが到着した場合にのみ実行をブロックします。 必要なもの！



コードに取り掛かりましょう！ まず、必要なパッケージをインポートセクションに追加します。これで、次のようになります。

 import ( "flag" "fmt" "github.com/opesun/goquery" "strings" "time" //,        : "io" "os" "os/signal" //   -   : "crypto/md5" "encoding/hex" )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

はい、たくさんあります... Goの静的リンクを考えると、実行可能ファイルのサイズはすばらしいはずです！

しかし、これは悲しい時ではありません。ハッシュ用のストレージを宣言します：

 var ( ... used map[string]bool = make(map[string]bool) //map        ,    -  . )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして最後に、メイン関数は次のようになります。

 func main() { //   ... quotes_file, err := os.OpenFile(QUOTES_FILE, os.O_APPEND|os.O_CREATE, 0666) check(err) defer quotes_file.Close() //...    hash_file, err := os.OpenFile(HASH_FILE, os.O_APPEND|os.O_CREATE, 0666) check(err) defer hash_file.Close() // Ticker          ticker := time.NewTicker(time.Duration(REPORT_PERIOD) * time.Second) defer ticker.Stop() // ,     ,     ... key_chan := make(chan os.Signal, 1) signal.Notify(key_chan, os.Interrupt) //...       hasher := md5.New() //    quotes_count, dup_count := 0, 0 // , ! quotes_chan := grab() for { select { case quote := <-quotes_chan: // ""  : quotes_count++ // ,     : hasher.Reset() io.WriteString(hasher, quote) hash := hasher.Sum(nil) hash_string := hex.EncodeToString(hash) //    if !used[hash_string] { //   -    ,        used[hash_string] = true hash_file.Write(hash) quotes_file.WriteString(quote + "\n\n\n") dup_count = 0 } else { //  -   ,    ? if dup_count++; dup_count == DUP_TO_STOP { fmt.Println("  ,  .  : ", len(used)) return } } case <-key_chan: //     : fmt.Println("CTRL-C:  .  : ", len(used)) return case <-ticker.C: //, ,        fmt.Printf(" %d /  %d (%d /) \n", len(used), dup_count, quotes_count/REPORT_PERIOD) quotes_count = 0 } } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コードは完全に透過的であり、ファイルを開くことのみを説明します。

check（）関数は標準ではありません-これは、ファイルを開いてエラーの結果を確認するために便利です。 ここにコードがあり、 main（）の前のどこかに置きます：

 func check(e error) { if e != nil { panic(e) } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

もう1つの興味深い点は、「すぐに」ファイルを閉じるようにすることですが、その後は作業を続けます。

 defer quotes_file.Close() ... defer hash_file.Close() ... //      : defer ticker.Stop()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

一番下の行は、関数をdeferで開始することにより、その実行を延期することです。つまり、関数はdefer呼び出しが完了した関数の前（つまり、「親」が戻る直前）にのみ実行されます。



「ひどく必要なミッション」の実現をすでに開始して楽しむことができますが、もう1つ小さな詳細があります。プログラムを再度実行したいが、結果のファイルに重複が見られないように、ファイルからハッシュを読み取る関数を記述する必要があります。 これを行う1つの方法を次に示します。

 func readHashes() { //    if _, err := os.Stat(HASH_FILE); err != nil { if os.IsNotExist(err) { fmt.Println("   ,   .") return } } fmt.Println(" ...") hash_file, err := os.OpenFile(HASH_FILE, os.O_RDONLY, 0666) check(err) defer hash_file.Close() //    16  -    : data := make([]byte, 16) for { n, err := hash_file.Read(data) //n    ,  err - ,   . if err != nil { if err == io.EOF { break } panic(err) } if n == 16 { used[hex.EncodeToString(data)] = true } } fmt.Println(".  : ", len(used)) }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

それだけです。main（）の先頭にreadHashes（）呼び出しを配置することを忘れないでください

 func main() { readHashes() ...
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

できた！ 戦闘開始：





仕事の結果：





ファイルの作成も機能し、再起動時にハッシュを再読み込みします。 彼女は命令に立ち止まり、彼女自身もできる。 もちろん、実行可能ファイルは少し大きいですが、それに合わせてください。

夜間に非常に重要なデータのナンセンスをアンロードするためのプログラムは準備が整っており、それから必要なことを実行します。

もちろん、数多くの改善点がありますが、このコードは単純な戦闘ミッションには十分です！



Pastbin.comのプログラムコード全体



Goとその機能に興味がある場合は、次のサイトをご覧ください。



tour.golang.org-言語のオンラインツアー。ブラウザでコードを直接編集することは非常にエキサイティングです。



gobyexample.com-典型的なタスクの例



golang.org/ref/spec-言語仕様



golang.org/doc/effective_go.html- 「そして今、私たちはこのゴミすべてで離陸しようとします」というトピックに関する記事-正しくGoを離陸して飛ぶ方法



Google Goグループ-「 https://groups.google.com/forum/#!forum/golang-nuts 」および「 https://groups.google.com/forum/#!forum/golang-ru 」



godoc.org -Goパッケージとそのドキュメント（組み込みとサードパーティの両方）を検索することは、アンチバイクの素晴らしいことです！



頑張って