ワードハント

「ウィキペディアの頻度辞書とPythonインタープリターを使用して自分自身を楽しませる方法が他に何も手元になく、近い将来にない場合」の一連の記事を続けます。

私のウィキペディアパーサーが機能したとき、私はその素晴らしい夜を再現しようとします。 2年前のシェルとのセッションは、残念ながら存続しなかったので、もう一度やり直します。



だから。 wiki_freq.txtファイルをいくつかのフォルダーに配置し、このフォルダーでPythonシェルを開きます。 行こう

始めるには、辞書をロードします：

>>> import codecs >>> d={} >>> for l in codecs.open("wiki_freq.txt","r","utf-8-sig"): w,f=l.split() d[w]=int(f)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、例えば、最も長い単語を取得するために、非常に単純なものを試してください。 すべての辞書の単語のリストの先頭を逆の長さでソートします（2つの単語の長さが同じ場合、それらは頻度でソートされます）。

 >>> print ', '.join(sorted(d.keys(),key=lambda w:(len(w),d[w]),reverse=True)[:100])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

「スパイウェア-日-ドイツ-トロツキスト-破壊」は確かに素晴らしいが、ハイフンは写真を大きく損なう。 なぜなら 辞書は2年前に編集されましたが、今ではこの異常な単語がフーリガンのトリックであったかどうかを確認することができます。この特定の形容詞はそうではありませんでした。



しかし、ハイフンはおそらく削除します。 辞書をsc笑しません。ハイフンなしで新しい辞書を作成します。

 >>> for l in codecs.open("wiki_freq.txt","r","utf-8-sig"): w,f=l.split() if '-' in w:continue d[w]=int(f)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

長い単語の検索を再開します。





絶対的な記録保持者は、ニュージーランドの小さな丘の名前である単語「Thaumatauacatangiangaakauauotamateaturipukakapikimaungahoronukupokanuenuakitanathu」です。 何らかの理由で、地元の人は名前をタウマットに短縮することを好みます。 ウィキペディアからの2番目の言葉は消えました-おそらくフーリガンの間違いかトリックです。 3番目の言葉-llanvairpullgvingillogogerihuirndrobullantisilogogogoを紹介したとき、ウィキペディアは尋ねました- おそらく「llanvayrpullgvingilgogerihuirndrobullantisilogogog」を意味しますか？ はい！ それは私が念頭に置いていたllanweirpullgvingillogogerihuirndrobullantisilogogogokhでした！ どうやら言葉が変わったようで、より正確な音訳が登場しました。 これはウェールズの村の名前です。 北アメリカの湖の名前であるCargoggagoggmanchauggagoggchaubunagungamauggも大好きでした。 リストのほとんどは、あらゆる種類の物質の名前、アッパーヴォルガの電力網のようなソビエトの猛烈な略語、または単に空白のある白塗りのキーのケースで構成されています。



長い回文の単語を探しましょう。 最後のクエリにフィルターを追加します。

 >>> print ', '.join(sorted([w for w in d.keys() if w==w[-1::-1]], key=lambda w:(len(w),d[w]),reverse=True)[:100])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

彼はグーグルを引用し、リンクをたどり、ホロモロフ湖と計画されている言語スニリヌスについて学びました。 また、最も長い単語パリンドロームは、フィンランドの石鹸販売業者であるサイプアカウピアスであることも知りました。 グリセリンに関する記事の著者は、キーボードレイアウトを切り替えるのが面倒で、キリル文字であるグリセリンアルデヒドの式を書きました-CH2ONE（まだ存在しているので、肉眼では違いを見ることができません）を2つをセパレーターとして使用しました。



アナグラムの単語を探しましょう。

まず、補助的なアナグラム辞書を作成し、発生しきい値を20に設定して、ガベージが切り取られるようにします（長い単語と回文では、これらの単語は非常にまれなので、できませんでした）。

 >>> from collections import defaultdict >>> anagrams = defaultdict(list) >>> for k in d: if d[k]>20: anagrams[''.join(sorted(k))].append(k)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、アナグラムの最大の10セットを探します。

 >>> for l in sorted(anagrams.values(), key=len, reverse=True)[:10]: print ', '.join(l)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

また、最大長の単語を含むアナグラムのセット：

 >>> for k in sorted([k for k in anagrams if len(anagrams[k])>1], key=len, reverse=True)[:10]: print ', '.join(anagrams[k])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

私たちはすべての文字が異なる単語を探しています。また、同じ苦しい行を変更しています。 私はそれから機能を作らなかったことをすでに後悔し始めています：

 >>> print ', '.join(sorted([k for k in d if len(set(k))==len(k)],key=lambda w:(len(w),d[w]),reverse=True)[:100])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

関数を作成し、便利になり、反対のクエリ（各文字が少なくとも2回出現する単語）を入力します。

 >>> def output(lst): print ', '.join(sorted(lst,key=lambda w:(len(w),d[w]),reverse=True)[:100]) >>> output([k for k in d if min(Counter(k).values())>=2])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ここでは、主にゴミがありますが、美しいものもあります-数百万、知能のない、不適切な、特別なプロセッサー、反宗派、部品装置など



正確に2回：

 >>> output([k for k in d if set(Counter(k).values())==set([2])])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

風力タービン、Voskanyanovskaya、偽りの告白...



さらに別の海があり、時が経ちます... habrの住民がこの記事を気に入ったら、第2部を書きます。辞書に対する興味深いクエリのアイデアがある場合は、コメントまたはプライベートメッセージに書き込み、それらをコードに変換して結果を公開します。



PS周波数辞書はまだここにあります-yadi.sk/d/cRHJvinF7Vt8w