Pythonで引用符を収集し、ビデオからテキストを認識するためのスクリプト

YouTubeから動画をダウンロードし、その中のテキストを認識するスクリプトに関する投稿。 私はすぐに実用的な実装から始めることにしました。 「Vdudictionary」-Pythonのヒーロー「Vdud」の引用符のコレクションのコレクター用のスクリプト。 ユーリ・ダッドと彼のプロジェクト「Vdud」の紹介は不要です。 見るのが面白い最もホットなインタビュー。 ユーリ・アレクサンドロヴィチは、あなたが特定の問題のヒーローを知っているか、彼のファンであるか、この名前を初めて聞くかどうかに関係なく、面白​​いショーを作る方法を知っています。

何センチありますか？ プーチンに何と言いますか？ OXYを聞いていますか？

これらおよび他の多くの質問は、現在Dudemに関連付けられています。 インタビューを受けた人が知恵に満ちたフレーズを発音すると、思いやりのある編集者が私たちのモニターの画面に注意深くそれを表示し、あなたにすべてのポイントを伝えます。 私の目標は、この世代の知恵を結晶化し、辞書「Vdudexicon」または「Vdudictionary」を作成することでした。



当然のことながら、特定のITのバックグラウンドに悩まされていなくても、人はこれらのことわざを手で集める必要はありません。 このために、Pythonスクリプトをスケッチしました。







まず、処理するファイルが必要です。 Youtubeからビデオをダウンロードするには、pytubeモジュールを使用しました。

pip install pytube
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

YouTubeからファイルをダウンロードする例

 from pytube import YouTube a=YouTube('https://www.youtube.com/watch?v=RNbXm8WKmow') a.streams.first().download()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ファイルがダウンロードされました。 今、私たちは、現代の英知と現代の英雄のことわざを使って、集中した意味でフレームを系統的に決定し始めます。







古いリリースには長方形のプレートがなかったため、画面の下部でテキストを検索できます。 新しいリリースでは、同じ古いOpenCVを使用して長方形を検索できます。これにより、ビデオからフレームを取得できます。

 a,contours,h = cv2.findContours(gray3, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) for i in contours: cv2.drawContours(gray3,[i],0,(0,0,255),1)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

python3にcv2をraspberry3にインストールするには、依存関係のために多くのパッケージをインストールする必要がありました。 おそらくいくつかのパッケージは冗長です。これは私の経験不足によるもので、それがすべての始まりです。

 sudo apt-get install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev sudo apt-get -y install libopencv-dev sudo apt-get -y install build-essential checkinstall cmake pkg-config yasm sudo apt-get -y install libtiff4-dev libjpeg-dev libjasper-dev sudo apt-get -y install libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev libxine-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev sudo apt-get -y install python-dev python-numpy sudo apt-get -y install libtbb-dev sudo apt-get -y install libqt4-dev libgtk2.0-dev sudo apt-get -y install libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev pip install opencv-python
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

tesseractを配置します-これは、光学式テキスト認識に必要なOCRエンジンです。

 sudo apt-get install tesseract-ocr sudo pip3 install pytesseract sudo pip3 install tesseract
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

リリースでは非常に特殊なヘッドセットを使用しているため、認識が困難です。 一般的に、キリル文字の辞書をインストールします。 ダウンロードして/ usr / share / tesseract-ocr / tessdataに転送します。







入力のスクリプトは、youtubeのビデオのアドレスを受け取ります。 ファイルをダウンロードし、5秒で1フレームの処理を開始します。 フレームに正方形がある場合、それを切り取り、変色させ、コントラストを上げて認識します。 文字列が15文字未満の場合、考慮しないでください。 もちろん、15文字未満の行を使用できますが、プログラムのヒロインの1人が言ったように：

-少年たち、あなたが細い線でどのように生きているかわかりません。



YouTubeでログファイルのテキスト、時間、およびその瞬間へのリンクを挿入します。 5秒をスキップします（この数字が最初に思い浮かんだ理由は聞かないでください。この時間内に2つの引用符の重複は見つかりませんでした）。 ビデオファイルを削除して、次のリリースに進むことができます。



完全なスクリプトコード：







このスクリプトには、明らかに「特定の」WOODフォントの認識に関するいくつかの問題があります。 OCR用の辞書ファイルを完成させ、PyEnchantを介してテキストを後処理することで、この問題の解決策を見つけました。



少し改良を加えると、このスクリプトを使用して、埋め込まれた字幕を検索し、それらを認識して、自動的に別の言語に翻訳できます。



Yuriにこの実験について学んでもらうことができる場合は、遅滞なく学習してください。 #habr #vdudictionary VK 、 FB 。



ご清聴ありがとうございました！ このスクリプトと投稿は、私のゴルフボールピッキングロボットプロジェクトでOpenCVを研究中の空想飛行の結果として生まれました。