👸🏽 💇🏼 💄 Smart EnginesでのSailfish OS認識の教え方 🖍️ 🔡 👩🏼‍🤝‍👨🏻

みなさんこんにちは！私たちの記事ですでにご存知のように、Smart Enginesでは認識に取り組んでおり、あらゆる条件での認識に努めています。 iOS、Android、Windows、Linux、MacOS、Solarisなどの一般的なオペレーティングシステムをすべてサポートしています。国内メーカーのElbrusおよびAstraLinuxをサポートしています。当社のアルゴリズムは、ARMv7-v8、AArch64、x86、x86_64、SPARC、E2K、MIPS向けに最適化されています。

したがって、ロシアのオペレーティングシステムSailfish Mobile OS RUSの人気の高まりを見たとき、それを無視することはできませんでした。 Sailfish Mobile OS RUSは、企業ユーザーや政府機関の問題を解決するために国内企業のOpen Mobile Platformによって開発されたモバイルデバイス用のPOSIX互換オペレーティングシステムです。 2018年2月現在、ロシアのソフトウェアレジストリに含まれている唯一のモバイルオペレーティングシステムであり、AK1 / KS1クラスのFSB認定に合格しています。

この記事では、 Smart IDReader認識ライブラリ（ Hieroglyphテクノロジー）をSailfish OSに移植した経験について説明します。コード、リンク、ビデオが含まれます。この記事は技術的に有益であり、C ++アプリケーションをSailfish OSに移植する人のための一般的なガイドとして有用です。

Open Mobile Platform （OMP）の同僚であるKirill ChuvilinとAlexey Andreevが、アプリケーションの開発と、テストとデモンストレーション用の2つのINOI R7デバイスの提供に関する相談に感謝しています。

TL; DR-移植は迅速かつ簡単でした。合計で、Sailfish OS SDKがダウンロードされてから最初のビデオが撮影されてからINOI R7デバイス上のドキュメントが認識されるまで、作業に1週間もかかりませんでした（ビデオは記事の最後にあります）。

ツールキットのインストール

最初のステップは、Sailfish OS SDKをインストールすることでした。公式サイトからインストールパッケージをダウンロードできますが、さらに簡単な方法を選択し、AURからSDKをインストールしました-Arch Linuxユーザーリポジトリ（Smart Engine開発者の間で最も人気のあるLinuxディストリビューション）で、いつものように、すべてが1つのコマンドでインストールされます：

yaourt -S sailfishos-sdk-bin

開発ツールには、次の3つの主要コンポーネントが含まれます。

環境およびビルドシステム-デバイスまたはエミュレータ用のアプリケーションをビルドするためのインストール済みコンパイラおよびライブラリを含むOracle VM VirtualBoxイメージ。
SailfishOSエミュレーター、他のモバイルプラットフォーム（iOS、Androidなど）のエミュレーターに似ています
IDE-ビルドシステムとの対話をサポートし、デバイスまたはエミュレーターでプログラムを実行するために完成した、よく知られたQt Creator。

ビルド仮想マシンへの接続はSSH経由です。唯一の問題は、仮想マシンとIDEにSDKをインストールするときに、開発者のコンピューターで既に他の目的に使用されていたポート2222

がハードコードされていることです。 VirtualBoxでは、このポートはわかりやすい方法で変更されますが、IDEではGUIから変更することはできませんでした。幸いなことに、 mersdk.xml

ローカル設定ファイルで変更できます。

 <!-- ~/.config/SailfishOS-SDK/qtcreator/mersdk.xml --> <value type="QString" key="SshPort">2222</value>

この問題を解決した後、Cyrilに報告されましたが、今後ツールにその他の問題はありませんでした。

C ++認識コアを構築する

私たちの認識エンジンはC ++で書かれており、この場合、Sailfish OSに移植するための明らかな選択は、静的ライブラリの形でカーネルを構築することでした。

ライブラリを手動でビルドする方法に関する短いが有益なマニュアルは、公式ドキュメントのSailfish OSパッケージを手動でビルドするページにあります。それから、SSHを介して仮想マシンに接続し、正しいアーキテクチャで通常のビルドコマンドを呼び出すだけでよいことが明らかになりました。プロセスを段階的に説明します。

Sailfish OS Build Engine仮想マシンを起動します（十分なヘッドレスモード）
私たちはそれに接続しています：
```
 ssh -p 2222 -i /opt/SailfishOS/SDK/vmshare/ssh/private_keys/engine/mersdk mersdk@localhost
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     
```
ちなみに、外部ユーザーのホームディレクトリは、デフォルトでは/home/src1

仮想マシンで使用できます。
サポートされているプラットフォームのリストを取得します。
```
 [mersdk@SailfishSDK ~]$ sdk-assistant list Toolings: SailfishOS-2.1.3.7 Targets: SailfishOS-2.1.3.7-armv7hl #  SailfishOS-2.1.3.7-i486 # 
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     
```
サイトの例とは異なり、プラットフォーム名にはバージョン番号が含まれている場合があり、これも考慮する必要があります。さらに、デバイス（SailfishOS-2.1.3.7-armv7hl）のアセンブリが実行されますが、エミュレーターの場合もプロセス全体は同様です。

必要なアーキテクチャの場合、 sb2

（Scratchbox2）コマンドによって適切な環境が提供されるため、すべてを実行する必要があります。
```
 sb2 -t SailfishOS-2.1.3.7-armv7hl <args....>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     
```

アセンブリに必要なパッケージをインストールします。私たちの場合、これらはCMake、GCC、G ++、およびZipです。

 sb2 -t SailfishOS-2.1.3.7-armv7hl -m sdk-install -R zypper in cmake gcc gcc-c++ zip

ビルドフォルダーを作成してCMake

を呼び出し、正しいCMAKE_SYSROOT

て、コンパイラーが適切な場所で検索されるようにします。
```
 mkdir build && cd build sb2 -t SailfishOS-2.1.3.7-armv7hl -m sdk-build cmake -DCMAKE_SYSROOT=/srv/mer/targets/SailfishOS-2.1.3.7-armv7hl ..
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     
```

プロジェクトをまとめる：

 sb2 -t SailfishOS-2.1.3.7-armv7hl -m sdk-build make install -j8

以上です！したがって、Sailfish OSのアセンブリは、実際にはLinuxのアセンブリと変わりません。仮想マシンに接続し、正しい環境でコマンドを呼び出すだけです。

Qtプロジェクトの作成と設定

プロジェクトを作成するプロセスは簡単であり、たとえばHabrahabrのSailfish OS ハブで読むことができます。その後は、たった1つのことを行う必要がありました。次のように、ヘッダーファイルへのパスと.proファイルへの静的ライブラリを追加します。

 INCLUDEPATH += /path/to/install.armv7-linux.release/include LIBS += -L/path/to/install.armv7-linux.release/lib \ -lsomeStaticLibrary \ -lanotherStaticLibrary

その後、C ++認識カーネルを呼び出したプロジェクトが正常にコンパイルされ、開始されました。

QMLとSailfish Silicaを使用したGUIの作成

Sailfish OSのアプリケーションGUIは、C ++およびQMLのQtを使用して記述されています。標準のQtQuickライブラリと特別なSailfish SIlicaの両方を使用しています。

これらの技術に関するほとんどすべての必要な情報は、公式ドキュメントに記載されています。その他の便利なリンクには、 Sailfish OS onHabréの開発ハブ、色とインデントのチートシート、アイコンと主要コンポーネント、Stepikの無料入門コースが含まれます。

グラフィックプリミティブを描画するために、 CanvasとそのonPaint

メソッドを使用しました。水平スクロールによるドキュメントの選択-SlideshowView（実装例についてはAlexeiに感謝します）。認識結果の表示-ListModelを使用したSilicaListView 。

基本的なGUI要素の記述に加えて、公式のQtドキュメントのQMLとC ++の統合ページで非常に簡単かつ明確に説明されているQMLコードからC ++クラスを呼び出す方法を学ぶことが重要です：C ++クラスを作成し、C ++に登録し、QMLにインポートします。 C ++構造をQMLでラップするための最も明白な方法は、 Q_GADGET

を使用することであるように思われます。

デバイスのカメラとの相互作用：探偵科学的調査

カメラAPIと適切に対話する方法を理解することは、デモアプリケーションの開発プロセス全体で唯一の困難であり、別の点に値します。

通常、リアルタイムビデオストリーム認識ライブラリを使用するシナリオは次のとおりです。ユーザーがカメラのプレビューを見て、その前にオブジェクト（たとえば、RFパスポートまたは銀行カード）を保持している間、カメラからのフレームは1つずつ認識ライブラリに入り、認識されます。同時に、各フレームの認識中に、ドキュメントの場所、そのフィールドなどに関する中間情報がユーザーに表示されます。したがって、カメラからフレームをキャプチャすると同時に、ユーザーにプレビューを表示する必要があります。

カメラを作成してQMLでプレビューするとき、質問はありませんでした。カメラを作成してVideoOutputで参照します。

 Camera { id: camera position: Camera.BackFace // ... } VideoOutput { anchors.fill: parent source: camera }

カメラからのフレームをインターセプトし、認識のためにC ++に転送する方法を見つけることは残っています。

最初の方法として、標準のQVideoProbeを試しました。これは、カメラからのフレームを受信するために特に存在します。ただし、 probe.setSource(camera)

呼び出しはfalse

返し、その後、フレームをインターセプトするためにコールバックに何も来ませんでした。インターネット上の情報から判断すると、この問題はAndroidデバイスにも関連しており、Sailfish OS用のQVideoProbeの実装が単純に不足していることを示している可能性があります。これがすぐに修正されることを願っています。

2番目の方法は、 QAbstractVideoSurfaceからの継承と、認識のために着信フレームを渡すpresent(const QVideoFrame &frame)

メソッドpresent(const QVideoFrame &frame)

の実装です。 camera.setViewFinder(&videoSurface)

呼び出した後camera.setViewFinder(&videoSurface)

フレームが到着し始め（NV21形式）、カメラの前でドキュメントを保持している場合でも認識されました...しかし、VideoOutputのプレビューが消え、ユーザーは自分のカメラが何を撮影しているかを見ることができなくなりました。この問題をすぐに解決することはできませんでした。WMDのキリルとアレクセイとともに、3番目の選択肢を探し始めました。

幸いなことに、集団的努力による3番目の方法は非常に迅速に見つかりました。これは、フレーム処理機能を実装するcreateFilterRunnable()

メソッドを使用してcreateFilterRunnable()

を作成するQAbstractVideoFilterの束であることが判明しました。その後、実装されたフィルターをQMLに追加し、既存のVideoOutputで参照する必要があります。

 RecognitionVideoFilter { id: recognitionVideoFilter // ... } VideoOutput { anchors.fill: parent source: camera filters: [ recognitionVideoFilter ] }

コンパイル、開始。ビデオプレビューがありますが、それでもフレームは来ません。そして突然、シリルは共有しました ~~インサイダー~~ フィルタがデバイスで機能するためには、リンクで利用できることが判明したQtMultimediaプラグインを更新する必要があるという情報。その後、すべてが機能しました-BGRA形式のフレームがカーネルに届き始めました。細部QAbstractVideoSurface::run

関数はカメラのプレビューをブロックします（フィルターはフレームの変更を意味するため、論理的ですが、読み取りと認識のみが必要です）。したがって、スムーズなプレビューのために、たとえばQtConcurrent :: run （...）

以上です！アプリケーションGUIを完成させるために残っただけで、難しくはありませんでした。

バルセロナで開催されるMobile World Congress 2018でのデモンストレーションおよびその他のビデオ

今年、当社はバルセロナで開催される毎年恒例のモバイルワールドコングレス2018で2度目の認識技術を発表しました。これは、その規模で再び私たちを驚かせました.205か国から107,000人以上の訪問者、120,000平方メートルのパビリオンにある2,400の企業スタンド。昨年同様、彼女は私たちに非常に前向きな印象を与えました。

もちろん、Sailfish OSの最初の開発者であるフィンランドの会社Jollaのスタンドでデモを披露し、ビデオを撮影してVKontakteグループに投稿したOpen Mobile Platformの同僚にプログラムを「ライブ」で見せることもできました。

そして、ここにプログラムの最初の作業バージョンのビデオがあります：

他の多くのスマートエンジンのデモは、YouTubeチャンネルで見ることができます。

おわりに

この記事では、デモアプリケーションの作成など、Smart IDReader認識ライブラリをSailfish OSに移植した経験について説明しました。関連する公式文書の量とツールの品質に驚きました。もちろん、技術的な問題がいくつか発生しましたが、すぐに敗北することができました。私たちの経験が他の人に役立つことを願っています。

Smart EnginesでのSailfish OS認識の教え方