😞 🎭 👩🏿‍🤝‍👩🏽 Android画面の安定化 🏵️ 🕥 ❓

このような本や記事をバスで読んだり、通りを歩いたりしましたか？試したに違いない！この場合、このようにテキストを読むことは絶えず揺れているので良い考えではないことに気づいたはずです。画面を揺らすことはかなり深刻な問題であり、それをなくすことは非常に良いUXの改善をもたらすことができるようです。私のアイデアは、一眼レフカメラがセンサーやレンズを安定させるように、加速度センサーを使用して揺れを補正することです。技術的には、これは可能ですので、自分でやってみてください！

既存のソリューション

まず、既存のソリューションを見てみましょう。同じテーマに関する興味深い記事がウェブ上にいくつかあります。

NoShake： 2009年に公開されたiPhoneの画面安定化に関するLin Zhong、Ahmad Rahmati、およびClayton Shepardによるモバイルデバイスの画面の揺れに対するコンテンツの安定化（3）。 620 MHz ARMプロセッサの電力％。このため、この実装は実際の使用には実用的ではありません。また、最新のiPhoneはこのタスクに簡単に対処できますが、作成者はソースコードも、実際に試用できるようにアセンブルされたアプリケーションも提供していません。
スマートフォンで歩く：画面コンテンツを安定させるKevin Jeisy著。この記事は2014年に発行されたもので、数学的な基礎があります。この記事は、「隠れマルコフモデルを使用すると、理論的には良好な安定化を得た」と結論付けています。残念ながら、ソースコードもコンパイルされたアプリケーションも提供されていないため、動作しません。
シェイクフリースクリーン。同じ質問が調査されていますが、試してみる既製の結果はありません。

これらの記事は、私たちの記事のトピックの良い説明を提供しますが、残念なことに、ソースコードまたはそれをライブで見るためのコンパイルされたアプリケーションを提供しません。車輪を再発明し、独自の方法で画面の安定化を実装してみましょう。

理論

加速度センサーを使用して、デバイスの動きを判断できます。しかし、名前から判断すると、このセンサーはまだ加速度を決定するように設計されています。「加速度のある変位を決定する方法」という質問に答えるために、センサー付きのデバイスを見てみましょう。

ご覧のとおり、それぞれ3つの軸があり、センサーは出力に3つの値を与えます。技術的には、センサーは異なる軸にある3つのセンサーで構成されていますが、全体として見てみましょう。

3つの出力値は、対応する軸に沿った加速度を示します。

加速度は「m / s2」で測定されます。ご覧のとおり、Y軸に沿って加速度がありますが、実際にはこれが重力加速度であり、デバイスを回転させると3つの値がすべて変化します。

ロープでデバイスに結び付けられたボールとして想像できます。これはかなり良い説明です。なぜなら、ボールを矢印に置き換えると、加速ベクトルが得られるからです。

わかりましたが、変位の定義はどうですか？

例を示すことはできませんが、デバイスを少し動かすと、ベクトルが変化します。実際には、2つのベクトルで構成されます。1）以前の重力ベクトル。 2）対応する軸に沿った動きによるデバイスの加速度ベクトル。私たちにとって最も興味深いのは、「クリーンな」変位ベクトルです。結果のベクトルから重力のベクトルを引くだけで簡単に取得できますが、実際の重力のベクトルを決定する方法は？この問題はさまざまな方法で解決できますが、幸いAndroidには、必要なことだけを行う特別な線形加速度センサーがあります。通常の状態では、センサーの出力値は0であり、デバイスを動かすことによってのみゼロ以外の値を取得できます。興味があるなら、ここにそのソースコードがあります。デバイスの動きを判断するための一歩です。プログラミングを始めましょう。

実装

デバイスの動きを計算する方法を見つけるために、1つのアクティビティで1つの簡単なアプリケーションを開発しましょう。このアプリケーションは、加速度の変化を監視し、それに応じて特別なビュー要素を移動します。また、グラフに生の加速度値も表示されます。

キーコードの例のみを示します。すべてのコードはGITリポジトリにあります。重要なことは次のとおりです。

1.移動する特別な要素。これは、コンテナ内にテキストがある青いブロックです。

<FrameLayout android:layout_width="match_parent" android:layout_height="match_parent" android:layout_above="@id/graph1" android:background="@drawable/dots_repeat_bg" android:clipChildren="false"> <LinearLayout android:id="@+id/layout_sensor" android:layout_width="match_parent" android:layout_height="match_parent" android:layout_margin="20dp" android:orientation="vertical" android:background="#5050FF"> <ImageView android:id="@+id/img_test" android:layout_width="wrap_content" android:layout_height="wrap_content" android:src="@mipmap/ic_launcher"/> <TextView android:id="@+id/txt_test" android:layout_width="wrap_content" android:layout_height="wrap_content" android:layout_below="@id/img_test" android:textSize="15sp" android:text="@string/test"/> </LinearLayout> </FrameLayout>

layout_sensorを移動するには、メソッドView.setTranslationXおよびView.setTranslationYを使用します。

また、要素をクリックすると内部値が0にリセットされるというイベントにもサブスクライブします。これは、最初は非常にいたずらになる可能性があるためです。

 private void reset() { position[0] = position[1] = position[2] = 0; velocity[0] = velocity[1] = velocity[2] = 0; timestamp = 0; layoutSensor.setTranslationX(0); layoutSensor.setTranslationY(0); }

2.加速度センサーイベントをサブスクライブします。

 sensorManager = (SensorManager) getSystemService(SENSOR_SERVICE); accelerometer = sensorManager.getDefaultSensor(Sensor.TYPE_LINEAR_ACCELERATION); sensorManager.registerListener(sensorEventListener, accelerometer, SensorManager.SENSOR_DELAY_FASTEST);

3.そして最も重要なこと：変化の聞き手。基本的な実装は次のとおりです。

 private final float[] velocity = new float[3]; private final float[] position = new float[3]; private long timestamp = 0; private final SensorEventListener sensorEventListener = new SensorEventListener() { @Override public void onAccuracyChanged(Sensor sensor, int accuracy) {} @Override public void onSensorChanged(SensorEvent event) { if (timestamp != 0) { float dt = (event.timestamp - timestamp) * Constants.NS2S; for(int index = 0; index < 3; ++index) { velocity[index] += event.values[index] * dt; position[index] += velocity[index] * dt * 10000; } } else { velocity[0] = velocity[1] = velocity[2] = 0f; position[0] = position[1] = position[2] = 0f; } } };

ここで何が起こるか見てみましょう。 onSensorChangedメソッドは、加速度値が変わるたびに呼び出されます（翻訳者のメモ：実際には、どの加速度値に関係なく、タイマーによって呼び出されます）。最初に行うことは、タイムスタンプ変数が初期化されているかどうかを確認することです。この場合、単純にメイン変数を初期化します。メソッドが繰り返し呼び出される場合、次の式を使用して計算を実行します。

 deltaT = time() - lastTime; velocity += acceleration * deltaT; position += velocity * deltaT; lastTime = time();

おもしろい定数10000に気付いたはずです。ある種のマジックナンバーと考えてください。

そして結果：

ご覧のとおり、現在の実装には2つの問題があります。

ドリフト値とクリープ値
コントロールは0に戻りません

実際、両方の問題の解決策は一般的なものです-式に抑制を導入する必要があります。変更された式は次のようになります。

 deltaT = time() - lastTime; velocity += acceleration * deltaT - VEL_FRICTION * velocity; position += velocity * deltaT - POS_FRICTION * position; lastTime = time();

いいね現在の実装は良さそうです。平滑化、無効な値およびプログラム設定のカットのためのローパスフィルターなど、いくつかの表面的な改善を追加します。

完成したアプリケーションは、standalone_appブランチのリポジトリにあります。

Aosp

基本的な安定化アルゴリズムを開発し、画面の安定化が可能であることを示すデモアプリケーションを作成しました。これで、デバイス全体に作業を適用できます。これは簡単な作業ではありませんが、それを解決することはより興味深いことです。

このタスクを実行するには、 AOSPの構築に関するある程度の経験が必要です。 Googleは必要なすべてのドキュメントを提供します。通常、選択した NexusデバイスのAndroidソースコードをダウンロードする必要があります。 Nexusのファームウェアをビルドしてフラッシュします。組み立てる前に、必要なすべてのドライバーを含めることを忘れないでください。

ストックファームウェアを組み立てたら、画面の安定化の開発と統合を開始できます。

実装計画は次のとおりです。

デバイスの画面を移動する方法を見つける
AOSP内部でAPIを開発して、標準のAndroidアプリケーションでオフセットを設定できるようにします
加速度センサーからのデータを処理するデモアプリケーションでサービスを開発し、上記のAPIを使用してオフセットを設定します。デバイスの電源を入れるとサービスが自動的に開始されるため、電源を入れた直後に安定化が機能します

次に、これらの問題の解決方法を説明します。

1.研究用の最初のファイルは、画面設定を制御するDisplayDevice.cppです。見るメソッドはvoid DisplayDevice :: setProjection（int orientation、const Rect＆newViewport、const Rect＆newFrame）です。最も興味深いのは483行目です。

ここで、最終的な変換マトリックスは他のコンポーネントから形成されます。これらの変数はすべて、 Transformクラスのインスタンスです。このクラスは、変換を処理するように設計されており、いくつかのオーバーロード演算子（*など）があります。シフトを追加するには、新しい要素を追加します。

デバイスをコンパイルしてフラッシュすると、画面は水平方向に平行移動Xピクセル、垂直方向に平行移動Yピクセル移動します。最終的に、新しいメソッドvoid setTranslate（int x、int y）を追加する必要があります。シフト行列を担当します。

2. 2番目の興味深いファイルはSurfaceFlinger.cppです。このファイルは、画面オプションにアクセスするためのAPIを作成する上で重要です。新しいメソッドを追加するだけです：

すべてのディスプレイに対してsetTranslateメソッドを呼び出します。他の部分は少し奇妙に見えますが、後で説明します。スイッチコンストラクトに新しいセクションを追加して、status_tメソッドSurfaceFlinger :: onTransact（uint32_tコード、constパーセルとデータ、パーセル*応答、uint32_tフラグ）を変更する必要があります。

このコードは、改善の入り口です。

3.データ処理サービスは非常に単純です。つまり、以前に開発されたアルゴリズムを使用してオフセット値を取得します。さらに、これらの値はIPCを介してSurfaceFlingerに送信されます。

ServiceManagerは、システム以外のアプリケーションでは使用できないため、Android Studioで認識されません。システムアプリケーションは、makefileビルドシステムを使用してAOSPでビルドする必要があります。これにより、アプリケーションは非表示のAndroid APIで必要なアクセス権を取得できます。 SurfaceFlingerサービスにアクセスするには、アプリケーションに「android.permission.ACCESS_SURFACE_FLINGER」の権利が必要です。これらの権限を持つことができるのはシステムアプリケーションのみです（以下を参照）。コード2020でAPIを呼び出す権利を得るには、アプリケーションに「android.permission.HARDWARE_TEST」の権利が必要です。これらの権限を持つことができるのはシステムアプリケーションのみです。そして最後に、アプリケーションを体系的にするには、次のようにマニフェストを変更します。

また、適切なメイクファイルを作成します。

アプリケーションの他の部分（ブロードキャストレシーバーのダウンロード、設定など）はかなり標準的なものなので、ここでは触れません。このアプリケーションを事前にインストールする（つまり、ファームウェアに縫い付ける）方法を示すために残っています。ソースコードを{aosp} / packages / appsディレクトリに配置し、 core.mkファイルを修正してアプリケーションが含まれるようにします。

最終デモ：

GitHubで詳細情報とソースコードを見つけることができます。

{aosp} / packages / appsディレクトリに配置する必要があるScreenStabilizationアプリケーションがあります。AOSPパッチファイル： 0001-ScreenStabilization-application-added.patchは{aosp} / build 、 0001-Translate-methods-addedディレクトリに適用する必要があります.patchは{aosp} / frameworks / nativeディレクトリに適用する必要があります。

Nexus 2013 Mobileのファームウェアは「 userdebug 」構成でコンパイルされているため、テストに適しています。ファームウェアをアップグレードするには、「音量を下げる」ボタンを押しながら「電源」ボタンを押してブートローダーモードで起動します。次に入力：

 fastboot -w update aosp_deb_screen_stabilization.zip

この手順により、デバイス上のすべての既存データが削除されます。非標準ファームウェアをフラッシュするには、次のコマンドでブートローダーのロックを解除する必要があることに注意してください。

 fastboot oem unlock

おわりに

この記事では、シンプルな画面安定化アルゴリズムを実装し、Androidソースコードを変更してカスタムファームウェアを組み立てることにより、デバイス全体に適用する方法を示します。このアルゴリズムは完全ではありませんが、デモの目的には十分です。 Nexus 2013モバイルデバイス用に修正されたファームウェアを作成しましたが、ソースコードはどのNexusデバイスにも、 CyanogenModなどの AOSPシステムにも適用できます。これにより、画面の安定化を新しいデバイスに統合できます。

PS実際、私は技術的な質問に答えられるように、 blog.lemberg.co.ukで公開された記事の元の英語版の著者でもあります。

Android画面の安定化