これは、 LPCNetに関する最初の記事の続きです。最初のデモでは、信号処理と深層学習を組み合わせてニューラル音声合成の有効性を高めるアーキテクチャを紹介しました。今回は、LPCNetを非常に低いビットレートのニューラル音声コーデックに変換します（科学記事を参照）。現在の機器や電話でも使用できます。

初めて、ニューラルボコーダーは、高速GPUではなく、電話機の1つのプロセッサコアでリアルタイムに動作します。 1600 bpsの最終ビットレートは、従来の広帯域コーデックの約10分の1です。品質は、ビットレートが非常に低い既存のボコーダーよりもはるかに優れており、より高いビットレートを使用する従来のコーデックに匹敵します。

波形エンコーダーとボコーダー

音声コーデックには、波形コーダーとボコーダーの2種類があります。波形エンコーダーには、Opus、AMR / AMR-WB、および音楽に使用できるすべてのコーデックが含まれます。彼らは、可能な限りオリジナルに近いデコードされた波形を提供しようとします-通常、いくつかの知覚的特徴を考慮します。一方、ボコーダーは実際にはシンセサイザーです。エンコーダは、音声パスのピッチと形状に関する情報を抽出し、この情報をデコーダに渡し、音声を再合成します。テキストエンコーダーが音声認識よりもはるかに単純/高速であることを除いて、音声認識に続いて音声シンセサイザーでテキストを読み取ることにほとんど似ています（そして、もう少し情報を伝えます）。

ボコーダーは70年代から存在していましたが、デコーダーは音声合成を実行するため、最近までひどく聞こえていた従来の音声合成システムよりもはるかに優れたものにはなりません。これが、ボコーダーが通常3 kB / s未満の速度で使用された理由です。さらに、波形エンコーダは単に最高の品質を提供します。これは、 WaveNetなどのニューラル音声合成システムが登場した最近まで続きました。突然、シンセサイザーの音がずっと良くなり始めました。もちろん、 WaveNetからボコーダーを作りたい人もいました。

LPCNetの概要

WaveNetは非常に高品質の音声を生成しますが、数百ギガフロップスの処理能力を必要とします。 LPCNetは計算の複雑さを大幅に削減しました。ボコーダーはWaveRNNに基づいており、WaveNetはリカレントニューラルネットワーク（RNN）とスパースマトリックスで改善されます。 LPCNetは、以前のボコーダーで良好に機能した線形予測（LPC）でWaveRNNをさらに強化します。以前のサンプルの線形結合からサンプルを予測し、最も重要なこととして、ニューラルネットワークよりも何倍も高速にします。もちろん、それは普遍的ではありません（そうでなければ、70年代のボコーダーは素晴らしい音になります）が、ニューラルネットワークの負荷を大幅に減らすことができます。これにより、品質を犠牲にすることなく、WaveRNNよりも小さなネットワークを使用できます。

LPCNetを詳しく見てみましょう。 左側の黄色の部分はフレームごとに1回計算され、その出力は右側（青）のネットワークサンプリング周波数に使用されます。 計算ユニットは、以前のサンプルと線形予測係数に基づいて、時間tのサンプルを予測します。

圧縮特性

LPCNetは、フレームあたり20文字のベクトルから音声を10ミリ秒間合成します。これらのうち、18個の記号は、スペクトルの形状を表すケプストラム係数です。残りの2つは高さを説明します。1つはピッチステップ（ピッチ周期）のパラメーター、もう1つは強度（ピッチごとに遅延を導入した場合に信号がそれ自体と相関する程度）のパラメーターです。パラメーターを浮動小数点値の形式で保存する場合、この情報はすべて、保存または送信中に最大64 kbit / sかかります。 Opusコーデックでさえ、わずか16 kbit / s（16 kHzモノラルの場合）で非常に高品質の音声コーディングを提供するため、これは多すぎます。明らかに、ここで強力な圧縮を適用する必要があります。

身長

すべてのコーデックはピッチに大きく依存していますが、ピッチの「ジャスト」が冗長性の削減に役立つ波形エンコーダーとは異なり、ボコーダーにはフォールバックがありません。間違った高さを選択すると、低音（または読みにくい）の音声が生成され始めます。詳細を調べることなく（科学記事を参照）、LPCNetエンコーダーは高さを間違えないように努力しています。検索は、音声信号の時間相関の検索から始まります。以下に、典型的な検索の仕組みを示します。

ピッチは、ピッチが繰り返される期間です。 アニメーションは、信号x（n）とそのコピーx（nT）の間の最大相関に対応するステップを遅延付きで検索します。 最大相関を持つT値は高さのピッチ

この情報は、結果をあまり劣化させずに、できるだけ少ないビットでエンコードする必要があります。本来、周波数は対数スケールで知覚されるため（たとえば、各音楽オクターブが前の周波数を2倍にする）、対数コーディングでは意味があります。ほとんどの人の音声信号の高さ（ここではソプラノをカバーしようとはしていません）は62.5〜500 Hzです。 7ビット（128の可能な値）で、約4分の1トーンの解像度が得られます（前と前との差は1トーンです）。

それで、高さは完成しましたか？まあ、それほど速くありません。 1960年代の映画のロボットのように人々は話しません。音声ピッチは、40ミリ秒のパケット内でも変化する可能性があります。これを考慮する必要があります。高さを変更するためのパラメータ用のビットは残します。パケットの先頭と末尾の間の最大2.5半音の差をエンコードするには3ビットです。最後に、ピッチステップの相関をコーディングし、母音と子音（たとえば、sとf）を区別する必要があります。相関には2ビットで十分です。

ケプストラム

ピッチには音声の外部特性（韻律、感情、アクセントなど）が含まれますが、スペクトル応答によって発声内容が決まります（ピッチが意味にとって重要である中国語などの声調言語を除く）。声帯はどの母音に対してもほぼ同じ音を生成しますが、声道の形状によってどの音が話されるかが決まります。音声パスはフィルターとして機能し、エンコーダーのタスクは、このフィルターを評価してデコーダーに渡すことです。これは、スペクトルをケプストラムに変換すると効果的に実行できます（はい、これは文字の順序が変更された「スペクトル」です。これらはデジタル信号処理の面白い人です）。

16 kHzの入力信号の場合、ケプストラムは基本的に10ミリ秒ごとに18の数値のベクトルを表し、可能な限り圧縮する必要があります。 40ミリ秒のパケットにこのようなベクトルが4つあり、通常は互いに類似しているため、可能な限り冗長性を排除する必要があります。これは、隣接ベクトルを予測子として使用し、予測と実際の値の差のみを伝えることで実行できます。同時に、以前のパッケージの1つが消失した場合でも、以前のパッケージに依存しすぎたくありません。問題はすでに解決されているようです...

ハンマーしか持っていない場合、すべてが釘のように見えます-Abraham Maslow。

ビデオコーデックで多くの作業を行った場合、おそらくBフレームの概念に出くわしたでしょう。フレームを多くのパケットに分割するビデオコーデックとは異なり、1つのパケットに多くのフレームがあります。 キーフレーム 、つまり独立したベクトル、およびパケットの終わりをエンコードすることから始めます。このベクトルは予測なしでエンコードされ、合計エネルギー（最初のケプストラル係数）に7ビット、ベクトル量子化（VQ）を使用する他のパラメーターに30ビットを使用して、37ビットを占有します。次に、（階層的な）Bフレームが来ます。 2つのキーワード（現在のパッケージからのキーワードと前のキーワードからのキーワード）のうち、それらの間のケプストラムが予測されます。実際の値と予測の差をコーディングするための予測子として、2つのキーフレームまたはそれらの平均値のいずれかを選択できます。 VQを再度適用し、予測子の選択を含む合計13ビットを使用してこのベクトルをエンコードします。これで、2つのベクトルだけが残り、ビットは非常に少なくなりました。最後の3ビットを使用して、残りのベクトルの予測子を選択します。もちろん、これは図で理解するのがはるかに簡単です：

パッケージkのケプストラム予測と量子化。 緑のベクトルは独立して量子化され、青のベクトルは予測付きで、赤のベクトルは残差量子化なしで予測を使用します。 予測は矢印で示されます。

すべてをまとめる

上記のすべてを追加すると、40ミリ秒パケットあたり64ビットまたは1秒あたり1600ビットが得られます。圧縮率を計算する場合、非圧縮のブロードバンド音声は256 kbps（サンプルあたり16ビットで16 kHz）、つまり圧縮率は160倍になります！もちろん、いつでも量子化器を使って、より低いまたはより高いビットレート（品質に対応する効果）を得ることができますが、どこかから始める必要があります。以下に、これらのビットが配置されるレイアウトの表を示します。

ビット割り当て
パラメータ	ビット
ピッチピッチ	6
高さ変調	3
高度相関	2
エネルギー	7
独立ケプストラムVQ（40ミリ秒）	30
予測VQケプストラム（20ミリ秒）	13
ケプストラム補間（10 ms）	3
合計	64

40 msパケットあたり64ビット、1秒あたり25パケットで、1600 bpsが得られます。

実装

LPCNetソースコードはBSDライセンスの下で利用可能です。コーデックの使用を簡素化するライブラリが含まれています。開発は完了していないことに注意してください。形式とAPIの両方が変更される可能性があります。リポジトリにはlpcnet_demo

デモアプリケーションもあり、コマンドラインからコーデックを簡単にテストできます。完全な手順については、README.mdファイルを参照してください。

さらに深く掘り下げたい場合は、新しいモデルをトレーニングしたり、音声合成などの他のアプリケーションのビルディングブロックとしてLPCNetを使用したりするオプションがあります（LPCNetはシンセサイザーのコンポーネントの1つにすぎず、単独で合成は実行されません）。

性能

ニューラル音声合成には多くのリソースが必要です。昨年のICASSP会議で、Bastian KleinとGoogle / DeepMindの同僚は、コーデック2からビットストリームを受信するWaveNetに基づく2400 bpsコーデックを発表しました。驚くほど聞こえますが、数百ギガフロップスの計算の複雑さは、高価なGPUと多大な努力なしではリアルタイムで起動できないことを意味します。

それどころか、1600 bit / sコーデックは3ギガフロップスしか生成せず、より手頃な価格の機器でリアルタイムに動作するように設計されています。実際、今日では実際のアプリケーションで使用できます。最適化には、AVX2 / FMAおよびNeon命令セット用のコードを記述する必要がありました（組み込みコードのみ、アセンブラーなし）。これにより、PCだけでなく、多かれ少なかれ近代的な携帯電話でもリアルタイムで音声をエンコード（特にデコード）できるようになりました。以下は、x86およびARMプロセッサーでのパフォーマンスです。

性能
CPU	頻度	1つのコアの％	リアルタイムに
AMD 2990WX（スレッドリッパー）	3.0 GHz *	14％	7.0倍
Intel Xeon E5-2640 v4（Broadwell）	2.4 GHz *	20％	5.0倍
Snapdragon 855（ Galaxy S10上のCortex-A76）	2.82 GHz	31％	3.2倍
Snapdragon 845（ピクセル3の Cortex-A75）	2.5 GHz	68％	1.47x
AMD A1100（Cortex-A57）	1.7 GHz	102％	0.98x
BCM2837（Raspberry Pi 3上のCortex-A53）	1.2 GHz	310％	0.32x
*ターボモード

数字はとても興味深いです。 BroadwellとThreadripperのみが表示されていますが、x86プラットフォームでは、HaswellプロセッサーとSkylakeプロセッサーのパフォーマンスは似ています（クロック周波数を考慮に入れて）。ただし、ARMプロセッサは互いに著しく異なります。周波数の違いを考慮しても、A76はA53の5〜6倍高速です。A53は主にエネルギー効率のために使用されるため（big.LITTLEシステムなど）、非常に期待されています。それにもかかわらず、LPCNetは1つのコアのみを使用して、最新の電話でリアルタイムで動作する可能性があります。 Raspberry Pi 3でリアルタイムに実行するのは良いことですが、これは遠いですが、不可能なことは何もありません。

x86では、パフォーマンスの制限が理論上の最大値の5倍である理由は謎のままです。ご存知のように、行列ベクトル乗算の操作は、操作ごとのダウンロード数が多いため、行列行列操作よりも効率が低くなります。具体的には、FMA操作ごとに1つの行列ダウンロードが行われます。一方で、パフォーマンスはL2キャッシュに関連しており、サイクルごとに16ビットしか提供しません。一方、Intelは、L2はBroadwellではサイクルあたり最大32ビット、Skylakeではサイクルあたり64ビットを提供できると主張しています。

結果

コーディング品質を比較するために、MUSHRAオーディオテストを実施しました。試験条件：

サンプル ：オリジナル（オリジナルよりも良い結果が得られた場合、テストに明らかに問題があります）
1600 bps LPCNet ：デモ
非圧縮LPNet ：最初の記事の「122の等価ユニットを持つLPNet 」
Opus 9000 bpsワイドバンド ：Opus 1.3がブロードバンドオーディオをエンコードする最低ビットレート
2400 bpsのMELP ：低ビットレートの有名なボコーダー（コーデック2と同様の品質）
Speex 4000 bps ：このブロードバンドボコーダーは使用しないでください。

最初のテスト（セット1）では、2人の男性と2人の女性の声明の断片が8つあります。最初のセットのファイルは、トレーニングに使用されたのと同じデータベース（つまり、同じ記録条件）に属しますが、これらの特定の人々はトレーニングセットから除外されました。 2番目のテスト（セット2）では、Opusテスト（非圧縮）のいくつかのファイルを使用して、さまざまな条件下でサウンドを録音し、LPCNetが一般化されるようにしました。両方のテストで、それぞれ100人の参加者がいるため、エラーはごくわずかです。以下の結果を参照してください。

2つのテストにおける主観的品質（MUSHRA）

一般に、1600 bpsのLPCNetは見栄えがよく、2400 bpsのMELPよりもはるかに優れており、9000 bpsのOpusにそれほど遠くありません。同時に、非圧縮のLPCNetは、9000 bpsのOpusよりも品質がわずかに優れています。これは、2000〜6000 bpsの範囲のビットレートでOpusよりも高い品質を提供できることを意味します。

自分に耳を傾ける

オーディオテストのサンプルを次に示します。

女性（セット1）

男（セット1）

混合（セット2）

これはどこで使用できますか？

これはそれ自体がクールな技術であると考えていますが、実用的な用途もあります。ここにいくつかのオプションがあります。

接続が不十分な国のVoIP

誰もが常に高速接続を持っているわけではありません。一部の国では、通信が非常に遅く、信頼性が低くなります。 1600ビットのスピーチコーデックは、このような条件下で正常に動作し、信頼性のためにパケットを数回送信します。もちろん、パケットヘッダーのオーバーヘッド（IP + UDP + RTPの場合は40バイト）のため、40、80、または120ミリ秒の大きなパケットを作成することをお勧めします。

アマチュア/ HFラジオ

10年間、 David Roweは無線通信の音声コーディングに取り組んでいます。彼は、 700〜3200 bpsの速度で音声を送信するCodec2を開発しました。過去1年間、Davidと私はニューラルシンセシスを使用してCodec2を改善する方法について議論しました。 David は彼のブログで、FreeDVと統合するためのLPCNetベースのコーデックの独自の実装について書いています。

パケット損失の信頼性の向上

少数のビットで適切な品質のビットストリームをエンコードする機能は、信頼できないチャネルで冗長性を提供するのに役立ちます。 Opusには、以前のフレームをより低いビットレートでエンコードして現在のフレームに送信する、LBRRと呼ばれる前方誤り訂正（FEC）メカニズムがあります。うまくいきますが、かなりのオーバーヘッドが追加されます。 1600ビット/秒のストリーム複製は、はるかに効率的です。

計画

LPCNetを使用する方法は他にもたくさんあります。たとえば、既存のコーデックの改善（同じOpus）。他のコーデックと同様に、Opusの品質は非常に低いビットレート（8000 bps未満）で非常に急速に低下します。これは、波形コーデックに元のビットと一致するビットがないためです。ただし、送信された線形予測情報は、LPCNetが適切なサウンドの音声を合成するのに十分です-Opusがこのビットレートで実行できるよりも優れています。さらに、Opusが送信する残りの情報（残留予測）は、LPCNetがさらに良い結果を合成するのに役立ちます。ある意味では、LPCNetは、ビットストリームを変更せずに（つまり、完全な互換性を維持しながら）Opus（またはその他のコーデック）の品質を改善するための派手なポストフィルターとして使用できます。

追加のリソース

J.-M.ヴァリン、J。スコグランド、 LPCNetを使用した1.6 Kbps広帯域ニューラルボコーダー、Interspeech 2019に送信、arXiv： 1903.12087
J.-M. Valin、 J。Skoglund 、 LPCNet：線形予測による高度なニューラル音声合成、 Proc。 ICASSP 、2019 、arXiv： 1810.11846
A. van den Oord、S。Dileman、H。Zen、K。Simonyan、O。Vinyals、 A。Graves 、N。Kalkhbrenner、 E。Senor 、K.Kavukuglu、 WaveNet：生音の生成モデル、2016年
N.カールブレンナー、E。エルセン、C。シモニャン、S。ノウリ、N。カサグランデ、E。ロックハート、F。スティムバーグ、A。ファンデンオード、S。ディレマン、K。カブグル、効果的なニューラルサウンド合成、2018年
V.B.クライン、F.S.K。Lim、A.Lyubs、J.Skoglund、F。Stimberg、K.Wang、T.S。Walters、Wavenetに基づく低ビットレート音声コーディング、2018
LPCNet ソースコード。
David Rowe によるLPCNetに基づくFreeDVのコーデック。
irc.freenode.netの#opusで開発に関する議論に参加してください（→ Webインターフェイス）

LPCNetニューラルボコーダーを使用した1600ビット/秒の音声コーディング