声を変えるタスク。 パート2。音声プレゼンテーションへの物理的/音響的アプローチ

この投稿では、人の声を分析および変更するタスクに関する一連の記事を続けています。 前の記事の内容を簡単に思い出してみましょう。



-スピーチの音の構成について簡単に説明された

-発声や構音などの重要なプロセスが説明された

-人間の発話の音の厳密でない分類が与えられ、音のクラスの特徴的な特徴が記述された

-音声信号の処理時に発生する問題を簡単に特定しました



また、i-Free社の部門が実際に解決するタスクについても概説しました。 前の記事は、音声信号のプレゼンテーションパターンを説明し、これらのモデルを使用してスピーカーの声を変更する方法を示す「大声で」約束で終わりました。



ここですぐに小さな予約をします。 「音声信号」という用語はさまざまな方法で理解でき、多くの場合、意味は文脈によって異なります。 私たちの仕事の文脈では、音声信号の音響音響特性にのみ関心があり、この記事と次の記事ではその意味的および感情的な負荷は考慮されません。



音声を変更するタスクに対する創造的なアプローチにより、音声信号を表すための既知のモデルのほとんどは、非常に強力なツールであり、非常に多くのことを実行できます。 このような取り組みを何らかの方法で分類することは適切ではないように思われ、「すべてが一列に並んでいる」ことを示すのに多くの時間が必要です。 この記事と次の記事では、最も一般的に使用されるモデルの簡単な説明のみに限定し、それらの物理的/実用的な意味を説明しようとします。 これらのモデルの適用例については、後ほど説明します。次の記事では、性別や話者の年齢の変化などの効果の最も単純な実装について説明します。



警告！







この記事の目的は、単純化されたモデルを使用して、音声経路での音の形成の物理をほんの少し説明することです。 その結果、この記事には多数の式が含まれており、おそらく、明確な遷移は含まれていません。 主要な情報源は本文に示されており、必要に応じて、この資料をより詳しく知ることができます。 この記事で説明するモデルは、研究のためではなく、録音された音声を処理する実際のタスクにはほとんど使用されません。 適用された音声信号の表示モデルにのみ関心がある読者は、次の記事で情報を収集することができます。

サウンドの特殊効果と、音声信号を表現するためのモデルが必要なのはなぜですか？

信号のプロパティを変更するには、その正確な説明が必ずしも必要ではありません。 増幅、フィルタリング、リサンプリング（サンプリング周波数の変更）、 圧縮 、およびクリッピングなどの操作は、処理された信号に関するおおよその知識がある場合に非常にうまく実行できます。 サウンド処理のタスクに関しては、そのような操作は最も基本的なものに帰することができます。 「極端な」場合を除き、それらの使用は、原則として、処理された音の知覚に大きな影響を与えません。 彼らの助けを借りて本当に面白い効果を得ることは非常に困難であり、認識を超えて、巨大なアプリケーションで信号を台無しにすることはそれと同じくらい簡単です。



変調と遅延（直接およびフィードバック付き）など、さらにcな変換を適用することができます。 フランジャー、トレモロ/ビブラート、コーラス、フェイザー、ワウ、コームフィルターなどの有名なエフェクトは、これらの変換に基づいて構築されており、楽器だけでなく声にも非常によく適用できます。 これらの効果とその実装についての詳細は、副節の最後の文献に記載されています。 最初の記事で述べたように、これらの効果は声に非常に珍しい音を与えますが、結果は耳には自然なものとして知覚されません。



結果が「人間」のままであるように音声を変更したい場合、入力信号の「マインドレス」変換は機能しません。 このようなタスクへのより成功したアプローチは、信号の分析、そのパラメータの変更、およびその後の新しい信号の再構築です。アプローチを実装するための「大まかな」スキームを以下に示します。







記号Ƒ（）は、入力信号（またはその一部）を、信号の特定のプロパティを記述する特定のパラメーターセットXkにマッピングする変換を示します。 Ƒ^ -1（）は、パラメトリック表現から時間領域への逆変換、実際には「再合成」を示します*。 一部のモデルは、このモデルの観点から最も重要な信号特性のみを記述し、いわゆる シグナルエラー-e（t）。 その意味は、入力信号と適用されたモデルを使用して合成された信号の違いです。ただし、信号のパラメトリック表現は変更されません（e（t）= y（t）-x（t）| X_k = Y_k）**、例さらに与えられます。 信号のパラメトリックな表現により、より汎用性の高い分析を実行し、目的の効果に応じて特定のパラメーターを変更できます。



音声信号を分析する場合、非常に短い時間間隔でも大きく変化するその特性を常に覚えておく必要があります。 したがって、計算で時間積分演算を使用するモデルは、短い時間間隔でのみ音声信号を適切に記述できます。 これは、同様のモデルを小さな部分で使用する信号処理の必要性を直接暗示しています。 そのため、再合成のプロセスでは、短い合成信号フラグメントがスムーズに（「クリック」せずに）互いに流れるように、「接着シーム」に特別な注意を払う必要があります。



*-演算子^はさらに累乗を示します。つまり、k ^ nはkのn乗の累乗です。

**-下線は、添え字のインデックス付けをさらに象徴的に示します

_______________________

多くのオーディオエフェクトの「内部」構造を説明する有望な文献：

電子音楽の理論と技術（ミラー・パッケット）

DAFX-デジタルオーディオエフェクト（Udo Zolzerによる編集）

デジタル信号処理入門-コンピューター音楽的に話す（テホン公園）

音声の音声生成の物理モデリング。 声道の音響モデル。

音声信号モデルについては、いわば「最低」レベルのモデル、つまり音声信号の音響モデルと会話を始める価値があります。 今後、このレベルでの研究は基礎科学に近く、非常に真剣な理論的基礎と技術的装置が必要だとすぐに言います。 私たちのユニットでは、このような作業は行われていません。ここでは、このモデルは科学的および教育的な目的でのみ言及されています。 （要求は、文献への「退屈な」参照に鋭く反応することではなく、それらのトランスクリプトは記事の終わりに与えられ、興味のある読者は独立して問題を調査することができます）



音響モデルの目的は、特定の人物の発話経路の生理学的構造を記述し、調音プロセスを適時にパラメーター化し、音声経路を通過する気流に対するこれらのパラメーターの影響を反映することです。 基本的な作業として、多くの著者は[1]を参照します。M。Portnoffは、不均一な時変断面積を持つチューブを使用して人間の声道の近似を研究しました（以下の図を参照）。







与えられたパイプ[2]、[3]の圧力と空気速度の関係を記述する基本的な微分方程式を以下に示します。 外観上、それらはそれほど「怖い」とは思われません（方程式の各メンバーが詳細に開示されていない限り）。







ここで、p = p（x、t）は時間tとパイプ内の点xの座標に依存する圧力変化、u = u（x、t）はパイプ内の空気流の体積速度、ρはパイプ内の空気密度、cは速度sound、A = A（x、t）は、時刻tのポイントxでのパイプの断面積です。 総パイプ長はlです。



これらの方程式には、初期/最終条件に厳しい制限がある最も単純な場合を除いて、代数解はありません[3]。 数値解を見つけるには、声道の初期点と最終点である喉頭と唇のそれぞれの圧力と気流速度の値を取得する必要があります。 それでも、関数A（x、t）の値の不確実性は大きな問題のままです。 [4]で述べたように、3次元トモグラフィーの分野の進歩により、声道の面積とその音響特性との関係を大幅に改善することができます。 ただし、A（x、t）の振る舞いを完全に知っている場合、または時間の定常性（短い有声音のセグメントを分析する場合に当てはまる）の場合でも、実用的な有用なモデルを得るには、多くの仮定を行う必要があります。 この音響モデルを使用して、関節運動プロセスをモデル化する際に考慮しなければならない要素[3]：



1）時間内のA（x、t）の動作に関する知識（各スピーカーに固有）



2）音声管内の熱伝達と粘性摩擦に関連する音響エネルギー損失



3）声道の壁の弾力性に関連した損失（入ってくる空気パルスのコンプライアンス）



4）唇の音の放射



5）追加の共鳴器/音のエミッタとしての鼻咽頭の効果



6）初期音波の励起のプロセス（発声）



これらの各要因は、真剣な研究のための別個のトピックです。 分析と再合成のアプローチを使用して音声を変更するタスクに戻った場合、このモデルを適用するには、処理のために受信した信号から話者の音声経路の多数の生理学的パラメーターを復元する必要があります。 既存の音声信号から声道のパラメータおよび/または調音パラメータを見つけると、専門家は逆音声問題を呼び出します（[5]）。 これらの問題は悪条件であり、正確な解決のためには、目的のパラメーターの値、または特殊な測定を使用して取得できるもっともらしい初期近似値に大きな制限が必要です。



音声処理の観点から、人の発話経路とその明瞭度パラメータの物理的に正確なモデルを取得することは、以下にとって最も重要です。



-法医学検査



-医療診断



-音声合成システム（音声合成システム）



リアルタイムの音声処理では、スピーカーの発話経路に関する事前の知識がなければ、音声生成の正確な物理的/音響的モデリングはほとんど不可能です。 このため、このアプローチを未知の音声での作業に適用することを想像するのは困難です。 理論的には、物理​​的音響的アプローチは、適切な実装で最も信頼できるサウンドを提供するはずです。これは、サウンド生成中に発生するプロセスの直接シミュレーションであるためです。

もっとありふれたアプローチ。 音声管の簡略化された音響モデル。

いくつかの仮定を行うと、上記のモデルから音声経路の簡略化された近似を取得できますが、この近似の周波数応答は実際の測定値に非常に近いです。 この単純化されたモデルの適切な説明は、[3]に記載されています。 暗示されているが[3]の詳細で詳細に説明されていないことに重点を置いて、主なポイントを以下に示します。 上記の仮定は次のように要約されます。



a）「長い」音波（周波数がそれぞれ4000 Hz未満、それぞれ〜9 cm以上）の場合、音声管の曲がり角を無視して、細長い管として表示することができます（前の図を参照）。 このアプローチは、縦音波の伝播のみが考慮される多くの管楽器の音響学の分析に近い。



b）粘性摩擦と熱伝導率に関連する損失を無視することができます。 これらの損失は、高周波領域でのみ顕著に現れ、音響放射による損失と比較してその影響はわずかです。



c）声道の壁の弾性に関連する損失は無視されます。



d）放射面（口および/または鼻）は、球ではなく、平面の穴によって近似されます。



e）空気の空間速度と圧力の関係を記述する微分方程式を解くために、境界条件が導入されます：

-喉頭の領域の音源（声門）u_G（0、t）は声道の圧力変動の影響を受けません。

-唇の領域での声道の出口での圧力（唇）p_L（l、t）は一定です。



f）断面積A（x、t）は離散関数で近似されます。下図を参照してください。 したがって、声道は異なる直径のパイプの連結であるように見えます。 分析の瞬間に、A（x、t）は時間的に静止していると仮定されます。これは短い時間間隔に当てはまります。







このシステムの周波数応答を見つけるには、システムU_n（w）の出力での信号の周波数応答とシステムU_1（w）の入力での信号の周波数応答の比を見つける必要があります。 これを行うには、任意の周波数と振幅特性（U_G（w）* exp（jwt））を持つ複素指数の形式の入力信号を想像してください。 この後、システム内の各パイプに式（1）を順番に適用する必要があります。 パイプの接合部では、空間内の関数u（x、t）およびp（x、t）の連続性の原理を適用できます。 簡単な言葉で：



1）1番目と2番目のセグメントが分析されると仮定します



2）1番目のセグメントの最後の圧力と空気の体積速度は、2番目のセグメントの最初の圧力と空気の体積速度に等しくなければなりません



3）関係を取得します。







関係（2）は、関数p（x、t）とu（x、t）自体、およびそれらの周波数特性P（x、w）とU（x、w）の両方に対して有効です。



分析は、最初から最後まで（喉頭から唇まで）、またはその逆の両方で実行できます。 2番目のオプションはさらに簡単です。 完全な幸福のためには、「最も限界的な」条件を適用するだけです。







値Z_L（w）は、放射面が大きな平面上の小さな穴で近似される場合（条件（d））、周波数といくつかの事前定義定数L_LおよびR_Lの関数として表現できる場合、人間の音声の分析の場合、放射インピーダンスとも呼ばれます。 値Z_G（w）は喉頭の音響インピーダンスであり、定義済みの定数L_GおよびR_Gのいくつかを使用して計算することもできます。 U_0（w）は喉頭の出力での信号の周波数応答です。これは、モデルの周波数分析のために、従来は何らかの複素指数であると仮定していました。



微分方程式の解（1）を使用し、圧力連続性の条件と空間内の空気の空間速度を適用すると、パイプの「チェーン」全体を通過し、初期空気流速U_G（w）を最終速度U_L（w）の関数として表すことができます：







ここで、f_kは、k番目のパイプの方程式（1）の解とk番目のパイプの長さ/面積の両方に依存する特定の関数です。 その後、「入力」と「終了」の比率を見つけるのは比較的簡単です。



説明されているすべての手順は、仮定a）-e）でのみ有効です。 結果として得られる周波数応答は、声道の適切な離散近似（A_kおよびl_k、k = 1：n）の存在下で許容され、さまざまな母音と鼻の子音のフォルマント特性を表します。 鼻の音を説明するには、システムがより複雑になる必要があります。これは、追加の放射面と、軟口蓋が下がったときに発生する音声管の分岐を考慮する必要があるためです。



このモデルでは、熱伝達、粘性摩擦、声道の弾力性に関連する損失を適切に考慮することができますが、基本的な微分方程式はやや複雑になり（関数A（x、t）の形式はより複雑になります）、境界条件が変わります。



音響効果を実装するために、このモデルの使用には、処理された信号からのA_kおよびl_kの値の評価、それらの変更、およびその後の新しいサウンドの合成が含まれます。 入力信号からA_kとl_kを推定する逆問題を解くには、分析時に音声経路を通過した、または少なくともその妥当な近似を持つ励起信号を知る必要があります。 有声音の断片の励起信号を近似するためのかなりの数のモデルがありますが、それらのアプリケーションでは、適切なモデルの選択と処理された信号のパラメーターの選択を決定する必要がありますが、これも常に些細な作業ではありません。 繰り返しますが、さまざまな種類のエラーで、処理された音から音声管の励起信号を復元する方法があります。



励起信号の良好な近似があったとしても、A_kおよびl_kの値を見つけるには、非線形方程式系を解く必要があり、その結果、数値的手法と、すべての結果を伴う最適値の検索につながります。 上記は概念的に（数学的に厳密ではありません！）以下の図に示されています。







この図では、Y（w_k）とG（w_k）は、それぞれ処理された信号とその励起信号の離散スペクトルです。 V（A、I）は、目的のA_kおよびl_kに応じて、声道の周波数応答のモデルです。



信号に関する事前の知識がない場合に上記のすべてを実行できるシステムの実装は、かなり難しいタスクのようです。 このようなシステムをノイズの多い信号でリアルタイムに動作させようとすると、さらに困難が生じます。



一般に、このようなモデルは、音声合成（テキスト読み上げ）のタスクにとって大きな価値があると結論付けることができます。 同様のモデルを使用した未知の入力信号の分析は、非常に疑わしい喜びです。 このモデルには別の視点があり、「私たちの」目標により適しています。

離散フィルターとしての音声経路

まず、前の段落で検討したモデルに別の追加の制限を直ちに導入します。

声道を構成するパイプの長さはすべて同じになります。

l_1 = l_2 = ... = l_n = LEN

次に、パイプの音響に目を向け、パイプの開放端から縦音波が反射される傾向があることを忘れないでください。 言い換えれば、空気速度の関数は、空気「波」の異なる方向に伝播する2つの関数です。u（t、x）= f（u +（t、x）、u-（t、x））。 インデックス+および-によって、前方（喉頭から唇へ）および反対方向に進む音波をそれぞれ示します。 上記の概要を以下に示します。







これは単なる図であることを覚えておくことが重要です。 実際、音はパイプの上部に沿って前方に移動したり、パイプの下部に沿って後方に移動したりしません。 少なくともどういうわけか、これが実際にどのように起こるかを想像するために、cnx.orgからの素晴らしいイラストに目を向けることができます。



前述のことは、式（1）が次の形式の一般的な解を持っているという事実によっても確認されます。







ρはパイプ内の空気の密度、cは音速、A = A（x、t）は時刻tのポイントxでのパイプの断面積であることを思い出してください。 u +（x、t）は前方に向かう空気の空間速度で、u-（x、t）は反対方向にあります。



[3]で述べたように、これらの解決策は、電気回路の解析理論を使用して導き出すことができます。 回路Iの空気体積速度u current; 音響インダクタンスρ/ AインダクタンスL; 音響容量A /（ρc^ 2）容量C



式（5）は、音声管の近似値を構成する各チューブに対して有効です。 ここで、方程式（1）の解の一般的な形式がわかっているので、空間内の圧力と空気の速度の連続性の条件を適用し、分析されたパイプのインデックスをkで表すと、







いくつかの代数変換を行った後（詳細については[3]を参照）、以下を示すことができます。







このシステムの係数r_kは反射係数と呼ばれ、その数値は次のように表現できます。







方程式（6）、（7）でよく見られる値l_k / cは、空気がk番目のパイプを通過するのに必要な時間に数値的に等しくなります。分析中の現在のシステムでは、すべてのパイプの長さがLENに等しいため、空気が距離LENを移動するのに必要な時間をτで示します。



このようなcな方法で、2つの隣接するパイプの順方向/逆方向の空気流の空間速度の関係を反映する関係（7）が得られました。これらの関係をグラフで示します







。主な結論は、隣接するパイプ内の直接/逆気流がこれらのパイプの領域を介して直接相互接続されることです（係数r_k）。





連続時間tから離散への移行では、特定のサンプリング周期T_sの後、信号の各サンプルが別のサンプルに続きます。上の図の各遅延τが1つのサンプリング周期に対応するように、システム内のパイプの数を選択することができます。これを行うには、簡単な例を考えてみましょう。 350 m / sでの音速と0.175 m（17.5 cm）での人間の音声管の平均長をとると、音波は0.0005秒で反射なしで経路全体を通過すると言えます。システムが10本のパイプで構成されているとします。その場合、各パイプの遅延τは約0.00005秒になります。たとえば、この遅延をサンプリング周期Tsに対応させたい場合、この信号に必要なサンプリング周波数F_s = 1 / T_s = 20 kHzを取得します。実際には、逆問題を解決することも可能です-発話路を近似するためのパイプの数は、既存の信号のサンプリング周波数とその録音条件に「調整」されます（たとえば、温度に対する空気速度の依存を考慮に入れます）。システムの許容される複雑さに応じて、システム内のパイプの許容数に厳しい制限がある場合があります。 [3]に示すように、このようなシステムを離散時間で分析するには、すべての再反射空気パルスが2τの倍数でシステム出力に到達するため、2τに等しいサンプリング周期を選択すると便利です。信号伝搬方向（順方向または逆方向）のすべての遅延が反対方向に転送される場合、このアプローチで発生する半カウントの「中間」遅延を取り除くことができます。スペースを節約するための証明は行いません;これについての詳細は、[3]で再度見つけることができます。離散システムの分析理論から思い出すこと：



-は、システムの伝達関数は、通常の用語で表されるZ-変換



- （ - 1）1つのサンプル遅延信号に対応するZ ^乗算



我々は最終的に比較的簡単な方法を以下の3管の例えばなる、声道を表すことができる：







最初と最後の比率反射は境界条件から取得されます（3）。式（3）から形式（1 + r_G）/ 2および（1 + r_L）への詳細な移行も、簡潔にするためにここでは省略します。因子z ^（3/2）は、信号伝搬のすべての中間遅延の逆「分岐」から直線への転送を補正するために追加されました。z^（-1/2）の3遅延は、下「分岐」から上側にアクション係数z ^（3/2）が適用されます。



前の段落から「アナログ」システムからデジタルシステムへの移行により、システムを説明する方程式を大幅に単純化でき、微分方程式（1）の代わりに（7）のような比較的単純な差分方程式を使用して、時間tのみが信号の離散インデックスになります。未知の信号を処理する場合、このモデルの目的のパラメーターは、音声パスを構成するパイプの領域-A_kのみです。 A_kを検索するために使用される方程式系を完全に線形に縮小することはできませんが、その一般的な形式は、前の段落の類似のシステムの形式よりも単純です（方程式系から音声経路の面積と長さを見つける図を使用した図）。

結論

いくつかの仮定を行ったので、Z領域の音声路の一般的な周波数特性は次のようになります（[2]、[3]）。







ここで、G（z）は喉頭の気流の周波数特性、V（z）は周波数声道の特性（ほとんどの場合、A（x、t）に依存します）、R（z）は唇の領域でのサウンドエミッターの周波数応答です。



音声モデリングの問題では、G（z）とR（z）は通常、単純化されたモデル（特に、単純な微分器で表されることが多いR（z））の範囲に近似します。 V（z）は最も人気のあるメンバーであり、この記事は彼に捧げられました。一部の問題では、G（z）をできるだけ正確に推定する必要があります。このメンバーは音声の発声を担当し、特定の人の喉頭の物理的パラメーターによって決定されます。おそらく、G（z）の分析については別の記事が後で書かれます。



音声録音だけで、上記の問題のいずれかが代数的に正確に解決される可能性は低くなります。最適な値を見つけるために数値的方法を使用することのみが可能です。必要な音響効果に応じて、必要なパラメーターのおおよその値を取得したら、これらのパラメーターを変更してから、新しい音響を合成できます。



この記事で説明する音声信号の分析手法は、テキストから音声への音声合成の問題により適しています。ただし、高品質の音声録音とある程度の事前知識があれば、これらのモデルを「私たちの」タスクに適用できます。



次の記事では、音声信号を表現するための、より適用された、おそらくより理解可能なモデルについて説明します。

- LPC（この資料に記載されている行「子孫」が近づく）

-ハーモニックモデル音声信号（位相ボコーダ）

- HPN-モデル



________________________

主要源：

[1] MR Portnoff、時変声道のための準一次元デジタル・シミュレーション

[ 2] NR Raajan、TR Sivaramakrishnan、Y。Venkatramani、音声生成の数学的モデリングとそのノイズキャンセルへの応用（音声強調、モデリングおよび認識の第3章-アルゴリズムと応用）

[3] LR Rabiner、RW Schafer、デジタル処理音声信号

[4] V. N.ソロキン、音声と音声技術の応用問題に関する基礎研究

[5] V.N.ソロキン、I.S。マカロフ、音源の逆問題。