声を変えるタスク。 パート1。声とは何ですか？

この投稿では、声を変えるタスクに関する一連の記事を始めたいと思います。 外国の文学では、このタスクはしばしば音声モーフィングという用語と呼ばれます。国内の文学では、このタスクはまだ科学界と工学界の両方で十分な報道を受けていません。 テーマは非常に広範囲で、大部分が創造的です。 この方向での作業の結果、特定の経験を積むことができました。これらの経験は、体系化して述べ、いくつかのアルゴリズムの本質を伝えることを計画しています。







声を変えることには別の目的があります。 ここで明確に識別できる2つの主な領域は、変化した声の現実的な音を取得することと、奇妙に幻想的な音を受信することです。 2番目のケースでかなり良い結果を得るには、音声信号を通常の音として処理します。その機能に焦点を当てたり、多くの仮定を立てたりする必要はありません。 たとえば、電子音楽業界では膨大な種類のオーディオエフェクトが生成されており、スピーチ信号への適用の結果は、スピーカーの最も素晴らしい画像を作成するのに役立ちます。

現実的な声の変化のタスクでは、「ミュージカル」（そう呼んでみましょう）オーディオエフェクトを使用すると、音声の自然な音の特徴ではない歪みが生じる可能性があります。 このような場合、音声に含まれる音声、音声の形成方法、および知覚に重要な特性をより正確に理解する必要があります。 簡単に言えば、信号を処理する前に分析する必要があります。 音声信号のリアルタイム自動処理では、この分析は何度も複雑になります。 どういうわけか解決を試みなければならない不確実性の数が乗算され、適用可能なアルゴリズムの数が削減されます。

次の記事では、話者の性別の変更や話者の年齢の変更など、効果を最も簡単に実装するためのオプションを検討します。 読者が信号のどのパラメータが変化するかをよりよく理解するために、最初の記事では、発話音の形成の主要な問題と、発話信号の形式的な記述方法に触れます。 その後、提案された特定の音声変更アルゴリズム、それらの長所と短所についてはすでに説明します。



PS

ソースへの追加リンクを追加しました

はじめに

スピーチの音をお互いに別々に考えると、一見特別なものではないように思えるかもしれません。典型的な母音は、本質的にフルートなどの音からそれほど遠くありません。 ただし、スタンドアロンの「真空」サウンドの処理は、多くの人々に実際的な利点をもたらす可能性は低い-連続音声信号の処理ははるかに魅力的に見える。 処理された音声の自然な響きのアイデアは、二重に魅力的です。 このタスクはすでにはるかに複雑です-自然な連続したスピーチでは、音が非常に速くスムーズに流れるため、経験のある人でも処理時に明確に線を引くことができません。 そして、あなたがすべてのスピーチの音に同じように近づくと、自然な音は出ません。



音声信号は、いわば「楽器」の音よりも「汎用的」です。 比較的狭い周波数帯域を占めるスピーチは、プロの俳優による意図的な声の変化は言うまでもなく、非常に多様な基本音で構成されています。 さらに、これらの基本的な音は性質が異なり、その結果、標準的な信号分析と処理アルゴリズムの点で特性が異なります。



人間の声の経路は、おそらくすべての既知の動物と比較して最も完璧で柔軟であり、生成されるさまざまな音に楽器の大部分を残しています。 音声信号の分析と変更における主な難しさは、まさにこの多様性と、基本音響ユニットの分離と処理に関連する大きな不確実性にあります。 すべての音声を処理するのに適したアルゴリズムはありません。 さらに、感情的、身体的状態、単語内の音の場所などに応じて、同じ基本音を異なる発音ができます。 発音の個々の特徴、文化的および言語的要因、医学的病理学-これらはすべて、発音された音にも影響します。

サウンド制作、一般

音声信号の処理の詳細を理解するために、スピーチの音の構成の問題と、これらの音がどのように形成されるかをさらに詳しく考えてみましょう。 通常、音の生成プロセスは、発声と明瞭度という2つの基本概念を使用して説明されます。それらを順番に説明します。



発声は、人間の喉頭で発生する音形成のプロセスの一部です。 それはすべて肺の圧迫から始まります-これは肺から気管を通って喉頭に入る空気を動かします。 この気流の速度はほぼ一定で、ゆっくりと変化します。 喉頭には、声帯が「付着」している2つの声帯で形成された声門があります。 靭帯にエネルギーが供給されると、声門は周期的に開閉し、したがって、吸入空気流から空気パルスを形成します。 各パルスは、声門を通過する空気の体積速度で表すことができ、その瞬間値をU（t）として表します。 人間の耳は圧力の変動を知覚しますが、これは空気速度の変化の影響を受けます。したがって、体積速度の一次導関数dU / dtに関心があります。 より視覚的な説明のために、以下の図に注意を払うことができます。 U（t）モデルとその1次導関数が表示されます。どちらのグラフもローゼンバーグモデルを使用して取得されました。







上のグラフは、声門の出力における時間のU（t）の値を反映しています。 下のグラフは、U（t）の最初の時間導関数を示しています。これは、声門の出口での圧力変化の本質です。 圧力のこの周期的な変化は、それ自体既に音です。 この音は、ノイズと高調波成分で構成されています。 ノイズ成分は、U（t）の急激な増加と声門の不完全な閉鎖による乱流によって形成されます（上の図のモデルはノイズ成分を考慮していません）。 高調波成分は、すべての2次高調波（倍音とも呼ばれます）の周波数が、基本周波数と呼ばれる最初の最低高調波の周波数の倍数である高調波系列で表すことができます。 （下の図を参照）。







一言で言えば、これらの高調波の形成の物理学を説明することはできません;このため、別の記事を書くことをお勧めします。 ここでの主なことは、靭帯が機能しているときに喉頭から完全に調和の取れた音が出てくることを覚えておくことです。 基本音の周波数の数値は、声帯の収縮の周波数に等しく、声帯の長さ、密度、張力の関数です。



弛緩した靭帯と絶えず開いている声門では、気流は「カット」しません。つまり、この場合の気流は特定の一定値の周りでわずかに変動し、生成された音にはノイズの性質があります。この信号のスペクトルの例を以下に示します。







発声の結果は特定の音であり、これはしばしば「音声経路励起信号」と呼ばれます。 この基本的な信号（ハーモニックかどうか）が音声パスを通過するときに、会話中に聞こえる最終的な音がさらに形成されます。



要約：発声の主な「楽器」は、声門を形成し、声帯によって駆動される2つの声帯です。 靭帯は周期的に収縮するか、リラックスした状態になり、それぞれ有声音または無声音の形成につながります。



発声、特に発声の研究では、機械、熱力学、音響、統計、心理音響などのさまざまな観点からこのプロセスを考慮した膨大な数の作品が費やされました。 有声発声中に生成された空気パルスの不完全性、その形状と周波数のランダムな変化が、音の自然性に強く影響することが確実に確立されています。 たとえば、提供されたリンクでサウンドを聞くことができます。サウンド「A」を発音するときに、最初の図のモデルと記事の著者のスピーチパスのパラメーターを使用して合成されます。 この音が誰かに「ライブ」で自然に見えるとは思いません。 人間の耳は、人工励起信号を使用して合成された音を正確に決定します。これにより、このプロセスの統計的研究の重要性が大幅に高まります。







アーティキュレーションには、音声再生中に声道のすべての要素の状態を変更するプロセスが含まれます。 発声は調音の一部です。 音声信号は、励起信号が通過するカメラとチューブの組み合わせ（右の図を参照）で簡単に表すことができます。 喉頭の上にある声道弓の狭小化と拡大は、追加の（声門に加えて）乱流ゾーンを形成する空気流の速度にさらに影響します。 同時に、声道の空洞は音響共振器に似ており、それらを通過すると、いくつかの音の周波数が増幅されて弱められます。 声道の筋肉により、人は声道の房の形状を制御し、気流の障害（舌、歯、唇）を作り出すことができます。



大まかな概算では、上記を次のように要約できます。

明瞭度=発声+発話路の筋肉の働き、

ここで、発声は発声することも発声しないこともでき、個々の筋肉の収縮は時間の関数です。



口語スピーチを学習する過程で、人は特定の音を受信するために関節器官の仕事を調整することを学びます。 個々の解剖学的特徴により、すべての人の同じ音はわずかに異なって聞こえます。これは、私たちが人の声を区別する重要な要素の1つです。 声帯と声道の他の筋肉の協調作業により、母音、子音、混合音および移行音の形成が可能です。 さらに、これらのグループを簡潔に検討することを提案します。一般的には、それらの明瞭度と主な特徴を説明します。

音声の最も単純な分類

学校から、スピーチの音はすべて最初は母音と子音に分けられていたことが知られています。 母音は、有声興奮信号が声門から声道の残りの部分を通過するときに形成され、同時に一定の幾何学的形状を占めます。 このプロセスは、振動する弦がギターの本体を通過する音によく似ています。 人間の声の場合、「弦」は周期的に収縮する声門であり、身体はその上にあるすべてのものです。 ギターの本体がいくつかの「事前学習済み」形式のいずれかをとると想像すると、母音との類似性を引き出すことができます。喉頭は有声励振信号を生成し、音声路は形式の1つを取り、母音を生成します。



声道のジオメトリを変更すると、人は音響共鳴特性を変更します。 その結果、一部の周波数は増幅され、一部の周波数は著しく減衰します。 強化ゾーンは通常、フォルマント周波数またはフォルマントと呼ばれます。 母音は、フォルマント構造（右の図を参照）が互いに正確に異なります。これは、発話形成時の音声管のジオメトリに依存します。これが、人が耳で区別する方法です。 フォルマント周波数の正確な数値は、個人ごとに異なります。 ただし、互いの相対的な距離は、すべての人でほぼ同じ割合になります（そうでなければ、たとえば、さまざまな人が発音する「O」の音をどのように認識できますか）。



次に、子音に移りましょう。 その数は母音の数を大幅に上回り、その音ではサブクラスに分類できます。 実際の生活でよくあることですが、多くの現象には多くのクラスの特徴があり、明確な分類は非常に困難です。 子音も例外ではありません。 クラスへの分類は、問題の言語と使用される音声理論に依存します。 3つの主要なグループで構成される最も一般的な分類を検討します。

摩擦音子音

-子音子音

-ソナー子音



摩擦子音は、気道の「摩擦」によって形成され、声道を狭め、空気を遮ります。 これらのくびれや障害物は、空、舌、歯、唇などによって作成されます（、、、...の音）。 声道の空洞は同時に（条件付きで）一定の位置を占めます。 くびれや障害物が空気圧の局所的な変化を引き起こし、それが乱流のゾーンを作成します。 この方法で生成された乱流ノイズはもはや白ではなく、色があります







母音の場合のように、生成されたノイズ信号はいくつかの音響フィルター（スピーチパスカメラ）を通過し、このノイズに特徴的なスペクトル形状と音を与えます。



閉じた子音は、声門が開いた状態で関節器官によって声道を完全に遮断することにより形成されます。 同時に、肺から開いた声門を通って来る空気が圧力を高め、障害物が突然開くと、「爆発的な」音（K、P、Tなどの音）が発生します。 たとえば、音「P」を発音するとき、人は唇を閉じますが、彼の肺は圧力を蓄積し続けます。 その後、唇が突然開き、作成された圧力の痙攣性の差により、おなじみの音「P」が作成されます。 時間領域の画像を以下に示します：







音を発音しようとする3つの試みはすべて、時間領域で互いに大きく異なることに注意してください。 同時に、それらを耳で区別することは非常に困難です。

いくつかの参照音を持つ単語のスペクトログラムの例を以下に示します。







また、摩擦音の子音とアクセントのある子音の両方が「声を出す」ことができることに注意する必要があります。 「音声」子音は、声帯の操作と同時に子音を発音することによって形成される本質的に混合された音です。 たとえば、サウンド「P」を発音するときに説明した手順を実行し、声帯の機能を追加すると、サウンド「B」が得られます。 ただし、それらが時間領域の母音と子音の単純な重ね合わせであるとは言えません。 サウンド「C」を録音して、録音したサウンド「E」に追加して、出力でサウンド「Z」を取得することはできません。 明確に、有声子音は有声励起信号を使用して形成されるとしか言えません。



強い乱流ノイズを含まない音の子音を区別するのが習慣です。それらを発音すると、空気（L、P、M、N、Y）の追加の通路が作成されるためです。 ただし、それでも次のような障害が発生します（言語、舌+歯、舌+空）。

-初期高調波系列の多くの高調波が大幅に減衰します

-一般に、顕著な音のエネルギーは減少します

-ノイズ音がいくつか表示されます。

音「M」と「H」は鼻音です-口腔内に重大な障害が作成され、鼻咽頭は空気の通過のために完全に開いています。 この場合の口腔は追加の共鳴腔であり、鼻腔が音の主な放出源になります。 「P」という音は、いわゆる「イースト」音のグループを指します。 スペクトルのあるソノラスな音は母音に非常に似ています。 スペクトログラムを見ると、特に母音になった場合、短期の発生を区別するのが難しい場合があります。 音「L」、「P」、「Y」は、作曲中の明るいドミナントフォルマントを区別できる可能性があるため、多くの著者によって半母音に起因します。



音と一時的な音について一言話す価値があります。 彼らの教育は、連続的な発話で人の関節の器官が自分の位置を取り、即座に変えることができないという事実に関連しています。 このプロセスは時間内にスムーズに行われます。 音声学では、別の音を発音する3つの段階を区別するのが習慣です：遠足、持久力、再帰。 ツアー中、調音器官は音の形成に必要な初期位置を取ります。 露出中、音自体が発音されます。 再帰中、オルガンは休息するか、再構築されて次の音の発音を開始します。一方の音の再帰はもう一方の音の遠近に重ねられます。 このような調音は多くの倍音に影響しますが、原則としてアルファベットでは入力されませんが、音声信号で非常に適切に分類および強調表示できます（残念ながら、常に自動的にではありません）。 例として、 著者がすでに使い果たした音「P」のスペクトログラムを、その個別の発音とともに、音節「PE」の一部として引用することができます。







音「P」の発音の違いの違いは、肉眼で見ることができます。 唇を開いた瞬間、声道はすでに軟化した「E」を発音する位置を占めていました。これは「P」の発音にも影響を与えました。 同様の変容は、ほとんどすべての子音で発生します-母音に対するそれらの位置は、「外観」と音に大きく影響します。



母音と子音に関するいくつかの事実：

1.母音は調和のとれたフォルマント構造を持っています。 子音は本質的にうるさいですが、顕著な倍音成分を持つ場合があります（下の図、「B」、「L」の音）。



2.母音は子音よりも多くのエネルギーを運び、その主要部分（第1および第2フォルマント）は400〜3000 Hzの範囲にあります。 子音はエネルギーが著しく少ない。 子音の大部分では、このエネルギーのかなりの部分が2〜10 KHzの領域に集中しています。 一例を以下に示します。







3.母音の長さは子音よりも長い（100〜300ミリ秒対30〜100ミリ秒。ただし、正確な正確な数は言語と人によって大きく異なります）



4.エネルギーと持続時間は短くなりますが、子音は奇妙なことに基本的な音声情報を伝えます。 良い例として、Rabinerの優れたパズルを検討できます。

フレーズを回復

「Th_y n_t_d s_gn_f_c_nt _mpr_v_m_nts _n th_ c_mp_n_s _m_g_、...」（企業イメージの大幅な改善に気づいた、...）、

に対して

「A__i_u_e_ _o_a___ _a_ __a_e_ e_e__ia___ __e _a_e、...」（支払に対する態度は基本的に同じままでした...）。



連続的なスピーチのスピーチ信号は、スピーカーの特性と発音音に応じて、5〜100ミリ秒の期間にわたって条件付きで静止していると見なすことができます。 分析の期間が長くなると、信号の特性が大幅に変化する可能性が高くなり、平均化されたパラメーターの推定が失敗する可能性があります。 信号処理の他の分野と同様に、ノイズの問題は大きな問題を引き起こす可能性があります。特に、高調波の性質および/またはフォルマントとの類似性（比較的エネルギーの高い周波数領域）が大きくなります。



この短いレビューでは、発話の形成と発話音の分類のプロセスに関する基本的な情報のみを提供します。 非常に最初の近似でも、各発音音は、個人ごとにかなりの数のパラメーターに依存します。 これらの生理学的パラメータの正確な測定は、最新の医療機器を使用しても常に可能とは限りません。 処理された信号の最も現実的なサウンドを得るために目標を設定する場合、これらのパラメーターの多くは何らかの方法で評価する必要があり、唯一の方法は最適な値を見つけることです。 同様のアプローチでは、ほとんどの場合、再構築された音声信号にアーティファクトが含まれますが、場合によってはより多く、場合によっては聞こえにくくなります。 人生を複雑にし、リアルタイムで音声を処理するタスクを設定すると、これらの最適な値の検索は、入力信号が処理されるときにのみ可能になります。

次の記事では、ある程度まで多くの問題を解決するのに役立つ基本的なツールの概要を説明します-音声信号を表すためのモデルを簡単に検討します。 また、再合成中にこれらのモデルのどのパラメーターを調整して出力サウンドを変更できるかを示します。



___________

使用された文献：

[1] I. Aldoshina、心理音響学の基礎、記事集。

[2] LR Rabiner、B.-H。 Juang、音声認識の基礎

[3] LR Rabiner、RW Schafer、音声信号のデジタル処理

[4] V.N. ソロキン、音声合成

[5] www.phys.unsw.edu.au/jw/glottis-vocal-tract-voice.html