डमीज के लिए भाषण मान्यता

इस लेख में मैं स्पीच रिकग्निशन के रूप में सॉफ्टवेयर विकास के ऐसे दिलचस्प क्षेत्र की मूल बातों पर विचार करना चाहता हूं। स्वाभाविक रूप से, मैं इस विषय का विशेषज्ञ नहीं हूं, इसलिए मेरी कहानी अशुद्धि, त्रुटियों और निराशाओं से परिपूर्ण होगी। हालांकि, मेरे "काम" का मुख्य लक्ष्य, जैसा कि नाम से पता चलता है, समस्या का एक पेशेवर विश्लेषण नहीं है, लेकिन मूल अवधारणाओं, समस्याओं और उनके समाधान का वर्णन है। सामान्य तौर पर, मैं उन सभी से पूछता हूं, जो बिल्ली के नीचे रुचि रखते हैं!

प्रस्तावना

शुरू करने के लिए, हमारा भाषण ध्वनियों का एक क्रम है। ध्वनि, बदले में, विभिन्न आवृत्तियों के ध्वनि कंपन (तरंगों) का एक सुपरपोजिशन (सुपरपोजिशन) है। लहर, जैसा कि हम भौतिकी से जानते हैं, दो विशेषताओं - आयाम और आवृत्ति की विशेषता है।







डिजिटल माध्यम पर ऑडियो सिग्नल को बचाने के लिए, इसे कई अंतरालों में विभाजित करना और उनमें से प्रत्येक पर कुछ "औसत" मान लेना आवश्यक है।







इस तरह, यांत्रिक कंपन आधुनिक कंप्यूटर पर प्रसंस्करण के लिए उपयुक्त संख्याओं के एक समूह में बदल जाते हैं।



यह इस प्रकार है कि भाषण मान्यता का कार्य एक शब्दकोश (रूसी भाषा, उदाहरण के लिए) से संख्यात्मक मूल्यों (डिजिटल सिग्नल) और शब्दों के सेट को "मेल" करना है।



आइए देखें कि वास्तव में, इस "तुलना" को कैसे महसूस किया जा सकता है।

इनपुट डेटा

मान लें कि हमारे पास ऑडियो डेटा के साथ कुछ फ़ाइल / स्ट्रीम हैं। सबसे पहले, हमें यह समझने की आवश्यकता है कि यह कैसे काम करता है और इसे कैसे पढ़ना है। आइए सबसे आसान विकल्प देखें - एक WAV फ़ाइल।







प्रारूप का अर्थ है फ़ाइल में दो ब्लॉक की उपस्थिति। पहला खंड ऑडियो स्ट्रीम के बारे में जानकारी के साथ एक हेडर है: बिटरेट, आवृत्ति, चैनलों की संख्या, फ़ाइल की लंबाई, आदि। दूसरे ब्लॉक में "रॉ" डेटा होता है - वही डिजिटल सिग्नल, एम्पलीट्यूड का एक सेट।



इस मामले में डेटा पढ़ने का तर्क काफी सरल है। हम हेडर पढ़ते हैं, कुछ प्रतिबंधों (संपीड़न की कमी, उदाहरण के लिए) की जांच करते हैं, डेटा को विशेष रूप से आवंटित सरणी में सहेजते हैं।



एक उदाहरण है ।

मान्यता

विशुद्ध रूप से सैद्धांतिक रूप से, अब हम किसी अन्य तत्व के साथ हमारे मौजूदा नमूने की तुलना (तत्व द्वारा) कर सकते हैं, जिसका पाठ हम पहले से ही जानते हैं। यही है, भाषण को "पहचान" करने की कोशिश करें ... लेकिन ऐसा नहीं करना बेहतर है :)



हमारा दृष्टिकोण स्थिर होना चाहिए (ठीक है, कम से कम थोड़ा) आवाज के समय में परिवर्तन (शब्द का उच्चारण करने वाला व्यक्ति), वॉल्यूम और उच्चारण की गति। दो ऑडियो सिग्नलों की तुलनात्मक रूप से, यह, निश्चित रूप से, प्राप्त नहीं किया जा सकता है।



इसलिए, हम थोड़े अलग तरीके से जाएंगे।

फ्रेम्स

सबसे पहले, हम अपने डेटा को छोटे समय के फ्रेम - फ्रेम में तोड़ेंगे। इसके अलावा, फ्रेम एक के बाद एक कड़ाई से नहीं जाना चाहिए, लेकिन "ओवरलैप"। यानी एक फ्रेम के अंत को दूसरे की शुरुआत के साथ काटना चाहिए।



फ़्रेम विशिष्ट सिग्नल मानों की तुलना में डेटा विश्लेषण की एक अधिक उपयुक्त इकाई है, क्योंकि यह विशिष्ट बिंदुओं की तुलना में एक निश्चित अंतराल पर तरंगों का विश्लेषण करने के लिए बहुत अधिक सुविधाजनक है। ओवरलैपिंग फ़्रेम का स्थान फ़्रेम के विश्लेषण के परिणामों को चौरसाई करने की अनुमति देता है, फ्रेम के विचार को एक निश्चित "विंडो" में बदलकर मूल फ़ंक्शन (सिग्नल मान) के साथ आगे बढ़ रहा है।



यह प्रयोगात्मक रूप से स्थापित किया गया था कि इष्टतम फ्रेम की लंबाई 10ms, "ओवरलैप" - 50% के अंतराल के अनुरूप होनी चाहिए। यह देखते हुए कि औसत शब्द लंबाई (मेरे प्रयोगों में कम से कम) 500ms है - यह कदम हमें लगभग 500 / (10 * 0.5) = 100 फ्रेम प्रति शब्द देगा।

शब्द तोड़ना

भाषण मान्यता में हल किया जाने वाला पहला कार्य इस भाषण को अलग-अलग शब्दों में तोड़ना है। सादगी के लिए, मान लीजिए कि हमारे मामले में भाषण में कुछ ठहराव (मौन का अंतराल) होता है, जिसे शब्दों के "विभाजक" के रूप में माना जा सकता है।



इस मामले में, हमें कुछ मूल्य खोजने की जरूरत है, दहलीज - ऊपर के मूल्य जो एक शब्द हैं, नीचे - मौन। कई विकल्प हो सकते हैं:

• एक स्थिरांक द्वारा निर्धारित (यह काम करेगा यदि मूल संकेत हमेशा समान परिस्थितियों में, उसी तरह से उत्पन्न होता है);
• संकेत मूल्यों को क्लस्टर करें, मौन के अनुरूप मूल्यों के सेट को स्पष्ट रूप से उजागर करें (केवल काम करता है यदि मौन मूल सिग्नल के एक महत्वपूर्ण हिस्से पर कब्जा कर लेता है);
• एन्ट्रापी का विश्लेषण;

जैसा कि आप पहले ही अनुमान लगा चुके हैं, हम अंतिम बिंदु के बारे में बात करेंगे :) के साथ शुरू करने के लिए, एन्ट्रापी विकार का एक उपाय है, "किसी भी अनुभव की अनिश्चितता का एक उपाय" (सी)। हमारे मामले में, एन्ट्रॉपी का मतलब है कि किसी दिए गए फ्रेम के भीतर हमारा सिग्नल कितना "उतार-चढ़ाव" है।



किसी विशेष फ्रेम की एन्ट्रापी की गणना करने के लिए, निम्न चरणों का पालन करें:

• मान लीजिए कि हमारा संकेत सामान्यीकृत है और इसके सभी मूल्य सीमा [-1; 1] में हैं;
• फ्रेम सिग्नल मूल्यों के हिस्टोग्राम (वितरण घनत्व) का निर्माण:

हम एन्ट्रापी की गणना करते हैं ;







एक उदाहरण है ।



और इसलिए, हमें एंट्रोपी का मूल्य मिला। लेकिन यह फ्रेम की एक और विशेषता है, और ध्वनि को चुप्पी से अलग करने के लिए, हमें अभी भी कुछ के साथ तुलना करने की आवश्यकता है। कुछ लेख अपने अधिकतम और न्यूनतम मूल्यों (सभी फ्रेम के बीच) के बीच औसत के बराबर एन्ट्रापी दहलीज लेने की सलाह देते हैं। हालांकि, मेरे मामले में, इस दृष्टिकोण ने कोई अच्छा परिणाम नहीं दिया।

सौभाग्य से, एन्ट्रॉपी (मूल्यों के समान माध्य वर्ग के विपरीत) अपेक्षाकृत स्वतंत्र मूल्य है। जिसने मुझे स्थिरांक (0.1) के रूप में इसकी सीमा का मूल्य चुनने की अनुमति दी।



फिर भी, समस्याएं खत्म नहीं होती हैं :( एन्ट्रापी एक शब्द के बीच में (स्वरों में) बिखर सकता है, या यह अचानक थोड़ा शोर के कारण कूद सकता है। पहली समस्या से निपटने के लिए, किसी को "शब्दों के बीच न्यूनतम दूरी" की अवधारणा को पेश करना होगा। और "गोंद" तख्ते के झूठ के सेट के करीब, सबसिडी के कारण अलग हो गया। दूसरी समस्या "न्यूनतम शब्द लंबाई" का उपयोग करके और उन सभी उम्मीदवारों को काटकर हल किया जाता है जिन्होंने चयन नहीं किया है (और पहले पैराग्राफ में उपयोग नहीं किया गया है)।



यदि भाषण, सिद्धांत रूप में, "स्पष्ट" नहीं है, तो आप एक निश्चित तरीके से तैयार बाद के फ्रेम में मूल सेट को तोड़ने की कोशिश कर सकते हैं, जिनमें से प्रत्येक को एक मान्यता प्रक्रिया के अधीन किया जाएगा। लेकिन यह एक पूरी तरह से अलग कहानी है :)

MFCC

और इसलिए, हमारे पास एक निश्चित शब्द के अनुरूप फ़्रेम का एक सेट है। हम कम से कम प्रतिरोध के मार्ग का अनुसरण कर सकते हैं और फ्रेम के संख्यात्मक विशेषता के रूप में इसके सभी मूल्यों (रूट मीन स्क्वायर) के माध्य वर्ग का उपयोग कर सकते हैं। हालांकि, इस तरह की मीट्रिक आगे के विश्लेषण के लिए उपयुक्त बहुत कम जानकारी प्रदान करती है।



यह वह जगह है जहाँ मेल-फ़्रीक्वेंसी सेप्स्ट्राल गुणांक खेल में आते हैं। विकिपीडिया के अनुसार (जो, जैसा कि आप जानते हैं, झूठ नहीं बोलते हैं) एमएफसीसी सिग्नल स्पेक्ट्रम की ऊर्जा का एक प्रकार है। इसके उपयोग के फायदे इस प्रकार हैं:

• सिग्नल स्पेक्ट्रम का उपयोग किया जाता है (अर्थात, ऑर्थोगोनल [सह] साइनसॉइडल फ़ंक्शंस के आधार पर विस्तार), जो हमें आगे के विश्लेषण के दौरान सिग्नल की तरंग "प्रकृति" को ध्यान में रखने की अनुमति देता है;
• स्पेक्ट्रम को एक विशेष मेल-स्केल पर प्रक्षेपित किया जाता है, जिससे मानव धारणा के लिए सबसे महत्वपूर्ण आवृत्तियों को एकल करना संभव हो जाता है;
• गणना किए गए गुणांक की संख्या किसी भी मूल्य (उदाहरण के लिए, 12) द्वारा सीमित की जा सकती है, जो आपको फ्रेम को "संपीड़ित" करने की अनुमति देती है और, परिणामस्वरूप, संसाधित जानकारी की मात्रा;

आइए एक निश्चित फ्रेम के लिए MFCC गुणांक की गणना करने की प्रक्रिया को देखें।



एक वेक्टर के रूप में हमारे फ्रेम की कल्पना करें जहां N फ्रेम का आकार है।

फूरियर का विस्तार

सबसे पहले, हम असतत फूरियर रूपांतरण (अधिमानतः इसके "तेज" एफएफटी कार्यान्वयन) का उपयोग करके सिग्नल स्पेक्ट्रम की गणना करते हैं।







फ्रेम के बॉर्डर पर मूल्यों को "सुचारू" करने के लिए प्राप्त मानों में हेमिंग विंडो फ़ंक्शन को लागू करने की भी सिफारिश की जाती है।







अर्थात्, परिणाम निम्न रूप का एक वेक्टर होगा:







यह समझना महत्वपूर्ण है कि एक्स अक्ष के साथ इस परिवर्तन के बाद हमारे पास सिग्नल की आवृत्ति (hz) है, और वाई अक्ष के साथ हमारे पास परिमाण (जटिल मूल्यों से दूर जाने के लिए एक तरीका है):

मेल फिल्टर की गणना

चलिए शुरू करते हैं कि क्या है। फिर से, विकिपीडिया के अनुसार, औसत लोगों द्वारा व्यक्तिपरक धारणा के आधार पर मेल एक "साइकोफिजिकल यूनिट ऑफ पिच" ​​है। यह मुख्य रूप से ध्वनि की आवृत्ति (साथ ही मात्रा और समय पर) पर निर्भर करता है। दूसरे शब्दों में, यह मूल्य, यह दर्शाता है कि एक निश्चित आवृत्ति की ध्वनि हमारे लिए कितना "महत्वपूर्ण" है।



निम्न सूत्र का उपयोग करके आवृत्ति को चॉक में बदला जा सकता है (इसे "फॉर्मूला 1" के रूप में याद रखें):





उलटा परिवर्तन इस तरह दिखता है (इसे "सूत्र -2" के रूप में याद रखें):





मेल / फ़्रीक्वेंसी प्लॉट:





लेकिन अपने काम पर वापस। मान लें कि हमारे पास 256 तत्वों के आकार के साथ एक फ़्रेम है। हम जानते हैं (ऑडियो प्रारूप पर डेटा से) कि इस फ्रेम में ध्वनि आवृत्ति 16000hz है। मान लीजिए कि मानव भाषण की सीमा [300] से है; 8000] हर्ट्ज। वांछित चाक गुणांक की संख्या सेट है M = 10 (अनुशंसित मूल्य)।



मेल-स्केल पर ऊपर प्राप्त स्पेक्ट्रम को विघटित करने के लिए, हमें "कंघी" फिल्टर बनाने की आवश्यकता है। वास्तव में, प्रत्येक मेल-फिल्टर एक त्रिकोणीय विंडो फ़ंक्शन है , जो आपको एक निश्चित आवृत्ति सीमा पर ऊर्जा की मात्रा को योग करने की अनुमति देता है और इस तरह एक मेल-गुणांक प्राप्त करता है। चाक गुणांक और विश्लेषण की आवृत्ति रेंज की संख्या को जानकर, हम इस तरह के फिल्टर का एक सेट बना सकते हैं:







कृपया ध्यान दें कि चाक कारक की संख्या जितनी अधिक होगी, फ़िल्टर का आधार उतना ही व्यापक होगा। यह इस तथ्य के कारण है कि फिल्टर द्वारा संसाधित की जाने वाली श्रेणियों में हमारे लिए ब्याज की आवृत्ति रेंज का विभाजन चाक पैमाने पर होता है।



लेकिन फिर से हम विचलित हो गए। और इसलिए हमारे मामले के लिए, हमारे लिए ब्याज की आवृत्तियों की सीमा [300, 8000] है। सूत्र -1 के अनुसार, चाक पैमाने पर यह सीमा [401.25] में बदल जाती है; 2834.99]।



इसके अलावा, 10 त्रिकोणीय फिल्टर बनाने के लिए, हमें 12 संदर्भ बिंदु चाहिए:

एम [i] = [४०२.२५, ६२२.५०, 75४३. 10५, १०६५.००, १२.2६.२५, १५०28.५०, १7२.50. ,४, १ ९ ४ ९ .९ २, २१.2२.२४, २३ ९ २.४ ९, २६१३. ,४, २34३४.९९]

ध्यान दें कि चाक पैमाने पर बिंदु समान रूप से दूरी पर हैं। हम फॉर्मूला -2 का उपयोग करके स्केल को वापस हर्ट्ज़ में अनुवाद करते हैं:

h [i] = [३००, ५१.3.३३, 9090१.९ ०, ११०३.९ 14, १४ ९ ०६, १ ९ 1973३.३२, २५५४.३३, ३२६१.६२, ४१२२.६३, ५१.7०. ,६, ६४४६. ,०, ]०००]

जैसा कि आप अब देख सकते हैं, पैमाने धीरे-धीरे फैलने लगे, जिससे निम्न और उच्च आवृत्तियों पर "महत्व" के विकास की गतिशीलता को समतल किया गया।



अब हमें अपने फ्रेम के स्पेक्ट्रम पर परिणामी पैमाने को सुपरिमेट करना होगा। जैसा कि हम याद करते हैं, एक्स अक्ष के साथ हमारे पास आवृत्ति है। स्पेक्ट्रम की लंबाई 256 तत्व है, जबकि यह 16000hz में फिट बैठता है। एक सरल अनुपात हल करने के बाद, आप निम्न सूत्र प्राप्त कर सकते हैं:

f (i) = फ्लोर ((फ्रेमसाइज़ + 1) * h (i) / नमूनारीट)

जो हमारे मामले में बराबर है

f (i) = 4, 8, 12, 17, 23, 31, 40, 52, 66, 82, 103, 128

वह सब है! हमारे स्पेक्ट्रम के एक्स-अक्ष पर संदर्भ बिंदुओं को जानने के बाद, निम्नलिखित फार्मूले का उपयोग करके हमारे द्वारा आवश्यक फिल्टर का निर्माण करना आसान है:

फिल्टर का अनुप्रयोग, स्पेक्ट्रम ऊर्जा का लघुगणक

एक फिल्टर के उपयोग में स्पेक्ट्रम के मूल्यों के साथ इसके मूल्यों के युग्मक गुणन होते हैं। इस ऑपरेशन का परिणाम मेल कारक है। चूंकि हमारे पास एम फिल्टर हैं, इसलिए कई गुणांक होंगे।







हालांकि, हमें स्पेक्ट्रम के मूल्यों पर नहीं बल्कि उसकी ऊर्जा के लिए मेल फिल्टर लगाने की जरूरत है। फिर परिणामों की प्रस्तावना करें। यह माना जाता है कि इस तरह से शोर करने के लिए गुणांक की संवेदनशीलता कम हो जाती है।

कोसाइन ट्रांसफॉर्म

असतत कोसाइन ट्रांस्फ़ॉर्म (DCT) का उपयोग "समान" गुणांक प्राप्त करने के लिए किया जाता है। इसका अर्थ प्राप्त परिणामों को "निचोड़ना" है, पहले गुणांक के महत्व को बढ़ाना और बाद के महत्व को कम करना है।



इस मामले में, DCTII का उपयोग बिना किसी गुणा के किया जाता है (स्केल फैक्टर)।







अब, प्रत्येक फ्रेम के लिए, हमारे पास एम mfcc गुणांक का एक सेट है जिसे आगे के विश्लेषण के लिए उपयोग किया जा सकता है।



अपस्ट्रीम विधियों के लिए नमूना कोड यहां पाया जा सकता है ।

मान्यता एल्गोरिथ्म

यहां, प्रिय पाठक, मुख्य निराशा आपको इंतजार कर रही है। इंटरनेट पर, मैं बहुत अधिक बौद्धिक (और ऐसा नहीं) विवादों को देखने के लिए हुआ, जिसके बारे में मान्यता की विधि बेहतर है। किसी ने छिपे हुए मार्कोव मॉडल की वकालत की, कुछ ने न्यूरल नेटवर्क की वकालत की, किसी के विचार, सिद्धांत रूप में, इसे नहीं समझा जा सकता :)



किसी भी मामले में, एसएमएम के लिए बहुत सारी प्राथमिकताएं दी गई हैं, और यह उनका कार्यान्वयन है जिसे मैं अपने कोड में जोड़ने का इरादा रखता हूं ... भविष्य में :)



फिलहाल, मैं बहुत कम प्रभावी पर रोक का प्रस्ताव करता हूं, लेकिन कई बार सरल तरीके से।



और इसलिए, याद रखें कि हमारा कार्य किसी शब्द को किसी शब्दकोश से पहचानना है। सादगी के लिए, हम पहले दस अंकों के नामों को पहचानेंगे: "एक", "दो", "तीन", "चार", "पांच", "छह", "सात", "आठ", "नौ", "दस"।



अब एक आईफोन / एंड्रॉइड उठाएं और एल सहयोगियों के माध्यम से जाने के लिए उन्हें रिकॉर्ड के लिए इन शब्दों को निर्देशित करने के लिए कहें। इसके बाद, हम (कुछ स्थानीय डेटाबेस या सरल फ़ाइल में) प्रत्येक शब्द L को संबंधित रिकॉर्ड के mfcc गुणांक के सेट के साथ जोड़ते हैं।



हम इस पत्राचार को "मॉडल" कहेंगे, और इस प्रक्रिया को - मशीन लर्निंग! वास्तव में, डेटाबेस में नए नमूनों का सरल जोड़ मशीन सीखने के साथ एक बहुत कमजोर संबंध है ... लेकिन फैशनेबल शब्द बहुत दर्दनाक है :)



अब हमारा कार्य mfcc गुणांक (एक पहचानने योग्य शब्द) के एक निश्चित सेट के लिए "निकटतम" मॉडल के चयन के लिए कम हो गया है। पहली नज़र में, समस्या को काफी सरलता से हल किया जा सकता है:

• प्रत्येक मॉडल के लिए हम पहचाने गए mfcc वेक्टर और मॉडल वैक्टर के बीच औसत (यूक्लिडियन) दूरी पाते हैं;
• वह मॉडल चुनें जो सत्य है, औसत दूरी जिसकी सबसे छोटी होगी;

हालांकि, एक ही शब्द आंद्रेई मालाखोव और उनके कुछ एस्टोनियाई समकक्षों द्वारा सुनाए जा सकते हैं। दूसरे शब्दों में, एक ही शब्द के लिए mfcc वेक्टर का आकार भिन्न हो सकता है।



सौभाग्य से, अलग-अलग लंबाई के अनुक्रमों की तुलना करने का कार्य पहले से ही एक डायनामिक टाइम वारिंग एल्गोरिदम के रूप में हल किया गया है। इस गतिशील प्रोग्रामिंग एल्गोरिथ्म को बुर्जुआ विकी और रूढ़िवादी हैबे दोनों में खूबसूरती से चित्रित किया गया है।



केवल परिवर्तन के लायक एक दूरी खोजने का एक तरीका है। हमें याद रखना चाहिए कि मॉडल का mfcc वेक्टर वास्तव में फ्रेम से प्राप्त होने वाले आयाम M के mfcc "सबवेक्टर" का एक क्रम है। तो, DTW एल्गोरिथ्म को आयाम एम के इन्हीं "सबवेक्टर्स" के अनुक्रमों के बीच की दूरी का पता लगाना चाहिए। यानी फ्रेम के mfcc "सबवेक्टर्स" के बीच की दूरी (यूक्लिडियन) का उपयोग डिस्टेंस मैट्रिक्स के मान के रूप में किया जाना चाहिए।



एक उदाहरण है ।

प्रयोगों

मेरे पास इस दृष्टिकोण के काम को बड़े "प्रशिक्षण" नमूने पर परीक्षण करने का अवसर नहीं था। गैर-सिंथेटिक परिस्थितियों में प्रत्येक शब्द के लिए 3 प्रतियों के नमूने पर परीक्षण का परिणाम दिखाई दिया, इसे हल्के ढंग से रखने के लिए, सबसे अच्छा परिणाम - सही पहचान का 65%।



फिर भी, मेरा काम भाषण मान्यता के लिए अधिकतम सरल अनुप्रयोग बनाना था। तो कहने के लिए "अवधारणा का प्रमाण" :)

कार्यान्वयन

एक चौकस पाठक ने देखा कि लेख में गिटहब परियोजना के कई लिंक हैं। यह ध्यान देने योग्य है कि विश्वविद्यालय के बाद यह मेरी पहली C ++ परियोजना है। यह एक ही विश्वविद्यालय के बाद से अंकगणितीय माध्य से कुछ अधिक जटिल गणना करने का मेरा पहला प्रयास भी है ... दूसरे शब्दों में, यह बिल्कुल कोई वारंटी (सी) के साथ आता है :)