👨🏼‍🤝‍👨🏻 💹 ➖ MS Visual Studio पर GStreamer के लिए एक प्लगइन लिखना 🤲🏼 💻 👩🏿‍🚒

मुझे हमेशा वास्तविक समय के वीडियो प्रसंस्करण अनुप्रयोगों में दिलचस्पी रही है। Habré पर मैंने मल्टीमीडिया फ्रेमवर्क Greareamer के बारे में लेखों की एक श्रृंखला पढ़ी:

मैं वास्तव में इसके उपयोग के साथ कुछ करना चाहता था। लेकिन, जैसा कि आमतौर पर होता है, वर्तमान कार्यों ने खाली समय संसाधन को पूरी तरह से समाप्त कर दिया।

और एक बार, एक परियोजना पर काम करने की प्रक्रिया में, मुझे सुविधा पर एक वीडियो निगरानी प्रणाली को व्यवस्थित करने और इसे लेखा प्रणाली में एकीकृत करने की आवश्यकता थी। यह कार्य हमारी कंपनी के विशेषज्ञों द्वारा सफलतापूर्वक हल किया गया था और यह आम जनता के ध्यान के योग्य नहीं है। Microsoft .NET पर अकाउंटिंग सिस्टम चलता है, सभी कैमरे H264 RTSP स्ट्रीम जारी करते हैं। वीडियो पर कब्जा करने के लिए, स्ट्रीमकोडर्स से वाणिज्यिक मीडियासुइट लाइब्रेरी का उपयोग किया जाता है।

एक बोनस के रूप में, मैंने खुद को वीडियो को पकड़ने और संसाधित करने के लिए GStreamer के साथ प्रयोगों की एक श्रृंखला आयोजित करने की अनुमति दी।

शुरुआत करने के लिए, मैंने वाहनों को तौलने के लिए तराजू के उद्देश्य से कैमरों में से एक से स्ट्रीम को पकड़ने का प्रयास करने का फैसला किया, फ्रेम को लाइसेंस प्लेट मान्यता उपतंत्र में स्थानांतरित किया और वीडियो के लिए मान्यता परिणाम लागू किया। उपरोक्त उदाहरण में, मैं एलपीआर को कार्यात्मक नहीं कहूंगा, बस फ्रेम को रोकें और उस पर एक आयत खींचें।

तो, दिया गया:

RTSP H264 स्रोत
विंडोज 7 32-बिट सिस्टम
एमएस विज़ुअल स्टूडियो 2010
सी ++ भाषा
Gstreamer 1.0

आपको मिलना चाहिए:

वीडियो स्ट्रीम जिसमें संसाधन परिणाम हैं

समाधान विधि:

1.0 स्टीमर के लिए प्लगइन विकास

GStreamer डेवलपर को उसकी श्रेणी पदानुक्रम प्रदान करता है। हमारे उद्देश्यों के लिए, हम GstElement वर्ग से अपना प्लगइन इनहेरिट कर सकते हैं। GstElement एक तत्व को विकसित करने के लिए आवश्यक आधार सार वर्ग है जिसे GStreamer थ्रेड को संसाधित करने में उपयोग किया जा सकता है।

GStreamer स्थापित करें

GStreamer gstreamer-1.0-xxx-1.2.4.msi डाउनलोड और इंस्टॉल करें। आप इसे यहाँ ले जा सकते हैं।

विकास के लिए, हमें gstreamer-1.0-devel-xxx.msi वितरण की भी आवश्यकता होगी, उदाहरण के लिए, gstreamer-1.0-devel-x86-1.2.4.msi। स्थापना के दौरान, आवश्यक विकल्पों का चयन करें:

आगे देखते हुए, मेरा कहना है कि विंडोज डिवाइस ड्राइवर किट 7.1.0 को स्थापित करना बेहतर होगा। डिफ़ॉल्ट रूप से, यह C: \ WinDDK \ 7600.16385.1 पर सेट होता है और यही वह जगह है जहाँ विज़ुअल स्टूडियो प्रोजेक्ट बनाते समय इसके लिए दिखेगा। यदि आपके पास पहले से अलग तरीके से डीडीके स्थापित है, तो इसे बाद में सीधे परियोजना सेटिंग्स में तय किया जा सकता है।

GStreamer परियोजना वेबसाइट, अन्य प्रलेखन के अलावा, प्लगइन डेवलपर्स के लिए एक गाइड है । आप स्वयं सभी कोड लिखने के लिए मैनुअल पढ़ सकते हैं, लेकिन आप रिपोजिटरी से प्लग-इन प्रोजेक्ट टेम्पलेट डाउनलोड कर सकते हैं।

टेम्पलेट में C ++ स्रोत फ़ाइलें और प्लगइन कोड उत्पन्न करने के लिए एक स्क्रिप्ट है। जैसा कि मैनुअल कहता है, रिपॉजिटरी से टेम्पलेट को तैनात करने के बाद, आपको gst-template / gst-plugin / src directory में जाना होगा और ../tools/make_element यूटिलिटी को चलाना होगा। Make_element यूटिलिटी के दो पैरामीटर हैं: प्लगइन का नाम (डमी), उपयोग की जाने वाली स्रोत फ़ाइल का नाम (डिफ़ॉल्ट रूप से gstplugin)।

निष्पादन के परिणामस्वरूप, हमें दो फाइलें मिलती हैं: gstdummy.c और gstdummy.h। अंदर डमी प्लगइन का एक कंकाल होगा, जो अभी भी बेवकूफ है और कुछ भी नहीं करता है, लेकिन पहले से ही प्लगइन रूपरेखाओं के सिस्टम में बनाया जा सकता है।

एक छोटी सी टिप्पणी: उपरोक्त सभी लिनक्स, यूनिक्स मशीनों के लिए सच है, लेकिन विंडोज के शोकाकुल मालिकों के बारे में क्या? Cmd.exe Make_element निष्पादित नहीं करेगा। यदि आप मेक_लेमेंट के अंदर देखते हैं, तो यह स्पष्ट हो जाता है कि वह कुछ भी जटिल नहीं कर रहा है, और स्ट्रीम एडिटर की मदद से, sed इसे दिए गए मापदंडों के आधार पर लक्ष्य स्रोत बनाता है। आप इसे स्वयं कर सकते हैं। बस के मामले में, मैंने एक रिपॉजिटरी बनाई, जहां मैं अपने टेस्ट प्रोजेक्ट को विकास के पाठ्यक्रम में रखूंगा: github.com/nostrum-service/gst ।

हमने प्रारंभिक काम करने के बाद, एमएस विज़ुअल स्टूडियो 2010 में सीधे प्रोजेक्ट बनाने का समय आ गया। सौभाग्य से, GStreamer डेवलपर्स ने विज़ुअल स्टूडियो उपयोगकर्ताओं का ध्यान रखा और प्रोजेक्ट को वितरण किट में बनाने के लिए आवश्यक सभी चीज़ों को रखा। आपको केवल Visual Studio की निर्देशिकाओं में फ़ाइलों को सही ढंग से रखने की आवश्यकता है।

आपको जो कुछ भी चाहिए वह gstreamer \ 1.0 \ x86 \ share \ vs \ 2010 निर्देशिका में है।

हम बाहर ले:

xcopy c:\gstreamer\1.0\x86\share\vs\2010\gst-template\*.* "C:\Program Files\Microsoft Visual Studio 10.0\VC\VCWizards\gst-template\*.*" /s /e /c xcopy C:\gstreamer\1.0\x86\share\vs\2010\wizard\*.* "C:\Program Files\Microsoft Visual Studio 10.0\VC\vcprojects\"

हम विज़ुअल स्टूडियो शुरू करते हैं (या इसे फिर से शुरू करें ताकि यह नई सेटिंग्स देखें), एक नया प्रोजेक्ट बनाएं, और स्थापित टेम्प्लेट में से विजुअल C ++ \ gst-dk-टेम्पलेट चुनें।

यदि सब कुछ ठीक हो गया, तो आवश्यक सेटिंग्स के साथ एक खाली परियोजना बनाई जाएगी। चूंकि हम एक प्लगइन बनाना चाहते हैं, प्रोजेक्ट सेटिंग्स पर जाएं और प्रोजेक्ट विवरण कॉन्फ़िगरेशन प्रकार में एप्लिकेशन (.exe) से डायनामिक लाइब्रेरी (.dll) में बदलें।

प्रॉपर्टी मैनेजर विंडो में, हम निम्नलिखित चित्र का अवलोकन करते हैं (आप प्रॉपर्टी मैनेजर को सक्षम कर सकते हैं देखें-> अन्य विंडोज-> प्रॉपर्टी मैनेजर)

आपको उन फ़ाइलों को शामिल करना होगा जो पहले बनाए गए खाली प्रोजेक्ट में make_element यूटिलिटी का उपयोग करके बनाए गए थे।

हम संकलित करते हैं, यदि सब कुछ सही है, तो हमें एक तैयार-निर्मित DLL मिलता है जिसे GStreamer प्लगइन निर्देशिका में कॉपी किया जाना चाहिए (मेरे पास C: \ gstreamer \ 1.0 \ x86 \ lib \ gstreamer-1.0 \) है।

बस मामले में, जाँच करें: gst-inspect-1.0 डमी। यहां हम देखेंगे कि GStreamer ने हमारे प्लगइन के बारे में क्या सीखा।

न्यूनतम प्लगइन सुविधाएँ

श्रृंखला में प्लगइन को एम्बेड करने के लिए, हमें निम्नलिखित जीवन चक्र को लागू करने की आवश्यकता है:

अपने बारे में रूपरेखा बताएं (कक्षा को आरंभ करें)
प्लगइन उदाहरण को इनिशियलाइज़ करें
प्रक्रिया धागा कनेक्शन प्रक्रिया
इनपुट के साथ कुछ करें और इसे आउटपुट में पास करें
अंत में, कब्जे वाले संसाधनों को साफ़ करें

मेटाडाटा

प्लगइन के बारे में मेटाडेटा प्रदान करने के लिए, हमारे पास एक फ़ंक्शन है

स्थिर शून्य gst_dummy_class_init (GstdummyClass * klass)

हमारे उदाहरण में, डमी तत्व में बुलियन का एक मौन गुण है, जो एक धारा को संसाधित करते समय पाठ प्रदर्शित करने के लिए जिम्मेदार है।

  gobject_class->set_property = gst_dummy_set_property; gobject_class->get_property = gst_dummy_get_property; g_object_class_install_property (gobject_class, PROP_SILENT, g_param_spec_boolean ("silent", "Silent", "Produce verbose output ?", FALSE, (GParamFlags)G_PARAM_READWRITE));

इस कोड के साथ, हम GStreamer पर्यावरण को सूचित करते हैं कि प्लगइन में साइलेंट प्रॉपर्टी है, यह बुलियन का है, प्रतिनिधि gst_dummy_set_property इसकी स्थापना के लिए जिम्मेदार है, रीडिंग gst_dummy_get_property है, यह पढ़ने और लिखने के लिए सुलभ है, डिफ़ॉल्ट मान FALSE है। अगला, हम कनेक्शन बिंदुओं को प्लगइन - पैड्स में पंजीकृत करते हैं।

  gst_element_class_add_pad_template (gstelement_class, gst_static_pad_template_get (&src_factory)); gst_element_class_add_pad_template (gstelement_class, gst_static_pad_template_get (&sink_factory));

हम इनपुट पैड सिंक को परिभाषित करते हैं, जो हमेशा उपलब्ध होता है - GST_PAD_ALWAYS और किसी भी प्रारूप GST_STATIC_CAPS ("कोई भी") को स्वीकार करता है।

 static GstStaticPadTemplate sink_factory = GST_STATIC_PAD_TEMPLATE ("sink", GST_PAD_SINK, GST_PAD_ALWAYS, GST_STATIC_CAPS ("ANY") );

हम आउटपुट पैड src निर्धारित करते हैं, जो हमेशा उपलब्ध होता है - GST_PAD_ALWAYS और किसी भी प्रारूप GST_STATIC_CAPS ("कोई भी") का उत्पादन करता है।

 static GstStaticPadTemplate src_factory = GST_STATIC_PAD_TEMPLATE ("src", GST_PAD_SRC, GST_PAD_ALWAYS, GST_STATIC_CAPS ("ANY") );

उदाहरण प्रारंभिक

पाइपलाइन निर्माण प्रक्रिया के दौरान, GStreamer वातावरण प्लगइन उदाहरण आरंभीकरण फ़ंक्शन को कॉल करता है:

 static void gst_dummy_init (Gstdummy * filter)

जिस प्रवेश द्वार पर संरचना भरी जानी है, उसकी आपूर्ति की जाती है:

 struct _Gstdummy { GstElement element; GstPad *sinkpad, *srcpad; gboolean silent; };

प्लगइन के इनपुट पर होने वाली घटनाओं को संभालने के लिए, आपको उपयुक्त प्रतिनिधि को निर्दिष्ट करना होगा:

 gst_pad_set_event_function (filter->sinkpad, GST_DEBUG_FUNCPTR(gst_dummy_sink_event));

स्ट्रीम कनेक्शन

जब घटनाएँ इनपुट इनपुट पर होती हैं, तो हमारे मामले में फ़ंक्शन को बुलाया जाएगा:

 static gboolean gst_dummy_sink_event (GstPad * pad, GstObject * parent, GstEvent * event)

जो अभी तक कुछ नहीं करता है।

ट्रायल रन

अब आप चलाने की कोशिश कर सकते हैं - gst-launch-1.0 videotestsrc! डमी! autovideosink –v। यह कमांड वीडियो प्लगइन द्वारा उत्पन्न टेस्ट वीडियो स्ट्रीम को हमारे प्लगइन में स्थानांतरित करता है, जो इसे ऑटोवाइडोसिंक वीडियो प्लेयर में बदलाव के बिना आगे स्थानांतरित करता है। कुंजी v आपको यह देखने की अनुमति देता है कि पूरी श्रृंखला कैसे संसाधित होती है।

यदि हमने एक परीक्षण चित्र देखा, तो इसका मतलब है कि हमारे प्लगइन ने इसके इनपुट से आउटपुट में सफलतापूर्वक डेटा स्थानांतरित कर दिया है।

हमारे मामले के लिए, प्रसंस्करण के उत्पादन में निम्नलिखित शामिल होंगे:

 /GstPipeline:pipeline0/GstVideoTestSrc:videotestsrc0.GstPad:src: caps = video/x-raw, format=(string)I420, width=(int)320, height=(int)240, framerate=(fraction)30/1, pixel-aspect-ratio=(fraction)1/1, interlace-mode=(string)progressive

यह इस प्रकार है कि वीडियोस्टेस्टसके0 नामक GstVideoTestSrc वर्ग का एक उदाहरण पैड src प्रदान करता है, जो I420 प्रारूप में 320 के 240 के फ्रेम आकार के साथ एक वीडियो / एक्स-रॉ स्ट्रीम जारी करता है, आदि।

चूंकि हमारा प्लगइन किसी भी प्रारूप को स्वीकार कर सकता है, इसका इनपुट वीडियोटैस्टेस्क0 के आउटपुट से जुड़ा था:

 /GstPipeline:pipeline0/Gstdummy:dummy0.GstPad:sink: caps = video/x-raw, format=(string)I420, width=(int)320, height=(int)240, framerate=(fraction)30/1, pixel-aspect-ratio=(fraction)1/1, interlace-mode=(string)progressive

आगे गोता

यह पता लगाने के बाद कि यांत्रिकी काम कर रहे हैं, हम अपने लक्ष्य के लिए कई कदम उठाने की कोशिश करेंगे। समाधान के विकास को स्पष्ट करने के लिए, मैंने प्रोजेक्ट में एक और चित्रकार प्लगइन जोड़ा, जो छवि पर एक आयत खींचेगा।

आप किसी भी पुस्तकालयों को शामिल किए बिना एक आयत बना सकते हैं, लेकिन मैं ओपनसीवी का उपयोग करना जारी रखना चाहता था।

नया प्लगइन जोड़ते समय, इसके पंजीकरण की समस्या है, क्योंकि रजिस्ट्रार को प्रति प्रोजेक्ट एक होना चाहिए। इस संबंध में, GstTestLib.cpp फ़ाइल पेश की गई, जिसमें दोनों प्लगइन्स का पंजीकरण कोड है।

 struct _elements_entry { const gchar *name; GType (*type) (void); }; static const struct _elements_entry _elements[] = { {"dummy", gst_dummy_get_type}, {"painter", gst_painter_get_type}, {NULL, 0}, }; static gboolean plugin_init (GstPlugin * plugin) { gint i = 0; while (_elements[i].name) { if (!gst_element_register (plugin, _elements[i].name, GST_RANK_NONE, (_elements[i].type) ())) return FALSE; i++; } return TRUE; }

चित्रकार के लिए, मैंने इनपुट स्ट्रीम प्रारूप पर अधिक कठोर प्रतिबंध बनाए। अब यह इस तरह दिखता है:

 static GstStaticPadTemplate sink_factory = GST_STATIC_PAD_TEMPLATE ("sink", GST_PAD_SINK, GST_PAD_ALWAYS, GST_STATIC_CAPS ( GST_VIDEO_CAPS_MAKE ("{ BGRx }") ) );

इसका मतलब है कि किसी भी रिज़ॉल्यूशन और फ्रेम दर के साथ बीजीआरएक्स प्रारूप में स्ट्रीमिंग वीडियो इनपुट हो सकता है। OpenCV डिफ़ॉल्ट रूप से BGR स्कीम का उपयोग करता है। आप यहां रंग योजनाओं और परिवर्तनों के बारे में पढ़ सकते हैं।

चूंकि कैमरा जो मुझे दिलचस्पी देता है वह आरटीएसपी एच 264 स्ट्रीम देता है, हमें इसे डिकोड करने और वीडियोकॉनवर्ट कनवर्टर के इनपुट को खिलाने की आवश्यकता है। हमारा परीक्षण मामला इस तरह दिखेगा:

 gst-launch-1.0 -v rtspsrc location=rtsp://10.10.0.15 ! rtph264depay ! avdec_h264 ! videoconvert ! painter ! videoconvert ! autovideosink

(10.10.0.15 - मेरा आंतरिक पता एक उदाहरण के रूप में लिया गया है)।

अब इनपुट बफर BGRx फॉर्मेट में होगा। यदि आपको पता नहीं है कि पाइपलाइन का निर्माण कैसे किया जाता है, तो आप सार्वभौमिक डिकोडबिन कंटेनर का उपयोग कर सकते हैं। वह उचित प्लगइन्स को चुनने और कनेक्ट करने का प्रयास करेगा:

 gst-launch-1.0 -v rtspsrc location=rtsp://10.10.0.15 ! decodebin ! autovideosink

नैदानिक उत्पादन के लिए –v स्विच की आवश्यकता होती है, और वहां आप देखेंगे कि पाइपलाइन कैसे बनाई जाती है।

वापस हमारे प्लगइन पर। हमारे सभी प्रसंस्करण इनपुट छवि के आधार पर एक नई छवि बनाने और उस पर एक आयत बनाने में शामिल होंगे। कार्य फ़ंक्शन का रूप है:

 static GstBuffer * gst_painter_process_data (Gstpainter * filter, GstBuffer * buf) { //          GstMapInfo srcmapinfo; gst_buffer_map (buf, &srcmapinfo, GST_MAP_READ); //    GstBuffer * outbuf = gst_buffer_new (); //      IplImage * dst = cvCreateImageHeader (cvSize (filter->width, filter->height), IPL_DEPTH_8U, 4); //      GstMemory * memory = gst_allocator_alloc (NULL, dst->imageSize, NULL); GstMapInfo dstmapinfo; if (gst_memory_map(memory, &dstmapinfo, GST_MAP_WRITE)) { //        memcpy (dstmapinfo.data, srcmapinfo.data, srcmapinfo.size); dst->imageData = (char*)dstmapinfo.data; //   cvRectangle (dst, cvPoint(10,10), cvPoint(100, 100), CV_RGB(0, 255, 0), 1, 0); //         gst_buffer_insert_memory (outbuf, -1, memory); gst_memory_unmap(memory, &dstmapinfo); } cvReleaseImageHeader(&dst); gst_buffer_unmap(buf, &srcmapinfo); return outbuf; }

सिंक पैड इवेंट हैंडलर में हम इनपुट स्ट्रीम जानकारी प्राप्त कर सकते हैं

 static gboolean gst_painter_sink_event (GstPad * pad, GstObject * parent, GstEvent * event) { gboolean ret; Gstpainter *filter; filter = GST_PAINTER (parent); switch (GST_EVENT_TYPE (event)) { case GST_EVENT_CAPS: { GstCaps * caps; gst_event_parse_caps (event, &caps); //  GstStructure *structure = gst_caps_get_structure (caps, 0); //  gst_structure_get_int (structure, "width", &filter->width); gst_structure_get_int (structure, "height", &filter->height); filter->format = gst_structure_get_string (structure, "format"); ret = gst_pad_event_default (pad, parent, event); break; } default: ret = gst_pad_event_default (pad, parent, event); break; } return ret; }

माथे में समस्या हल हो गई है। प्रयोग सफल रहा। जैसा कि GStreamer विकसित होता है, नए अवसर खुलते हैं, जो कि, जैसे-जैसे मैं आगे बढ़ता हूं और विषय में रुचि होती है, मैं इसके बारे में अधिक बात करूंगा।

सूत्रों का कहना है

GStreamer

GStreamer वस्तु पदानुक्रम

GStreamer प्लगइन विकास गाइड

OpenCV

प्लगइन टेम्पलेट भंडार

मेरा स्रोत

MS Visual Studio पर GStreamer के लिए एक प्लगइन लिखना