🤦🏼 ♨️ ➡️ लिनक्स के तहत एक छोटी सी बाइक का निर्माण करें या स्वयं करें RSS फ़ीड एग्रीगेटर 🧘🏽 👉 👎

लेख से प्रेरित होकर "Google RSS को नष्ट करना जारी रखता है।"

कुछ समय पहले, मुझे कई आरएसएस फ़ीड पढ़ने की जरूरत थी। मेरे लिए सवाल अपेक्षाकृत नया था, मुझे कभी-कभी आरएसएस से निपटना पड़ता था, इसलिए मैंने इस विषय का अध्ययन करना शुरू किया और स्क्रैच से एक पाठक का चयन किया।

परिणाम थे ... चलो बस कहना है - उत्साहजनक नहीं।

वेब इंटरफेस के साथ क्लाउड सेवाओं के लिए, मुझे व्यामोह के साथ आधे में पुरानी एलर्जी है, और बाद के Google रीडर अंतिम संस्कार ने एक बार फिर पुष्टि की है कि व्यामोह बुरी चीजों की सलाह नहीं देगा। और वेब सेवाओं के परिचित इंटरफेस में नियमित परिवर्तन भी उत्साहजनक नहीं हैं।

स्थानीय रूप से रखे गए पाठकों में कई ऐसे टुकड़े थे जिनका मैंने उपयोग करने की कोशिश की, लेकिन उनमें से एक को भी कार्यकर्ता के रूप में नहीं चुना गया। एक छोटी सी अनुकूलन योग्य इंटरफ़ेस, खराब फ़िल्टरिंग उपकरण, या एक अजीब से सहेजने वाले तर्क जैसी छोटी-छोटी चीजें हैं; और अधिक वैश्विक समस्या यह है कि जिन फ़ीड्स को मैं देखना चाहता था, उनमें से एक फिलिब्यूसन किताबों की समीक्षा थी, जहां एक दिन में पूरे फ़ीड को आसानी से अपडेट किया जा सकता है, और परिणामस्वरूप कुछ पोस्ट को छोड़ दिया जाएगा; पाठक को हर समय चलाते रहना पूरी तरह से उदासीन है। और इसके अलावा, कार में असंतुष्ट पाठकों से चिड़ियाघर बिल्कुल भी नस्ल नहीं करना चाहता था।

और फिर, कुछ समय के लिए इस दुनिया की अपूर्णता के बारे में सोचने के बाद, और विशलिस्ट को तैयार करते हुए, एक फ़ाइल को आदतन हाथों में ले लिया गया और कुछ दिन साइकिल निर्माण के लिए समर्पित थे।

परिणाम एक साल से अधिक समय से सफलतापूर्वक काम कर रहा है। शायद तैयार नुस्खा किसी को समय और प्रयास की बचत करेगा, हालांकि, नुस्खा सभी के लिए उपयुक्त नहीं हो सकता है, क्योंकि यह इस तथ्य पर आधारित था कि घड़ी के चारों ओर इंटरनेट से जुड़े Centos 6 के तहत पहले से ही एक घरेलू सर्वर था।

इसलिए, मेरे स्वयं के एग्रीगेटर का निर्माण करने के लिए सर्वर और सर्वर के अलावा, मुझे अतिरिक्त पैकेजों की आवश्यकता थी:

rsstool

ssmtp

fdupes

... साथ ही कुछ समय और इच्छा के साथ टिंकर के साथ।

नतीजतन, बल्कि एक आदिम स्क्रिप्ट लिखी गई थी, जो पूरी तरह से बहुत मायने नहीं रखती है; काम के सामान्य तर्क पर्याप्त होंगे:

शुरू करने के बाद, स्क्रिप्ट फॉर्म में टेक्स्ट कॉन्फिग से टेप की सूची पढ़ती है:

habrahabr # http: //habrahabr.ru/rss - अर्थात, शीर्षलेख जिसका उपयोग बाद में टेप, विभाजक "#" और टेप के पते के साथ काम करने के लिए किया जाएगा। यह सब, मध्यवर्ती डेटा संग्रहीत करने के लिए प्लस हेडर-जनरेट किए गए फ़ाइल नाम, कई सरणियों में संग्रहीत किया जाता है। फिर हम इन सरणियों के माध्यम से जाते हैं (), जिसमें निम्नलिखित क्रियाएं की जाती हैं:

1. rsstool के माध्यम से, स्क्रिप्ट टेप को स्वयं delimiters @ के साथ csv के रूप में डाउनलोड करती है, iconv डाउनलोड को koi-8 एन्कोडिंग में कनवर्ट करता है, हेडर से ग्रीप कट करता है, और यह सब नए सिरे से डाउनलोड के लिए एक फ़ाइल में सहेजा जाता है।

rsstool --wget --csv=@ @url[$i](  http://habrahabr.ru/rss) | iconv -c -f UTF-8 -t KOI8-R| grep SITE\@DATE\@URL\@TITLE\@DESC -v >/path_to_rss2email/feed_new_@rssname[$i].rss (  /path_to_rss2email/feed_new_habrahabr.rss)

2 हम एक टेप संग्रह के साथ एक फ़ाइल और एक ताजा डाउनलोड की गई फ़ाइल के साथ भिन्न होते हैं। उनके बीच का अंतर, ">" के साथ चिह्नित है, वह समाचार होगा जिसकी हमें आवश्यकता है जो अंतिम डाउनलोड के बाद दिखाई दिया है। यह अंतर एक अलग फ़ाइल में दर्ज किया गया है, साथ ही टेप संग्रह में भी - ताकि अगले डाउनलोड पर इन संदेशों को पहले से ही प्राप्त चिह्नित किया जा सके।

 diff -iaEbwB --strip-trailing-cr $path_temp/@rssarcfile[$i] (.. /path_to_rss2email/habrahabr.rss) $path_temp/feed_new_@rssname[$i].rss (.. /path_to_rss2email/feed_new_habrahabr.rss) | grep ^\\>\\ >$path_temp/@rssdiffer[$i] (.. /path_to_rss2email/habrahabr.diff)

3. अब आप आनन्दित होना शुरू कर सकते हैं - हमें टेप से नवीनतम संदेशों के साथ habrahabr.diff फ़ाइल मिली, और अब इस फ़ाइल के साथ हम सब कुछ कर सकते हैं। हम क्या करते हैं, फ़ाइल को लाइन से पढ़ना, और फिर फॉर्म की लाइनों को पार्स करना:

"Habrahabr / Hooked / Thematic / Posts" @ "1399799340" @ " habrahabr.ru/post/222391 " @ "Google RSS को नष्ट करना जारी रखता है" @ "इस सप्ताह, 8 मई को, Google ने RSS फ़ीड को अक्षम कर दिया ... < कट ...>। और पढ़ें → "

... RFC2822 प्रारूप के अनुसार एक अलग निर्देशिका में फ़ाइलें बनाएँ। उसके बाद, स्क्रिप्ट अपना काम जारी रखती है, सूची में अगले टेप को संसाधित करती है, या लगभग दस मिनट के लिए सो जाती है; और उत्पन्न अक्षर, इस बीच, क्रोन द्वारा लॉन्च की गई दूसरी स्क्रिप्ट द्वारा संसाधित किए जाते हैं। वह RFC2822 फ़ाइलों के साथ निर्देशिका में सभी समान फ़ाइलों को हटाने के लिए fdupes का उपयोग करता है, एक को छोड़कर ... (हाँ, मुझे पता है, यह एक बैसाखी है। हाँ, यह शर्म की बात है। लेकिन समस्या यह है कि सब कुछ के बावजूद, अलग-अलग डुप्लिकेट लाइनें, अभी भी स्पष्ट नहीं हैं। ' ओह, यह पटकथा लिखने की तुलना में थोड़ी देर बाद आया, लेकिन यह पता लगाने का कोई समय नहीं था।) ... और फिर, ssmtp का उपयोग करके, उन्हें विशेष रूप से वायर्ड मेलबॉक्स में भेजता है।

और अब, मेल में टेप प्राप्त करने के बाद, हम हर जगह इसे पढ़ने में सक्षम होंगे, एक ही परिचित और प्रिय मेल क्लाइंट (एक ही TheBat? में, उदाहरण के लिए), डिजाइनरों की रचनात्मकता की अगली लड़ाई और प्रबंधकों के भाग्यपूर्ण निर्णयों से पीड़ित होने के बिना। फ़िल्टर, सॉर्टिंग, खोज और अन्य उपयोगिताओं के रूप में यह सभी समृद्ध उपकरण, जो टेप को पढ़ने को अधिक सुविधाजनक और कुशल बना देंगे।

UPD: थोड़ा कंघी करने और टिप्पणी करने के बाद, मैंने स्वयं स्क्रिप्ट्स का प्रसार किया। पहला व्यक्ति फ़ीड्स की वास्तविक डाउनलोडिंग करता है और डाक से डाक भेजने के लिए फाइलें बनाता है, दूसरा उन्हें भेजता है। दोनों क्रोन पर चलते हैं। खैर, एक उदाहरण के लिए कॉन्फ़िगर का एक टुकड़ा।

rsstoemail.pl

 #! /usr/bin/perl use MIME::Base64; $path_temp="/home/media/rsstool"; #    / #          -  , url ,     open(config,"</etc/rss/rsstoemail.conf"); $numb=0; while (!eof(config)) { $strcnf=<config>; $strcnf=~tr/\n//d; (@rss[$numb],@rssname[$numb],@rssfeeds[$numb])=split "#", $strcnf; @rssarcfile[$numb]="@rssname[$numb].rss"; @rssdiffer[$numb]="@rssname[$numb].diff"; $numb=$numb+1; } close config; #          -  , url ,     #       -   foreach $srtname1(@rssarcfile) { if (! -e "$path_temp/$srtname1") { `echo >$path_temp/$srtname1`; } } #       -   #         -  $run=`ps -AH|grep -c rsstoemail.pl`; $run=~tr/\n//d; if ($run ne "1") { exit; } #         -  #    foreach $i(@rss) { #      -  if (@rss[$i] ne "") { $chkdiff=""; #  -    `echo >$path_temp/@rssdiffer[$i]`; printf "run rsstool\n"; #  ,    koi-8,        `/sbin/myscript/rsstool --wget --csv=@ @rssfeeds[$i] | iconv -c -f UTF-8 -t KOI8-R| grep SITE\@DATE\@URL\@TITLE\@DESC -v >$path_temp/feed_new_@rssname[$i].rss`; #      ,     `diff -iaEbwB --strip-trailing-cr $path_temp/@rssarcfile[$i] $path_temp/feed_new_@rssname[$i].rss | grep ^\\>\\ >$path_temp/@rssdiffer[$i]`; #       $chkdiff=`grep \@ $path_temp/@rssdiffer[$i] -c`; $chkdiff=~tr/\n//d; #    -  if ($chkdiff ne "0") { my @toemail = (); my @original = (); #  ,  ,    >   diff #           open(diffopen,"<$path_temp/@rssdiffer[$i]"); while (!eof(diffopen)) { $string = <diffopen>; $string=~s/^(\>\ )//; $string=~tr/\n//d; push (@toemail, $string); push (@original, $string); } close diffopen; #  ,  ,    >   diff #           #    #                 -   $dirr=`date '+%Y-%m-%d-%H_%M_%S'`; $newm=$#toemail+1; printf "$dirr new messages $newm\n"; #                 -   #       foreach $difs(@toemail) { #      #   " $difs=~tr/\"//d; #    $difs=~s/\ $//; $nmf=""; $date=""; $url=""; $bookname=""; $body=""; $resser=""; $ssurl=""; $sndusr=""; #     ($nmf,$date,$url,$bookname,$body)=split '@', $difs; #   ,    #                 if (@rssname[$i] eq "flibusta" or @rssname[$i] eq "librusec") { $body=~m/(.+?)(\ \ )/; $sndusr=$1; $sndusr=~tr/\n//d; } #                 #        url    (    #   proxy.flibusta.net, flibusta.net, www.flibusta.net )    url   if (@rssname[$i] eq "flibusta" or @rssname[$i] eq "flibustanewbooks") { ($resser,$ssurl)=split "\/b\/",$url; $resser=~m/(flibusta.net)/; if ($1 eq "flibusta.net") { $surl="http://flibusta.net/b/$ssurl/download\n"; } else { $surl=$url; } } else { $surl=$url; } #        url    (    #   proxy.flibusta.net, flibusta.net, www.flibusta.net )    url   #            -  -  if (@rssname[$i] eq "flibustanewbooks") { ($book_auth,$book_name,$book_genre)=split "- ",$bookname; $bookname="$book_name - $book_auth - $book_genre"; } #            -  -  #   ,    #     base64        SUBJ: $booknameenc=encode_base64("$bookname my_@rssname[$i]_rss"); $booknameenc=~tr/\n//d; $booknameenc="\=\?KOI8\-R\?B\?$booknameenc\?\="; #     base64        SUBJ: #          sleep 1; $dirr=`date '+%Y-%m-%d-%H_%M_%S'`; #          #             msgrss_2014-05-20-19_26_09       open(fopen,">>$path_temp/mail/msgrss_$dirr"); print fopen "From\:\ fromemail\@domen\.ru\n"; print fopen "To\:\ toemail\@gmail\.com\n"; print fopen "Subject\: $booknameenc\n"; print fopen "MIME-Version: 1.0\n"; print fopen "Content-Type: multipart/mixed;\n"; print fopen " boundary=\"----------12012917B16D15D68\"\n"; print fopen "------------12012917B16D15D68\n"; print fopen "Content-Type: text/plain; charset=koi8-r\n"; print fopen "Content-Transfer-Encoding: 8bit\n"; print fopen "\n"; print fopen "$nmf\n"; print fopen "$surl\n"; print fopen "$bookname\n"; print fopen "\n"; if ($sndusr ne "") { print fopen "sendbyuser:$sndusr\n"; } print fopen "\n"; print fopen "$body\n"; print fopen "\n"; close fopen; #             msgrss_2014-05-20-09_26_09       } #        #            -    `cp $path_temp/@rssdiffer[$i] $path_temp/arhiv/diffnew\_$dirr`; #         -    `echo >>$path_temp/@rssarcfile[$i]`; #         open(arcrss,">>$path_temp/@rssarcfile[$i]"); foreach $difffs(@original) { $difffs=~s/^(\>\ )//; $difffs=~tr/\n//d; print arcrss "$difffs\n"; } close(arcrss); #         } } } printf "start send messages\n"; #         if ($hour eq "04" and $min<"30") { foreach $srtname(@rssarcfile) { `uniq -u $path_temp/$srtname >$path_temp/$srtname.tmp`; `mv -f $path_temp/$srtname.tmp $path_temp/$srtname`; } sleep 1000; } #

rsssendemail.pl

 #! /usr/bin/perl #     $path_all="/home/media/rsstool"; #  $path_mail="$path_all/mail"; $path_mail_arhiv="$path_all/mail_arhiv"; $path_arhiv="$path_all/arhiv"; #      _send   @list_dupes=`/sbin/myscript/fdupes -f $path_mail|grep -v send|grep -v \^\$`; #       foreach $fl(@list_dupes) { $fl=~tr/\n//d; `rm -f $fl`; printf "rm dupe $fl\n"; } #       #      _send   @list_files=`ls $path_mail/ |grep -v send`; sleep 5; #       ssmtp      *_send foreach $i(@list_files) { $i=~tr/\n//d; printf "sended $path_mail/$i\n"; `/sbin/myscript/ssmtp toemail\@gmail.com \<$path_mail/$i`; `mv $path_mail/$i $path_mail/$i\_send`; sleep 1; } #       ssmtp      *_send #         @all_files=`ls $path_mail/`; $cont=$#all_files-1000; if ($cont > 0) { printf "bigger 1000 to $cont\n"; for ($y=0; $y<$cont;$y++) { @all_files[$y]=~tr/\n//d; `mv $path_mail/@all_files[$y] $path_mail_arhiv`; printf "@all_files[$y]\n"; } } #

rsstoemail.conf

 1#librusec#http://lib.rus.ec/polka/show/all/rss 2#flibusta#http://flibusta.net/polka/show/all/rss 3#nnm#http://nnm.me/rss/ 4#habrahabr#http://habrahabr.ru/rss 5#3dnewssoft#http://www.3dnews.ru/software-news/rss/ 6#3dnewshard#http://www.3dnews.ru/news/rss/ 7#flibustanewbooks#http://flibusta.net/new/rss

लिनक्स के तहत एक छोटी सी बाइक का निर्माण करें या स्वयं करें RSS फ़ीड एग्रीगेटर

More articles: