🎛️ 🧑🏽‍🤝‍🧑🏻 🤫 JavaScript CookieのCURLリクエストへの統合 👩🏾‍🚀 🕗 👨🏻‍🎓

この記事では、アクティビティの性質上、かつて直面しなければならなかった1つの異常な問題について説明します。警告：この記事は初心者向けではありません。読者はすでにWebプログラミングの経験があり、 PHP言語、 CURLライブラリ、およびHTTPの基本に精通していることを前提としています。

問題の説明に行きましょう。

承認とは別に、いくつかのステップからいくつかのプロセスを自動化するために、1つのサイトのボットスクリプトを作成する必要がありました。これは一見したところ特別なことではありませんでした。しかし、最初はそうでした。なぜならサイトで承認が使用され、Cookieがアクティブに使用されたため、CURLを使用することになりました。私は徐々にサイトサーバーへのHTTPリクエストをスニッフィングし、スクリプトでそれらを再生しました。彼らが言うように、プロセスは進行中でした.... トラブルは最後から2番目のステップから始まりました。サーバーが予期せず完全に期待した結果を出すことを拒否したときです。これにより、私はかなり長い間滞在し、少なくとも不一致を見つけることを期待して、「人工」と「自然」（ブラウザ）リクエストのログを何度も比較し続けている、st迷の状態に至りました。時間を無駄にしていることに気づくまでに数時間かかりました。

そして、私はいわゆるJavaScript（または非HTTP）Cookieに注意を向けました。もちろん、CURLはその外観を追跡できなかったため、クエリに追加できませんでした。しかし、なぜサーバーはJavaScript Cookieをチェックする必要があるのでしょうか？良い質問、彼は間違いなく私に興味があるだろうが、その瞬間、私は他の懸念があった。

今後は、私の推測が正しかったと言います。サーバーは実際にJS Cookieをチェックし、その不運な最後から2番目のステップでのみチェックしました。これがどのような目的で行われたのかわかりません。さらに、この目標がボットから保護することであったかどうかはわかりません。 sayingにもあるように、誰かの魂（サーバー）は闇です。

そのため、次の2つの問題を解決する必要がありました。

サーバーの応答に影響する「重要な」JavaScript Cookieを見つけます。
これらのCookieをCURLリクエストに挿入する方法を見つけてください。

最初のタスクについては、原則として、すべてが私にとって明らかでした。いずれにせよ、私はすでにおおよその行動計画を想像していました。そこで、2番目のものからすぐに開始することにしました。CURLOPT_COOKIEFILEオプションで指定されたファイルから、自動的に表示されるものに加えて、CURL要求に「私の」Cookieを追加するツールを見つけることです。

最初に思いついたのは、Cookieパラメーターで構成される文字列でCURLOPT_COOKIEオプションを有効にするというアイデアでした。このようなもの：

curl_setopt($hc, CURLOPT_COOKIE, "name1=value1; name2=value2; ...");

だから私はやった：私はこの行をコードに追加した...そしてすぐにこれが機能しないと確信した。むしろ、それは機能しますが、私が望んでいたようにはまったく機能しません。送信されたHTTPヘッダーには、このオプションで追加されたCookieのみが含まれていましたが、CURLOPT_COOKIEFILEファイルのCookieは消えました（ファイルからではなくヘッダーから消えました）。つまり Cookieストレージファイルの内容は無視されました。これから、単純~~で役に立たない~~結論が得られます。CURLOPT_COOKIEオプションとCURLOPT_COOKIEFILE / CURLOPT_COOKIEJARオプションを一緒に使用することはできません。

要するに、問題を解決するためにすぐに失敗しました。インターネットで既製のソリューションを検索しても何も得られませんでした。見た目が悪かったのかもしれませんが、このトピックで見つけられたのは、StackOverflowフォーラムで質問されただけで、明らかに未回答のままでした。

その間、作業を完了するための締め切りは間近に迫っていたため、顧客は説明を求め、運が良ければ、私の雄弁はどこかで消えました。それから何らかの理由で、私はソビエトのコメディのキャッチフレーズを思い出しました：「私は彼女を登記所に連れて行くか、彼女は私を検察に連れて行きます」。 登記所にも検察官にも、私はしたくありませんでした。 私は本当にどこかに隠して忘れたかった...しかし、私は問題を解決するために別の方法を選択しなければなりませんでした。

その時までに、私はすでに2つのソリューションを見てきました。

Cookieの自動処理の観点からCURLのサービスを拒否し、この「ブラックワーク」を自分用に取ってください。応答ヘッダーからCookieを自分で解析して保存し、リクエストとともに送信します。少し怖いですが、Cookieを完全に制御できます。
Cookieの自動処理を残しますが、Cookieファイルに「自分の」（カスタム）パラメーターを挿入する機能を追加します。また、Cookieファイルを手動で編集する必要があるため、見込み顧客は満足していません。

ためらった後、2番目のオプションが選択されました。実装しやすいように思えました。さらに、私は長い間Netscape Cookie File形式に興味を持っていましたが、それをもっとよく知る理由はありませんでした。そして、この理由が現れました。

この形式に関する情報を検索するのに長い時間はかかりませんでした。 Googleの発行の最初のページから、オフィスに着きました。 CURLのサイト。ユーザーのアーカイブで、このライブラリの作成者との通信で、探しているものが見つかりました。

ファイル形式は非常にシンプルであることが判明しました。各行に7つのフィールド（属性）があり、タブで区切られ、次の順序になっています。

ドメイン
テールマッチ
道
安全な
期限切れ
お名前
価値

これらのフィールドの意味は非常に明白です。 tailmatchは、サイトのドメイン名の完全一致のフラグであることに注意してください。

ファイル形式がわかったので、残りはすでに技術的な問題でした。

その結果、小さなクラスCookiejarEditを作成しました。そのソースコードをここで引用します。

 <?php class CookiejarEdit { protected $sFname= false; //   cookies protected $aPrefix= array( //      '', // #0: domain 'FALSE', // #1: tailmatch (   ) '/', // #2: path 'FALSE', // #3: secure (https-) ); protected $sPrefix= ''; //      cookie function __construct($sFn, $sDomain='', $aXtra=0) { if (!$sFn) return; $this->sFname= $sFn; $this->setPrefix($sDomain, $aXtra); } function __clone() { $this->setPrefix(); } /**** ** /    cookie: ** : ** 1) $sDomain -   'domain' ** 2) $aXtra -   -  : ** $aXtra['tailmatch'] -   'tailmatch' ** $aXtra['path'] -   'path' ** $aXtra['secure'] -   'secure' */ function setPrefix($sDomain, $aXtra=0) { if ($sDomain) $this->aPrefix[0]= $sDomain; if (is_array($aXtra)) { if (isset($aXtra['tailmatch'])) $this->aPrefix[1]= $aXtra['tailmatch']? 'TRUE': 'FALSE'; if (isset($aXtra['path'])) $this->aPrefix[2]= $aXtra['path']; if (isset($aXtra['secure'])) $this->aPrefix[3]= $aXtra['secure']? 'TRUE': 'FALSE'; } if ($this->aPrefix[0]) $this->sPrefix= implode("\t", $this->aPrefix). "\t"; } /**** **    cookies: */ function export() { return ($this->sFname)? file_get_contents($this->sFname) : false; } /**** **    cookies: */ function import($sCont) { if (!$sCont || strlen($sCont)<10) return false; file_put_contents($this->sFname, $sCont); return true; } /**** ** //  /  cookies: ** : ** 1) $aFields -      cookie ** $aFields[0] -  'name' ( ) ** $aFields[1] -  'value' ( ) ** $aFields[2] -      **  : ** 1) false -     ** 2) true -     ** 3) string -    /,    */ function setCookie($aFields) { if (!$this->sFname || !$this->sPrefix) return false; if (!is_array($aFields) || !($n_arr= count($aFields))) return false; $name= $aFields[0]; $cont= file_exists($this->sFname)? file_get_contents($this->sFname): ''; $cr= (strpos($cont, "\r\n") !== false)? "\r\n" : "\n"; $a_rows= explode($cr, trim($cont, $cr)); $i_row= -1; foreach ($a_rows as $i=> $row) { if (strpos($row, "\t".$name."\t") === false) continue; if (strpos($row, $this->sPrefix) !== 0) continue; $i_row= $i; break; } $ret= true; if ($n_arr> 1) { // add/modify: $val= $aFields[1]; $life= ($n_arr> 2 && $aFields[1]>= 0)? $aFields[1] : 1; if ($i_row<0) $i_row= count($a_rows); $n_exp= ($life> 0)? (time()+ $life* 24* 60* 60) : 0; $a_rows[$i_row]= $ret= $this->sPrefix. implode("\t", array($n_exp, $name, $val)); } else if ($i_row>= 0) { // remove: unset($a_rows[$i_row]); } file_put_contents($this->sFname, implode($cr, $a_rows).$cr); return $ret; } /**** ** /    cookies: */ function addCookie($sName, $sVal, $nLife=0) { return $this->setCookie(array($sName, $sVal, $nLife)); } /**** **     cookies: */ function removeCookie($sName) { return $this->setCookie(array($sName)); } } ?>

__clone（）、export（）、import（）メソッドがコードを「純粋に装飾する」ために追加されました。正直なところ、私はそれらに、そして念のために追加したsetPrefixメソッドの追加引数$ aXtraにはあまり意味がありません（私見ですが、定義によってその必要性は生じません）。いずれにせよ、コードは動作しており、使用する準備ができています（PHP> = 5.0）。

私は独創的なアイデアのふりをしないで、これが別の「バイク」である可能性を排除しません。おそらく同様の、さらに単純なソリューションが長い間存在していました。それにもかかわらず、私の「自転車」は私を助けてくれましたし、それが他の誰かを助けてくれたら嬉しいです。

したがって、Cookieを使用した「高度な」作業のためのツールは準備ができていました。しかし、それは私の冒険の終わりではありませんでした。これらの同じ「重要な」JS Cookieを追跡し、それらに割り当てられた値などを理解する必要がありました。しかし、それは別の話です。おそらくこれを終了します。ご清聴ありがとうございました。

PS：

記事のテキストをもう一度読み直した後、私は彼女がまだ「実際の例」に欠けていることに気付きました。あるサイトの例で小さなデモンストレーションを手配するのはいいと思いました。何らかの理由で、一緒に作業したサイトを使用できませんでした。したがって、彼に代わるものを見つける必要がありました。許可を必要としない有名なサイトで、少なくとも何らかの形でJavaScriptサーバーCookieが使用されています。私の驚きと幸いなことに、そのようなサイトは非常に迅速に見つかりました：私のブックマーク。これは、よく知られているYandexカタログ、フリーランスカテゴリ（私に最も近いもの）です。

最初に、このページは次のようになります。

ただし、設定に移動する場合は、「数字付きの標準」を選択します：

カタログページに戻ると、「素晴らしい」効果が得られます。ページからのプレビューは消え、「乾燥した」数字とテキストのみが残ります。

このディレクトリの最初のページをサムネイルなしでダウンロードする簡単なボットを作成してみましょう。私はそれが外からどれほど愚かに見えるかを理解しています：ページの外観を変えるためだけにボットを書くこと。しかし、これは単なる例であることを忘れないでください。サムネイルなしでページを取得することが私たちの最も大事な願望であると想像しましょう。

まず、偵察を実施します。設定を変更した後、ディレクトリページのURLに注意してください。変更されていません。確かに、「？Rnd = xxx」という行が追加されましたが、これは明らかに、ブラウザがキャッシュからページを取得しないことを示しています。このことから、設定は送信され、保存される可能性が高く、おそらくCookieを介して保存されると結論付けられます。

これがどのように発生するかを正確に把握してみましょう。 Live HTTP Headersのような便利なツールがこれに役立ちます。

このFirefox拡張機能を使用すると、この例の設定が保存されるCookieを含む、ブラウザー内のすべての着信および発信HTTPトラフィックを追跡できます。これは明らかに、「保存」ボタンをクリックしてカタログページに移動した後に発生します。

ライブHTTPヘッダースニファーを有効にした後、設定ページに戻りましょう。「数字付きの標準」項目を再度選択し、「保存」ボタンをクリックします。次に、スニファーキャッチを見てみましょう。カタログページのリクエストの詳細に興味があります。彼らは私にとってこのように見えます：

 GET / yca / cat /雇用/フリーランス/？Rnd = 191 HTTP / 1.1
ホスト：yaca.yandex.ru
ユーザーエージェント：...
許可：text / html、application / xhtml + xml、application / xml; q = 0.9、* / *; q = 0.8
 Accept-Language：ru-ru、ru; q = 0.8、en-us; q = 0.5、en; q = 0.3
 Accept-Encoding：gzip、deflate
 Accept-Charset：windows-1251、utf-8; q = 0.7、*; q = 0.7
キープアライブ：115
接続：キープアライブ
リファラー：http://yaca.yandex.ru/setup.xml
 Cookie：yandexuid = 796954901281541279;  fuid01 = 4c62c49f04c00e82.pQ2hPKLWAnitiiTOBnW-nvOhiFssICTMfcKaMv0ZeTsFKaxVHOYxAPA2AGRsdF1qi3rm7fAKk77gJevuaNmhtnNUx_k0ykECc8bRJv3dUadZ_YDF1QLDZddTzYP_ZfOs。  my = YwA =;  L = eEAcXVFJR252Q0ADVkt9BW5wWmFyXXhXBkBYAwQaYmIRBgo6Ciw9ZggRFwUmNQwcOUs5LwQvVD42OjAPCmFfFQ =。  yp = 1636215158.sp。;  yabs-frequency = / 3 / UOW2AQmAGyle0Ici2au0 /;  yaca_view = num

ここで、フラグメント「yaca_view = num」がすぐにわかります。ほとんどの場合、これは望ましいCookieパラメーターです。しかし、それはどこにインストールされていますか？いずれの場合も、サーバーの応答ヘッダーにはありません。このパラメーターはそこにないためです。次に、これがJavaScript Cookieであると仮定することは論理的です。つまり、設定ページ（「setup.xml」）のjavascriptのどこかにインストールされていることを意味します。このページの本文で見つけてみましょう。そうです。 setup.xmlファイルの行は次のとおりです。

 $.cookie('yaca_view', $('input[name="yaca_view"]:checked' ).val());

明らかに、パラメータ「yaca_view」は、同じ名前のフォーム要素から取得した値で設定されています（この場合、この値は「num」です）。

そのため、プレビューなしでカタログページを表示するには、「yaca_view」という名前と「num」という値を持つCookieパラメータをサーバーに渡す必要があることがわかりました。 CURLリクエストにCookieを追加するためのツールが既に用意されたので、ボットスクリプトを簡単に作成できます。以下にいくつかのコメント付きのコードを示します。

 <?php require_once "cookiejaredit.inc"; if (!function_exists('curl_setopt_array')) { function curl_setopt_array(&$hc, $a_opts) { foreach ($a_opts as $name=> $val) if (!curl_setopt($hc, $name, $val)) return false; return true; } } /**** **     CURL: ** : ** 1) $aOpts -    CURL: ** 2) $sUrl - URL  ** 3) $sUrlRef - URL  **  : ** 1) false -    ** 2) string -   ,   */ function getByCurl($aOpts, $sUrl, $sUrlRef='') { $hc= curl_init(); curl_setopt_array($hc, $aOpts); curl_setopt($hc, CURLOPT_URL, $sUrl); curl_setopt($hc, CURLOPT_REFERER, $sUrlRef); $cont= curl_exec($hc); $b_ok= curl_errno($hc)==0 && curl_getinfo($hc, CURLINFO_HTTP_CODE)==200; echo "\nSent HTTP Header:\n". curl_getinfo($hc, CURLINFO_HEADER_OUT). "Content Length: ".strlen($cont)."\n\n"; curl_close($hc); return $b_ok? $cont : false; } //  ()  cookies: $fn_cook= $_SERVER['DOCUMENT_ROOT'].'/cookiejar-tmp.txt'; //    CURL: $a_curl_opts= array( CURLOPT_NOBODY => 0, CURLOPT_RETURNTRANSFER => 1, CURLOPT_CONNECTTIMEOUT => 10, CURLOPT_TIMEOUT => 15, CURLOPT_USERAGENT => 'Mozilla/5.0 Gecko/20110920 Firefox/3.6.23', CURLINFO_HEADER_OUT => true, CURLOPT_COOKIEFILE => $fn_cook, CURLOPT_COOKIEJAR => $fn_cook, ); define('URL0', 'http://yaca.yandex.ru/yca/cat/Employment/Freelance/'); define('URL1', 'http://yaca.yandex.ru/setup.xml'); define('URL2', 'http://yaca.yandex.ru/yca/cat/Employment/Freelance/?rnd='); define('FN_RESULT', 'result.htm'); echo '<h3>Trace Log:</h3><pre>'; $cookedit= new CookiejarEdit($fn_cook, 'yaca.yandex.ru'); //   : getByCurl($a_curl_opts, URL1, URL0); //  JS cookie-: $rec= $cookedit->addCookie('yaca_view', 'num'); echo "addCookie:\n". ($rec? "$rec\n" : "Fail\n"); //   : $cont= getByCurl($a_curl_opts, URL2. rand(0,999), URL1); echo '</pre> <hr><h3>Result: '; if ($cont) { file_put_contents(FN_RESULT, $cont); echo 'OK</h3><a href="'.FN_RESULT.'" target="_blank">Result page</a>'; } else echo 'Fail</h3>'; ?>

今本当にすべて。特に最後まで読んでくれた人々に、あなたの注意をありがとう。

JavaScript CookieのCURLリクエストへの統合

More articles: