Як сканаваць вялікі сайт і здабываць дадзеныя пры дапамозе SEO Spider, які крычыць

Зараз мы дапамагаем некалькім кліентам Рыначныя міграцыі. Паколькі буйныя кампаніі выкарыстоўваюць падобныя карпаратыўныя рашэнні, гэта падобна на павуцінне, якое на працягу многіх гадоў уплятаецца ў працэсы і платформы ... аж да таго, што кампаніі нават не ведаюць пра кожную кропку кантакту.

З такой платформай аўтаматызацыі маркетынгу, як Marketo, формы з'яўляюцца кропкай уваходу на ўсе сайты і на мэтавыя старонкі. Кампаніі часта маюць тысячы старонак і сотні формаў на сваіх сайтах, якія неабходна вызначыць для абнаўлення.

Выдатны інструмент для гэтага ёсць SEO Spider, які крычыць пра жабу... магчыма, самая папулярная платформа на рынку для сканавання, аўдыту і вымання дадзеных з сайта. Платформа багатая на функцыі і прапануе сотні варыянтаў практычна для любой задачы, якая вам патрэбна.

Крык жабы SEO Spider: поўзанне і выманне

Ключавой асаблівасцю Screaming Frog SEO Spider з'яўляецца тое, што вы можаце выконваць уласныя выманні на аснове Рэгекс, XPathабо CSSPath спецыфіка. Гэта вельмі карысна, бо мы хочам сканаваць сайты кліента, а таксама праверыць і захаваць значэнні MunchkinID і FormId са старонак.

З дапамогай інструмента адкрыйце Канфігурацыя> Звычай> Выманне для вызначэння элементаў, якія вы хочаце атрымаць.

Экран вымання дазваляе практычна неабмежаваны збор дадзеных:

Выманне рэгулярных выразаў, XPath і CSSPath

Для MunchkinID ідэнтыфікатар знаходзіцца ў сцэнарыі формы, які знаходзіцца на старонцы:

<script type='text/javascript' id='marketo-fat-js-extra'>
    /* <![CDATA[ */
    var marketoFat = {
        "id": "123-ABC-456",
        "prepopulate": "",
        "ajaxurl": "https:\/\/yoursite.com\/wp-admin\/admin-ajax.php",
        "popout": {
            "enabled": false
        }
    };
    /* ]]> */

Затым мы ўжываем a Правіла правіла каб захапіць ідэнтыфікатар з тэга сцэнарыя, які ўстаўлены на старонку:

Regex: ["']id["']: *["'](.*?)["']

Для ідэнтыфікатара формы дадзеныя ўваходзяць ва ўводны тэг у форме Marketo:

<input type="hidden" name="formid" class="mktoField mktoFieldDescriptor" value="1234">

Мы ўжываем Правіла XPath каб захаваць ідэнтыфікатар з формы, якая ўстаўляецца на старонку. Запыт XPath шукае форму з уводам з імем грозны, то здабыча захоўвае значэнне:

XPath: //form/input[@name="formid"]/@value

Крыклівы жаба SEO Spider рэндэрынг Javascript

Яшчэ адзін выдатны варыянт Screaming Frog - гэта тое, што вы не абмежаваныя HTML на старонцы, вы можаце адлюстраваць любы JavaScript, які збіраецца ўставіць формы на ваш сайт. Унутры Канфігурацыя> Павук, вы можаце перайсці на ўкладку рэндэрынгу і ўключыць гэта.

Зразумела, сканаванне сайта займае крыху больш часу, але вы атрымаеце формы, якія адлюстроўваюцца на баку кліента з дапамогай JavaScript, а таксама формы, якія ўстаўляюцца на баку сервера.

Хоць гэта вельмі спецыфічнае прыкладанне, яно неверагодна карыснае, калі вы працуеце з вялікімі сайтамі. Вы сапраўды захочаце праверыць, дзе вашыя формы ўбудаваны на ўвесь сайт.

Спампаваць Screaming Frog SEO Spider