Як паўторна прадставіць абноўлены альбо новы файл Robots.txt

робаты txt

Наша агенцтва займаецца кансультацыі па арганічным пошуку для некалькіх пастаўшчыкоў SaaS у гэтай галіне. Кліент, з якім мы нядаўна пачалі працаваць, правёў даволі звычайную практыку, размясціўшы сваю заяўку на субдамене і перамясціўшы сайт сваёй брашуры ў асноўны дамен. Гэта звычайная практыка, паколькі яна дазваляе як вытворчай камандзе, так і маркетынгавай камандзе рабіць абнаўленні па меры неабходнасці, не залежачы ад іншага.

У якасці першага кроку ў аналізе іх арганічнага стану пошуку мы зарэгістравалі як вэб-майстры, так і дамены брашуры і прыкладання. Тады мы выявілі непасрэдную праблему. Пашукавікі забаранялі індэксаваць усе старонкі прыкладанняў. Мы перайшлі да запісу robots.txt у веб-майстрах і імгненна вызначылі праблему.

Падчас падрыхтоўкі да міграцыі іх каманда распрацоўшчыкаў не хацела, каб паддамен прыкладання індэксаваўся пошукам, таму яны забаранілі доступ да пошукавых сістэм. Файл robots.txt - гэта файл, які знаходзіцца ў корані вашага сайта - yourdomain.com/robots.txt - гэта дазваляе пошукавай сістэме ведаць, ці варта ім сканаваць сайт. Вы можаце напісаць правілы, якія дазваляюць альбо забараняюць індэксацыю на ўсім сайце альбо на пэўных шляхах. Вы таксама можаце дадаць радок, каб указаць файл файла сайта.

,en robots.txt файл меў наступны запіс, які перашкаджаў сканаванню і індэксаванню сайта ў рэйтынгах вынікаў пошуку:

Карыстальнік: * Забараніць: /

Гэта павінна было быць напісана наступным чынам:

Карыстальнік: * Дазволіць: /

Апошняя дае дазвол любой пошукавай сістэме, якая скануе сайт, каб яны маглі атрымаць доступ да любога каталога альбо файла на сайце.

Выдатна ... так што цяпер robots.txt файл ідэальны, але адкуль Google ведае і калі яны зноў правераць сайт? Ну, вы можаце абсалютна папрасіць Google праверыць ваш файл robots.txt, але гэта не надта інтуітыўна.

перайдзіце да Пошукавая кансоль Google Search Console на Сканаванне> тэст robots.txt. Вы ўбачыце змест самага нядаўна прасканаванага файла robots.txt у тэсцеры. Калі вы хочаце паўторна адправіць файл robots.txt, націсніце Адправіць, і ўсплывальнае меню прапануе некалькі варыянтаў.

паўторна адправіць robots.txt

Канчатковы варыянт Папытаеце Google абнавіць. Націсніце сінюю кнопку "Адправіць" побач з гэтай опцыяй, а затым вярніцеся да Сканаванне> тэст robots.txt опцыя меню для перазагрузкі старонкі. Цяпер вы павінны ўбачыць абноўлены файл robots.txt разам са штампам даты, які паказвае, што ён быў зноў сканаваны.

Калі вы не бачыце абноўленую версію, вы можаце націснуць кнопку "Адправіць" і выбраць Паглядзець загружаную версію для пераходу да вашага фактычнага файла robots.txt. Шматлікія сістэмы будуць кэшаваць гэты файл. Фактычна IIS генеруе гэты файл дынамічна на аснове правілаў, уведзеных праз іх карыстацкі інтэрфейс. Хутчэй за ўсё, вам прыйдзецца абнавіць правілы і абнавіць кэш, каб апублікаваць новы файл robots.txt.

робаты-txt-тэстар

Што вы думаеце?

Гэты сайт выкарыстоўвае Akismet для барацьбы са спамам. Даведайцеся, як дадзеныя апрацоўваюцца каментар.