Kuidas uuendatud või uus fail Robots.txt uuesti esitada

robotid txt

Meie agentuur tegeleb orgaanilise otsingu nõustamine mitme SaaS-i müüja jaoks selles valdkonnas. Klient, kellega hiljuti alustasime koostööd, oli teinud üsna tavapärast tava, paigutanud oma rakenduse alamdomeenile ja viinud oma brošüürisaidi põhidomeeni. See on tavapärane praktika, kuna see võimaldab nii teie tootmistoimikul kui ka teie turundusmeeskonnal vajaduse korral värskendusi teha, ilma et see sõltuks teisest.

Esimese sammuna nende orgaanilise otsingu tervise analüüsimisel registreerisime Webmastersis nii brošüüri kui ka rakenduse domeenid. See oli siis, kui tuvastasime viivitamatu probleemi. Kõigi rakenduste lehtede otsingumootorite indekseerimine oli blokeeritud. Navigeerisime Webmastersis nende robots.txt kirje juurde ja tuvastasime probleemi kohe.

Üleminekuks valmistumise ajal ei soovinud nende arendustiim soovida, et rakenduse alamdomeen otsinguga indekseeritaks, mistõttu nad keelasid juurdepääsu otsingumootoritele. Robots.txt-fail on teie saidi juurest leitud fail - teie domeen.com/robots.txt - see annab otsingumootorile teada, kas nad peaksid saidil roomama või mitte. Saate kirjutada reegleid, et lubada või keelata indekseerimine kogu saidil või kindlatel radadel. Saidikaardi faili määramiseks võite lisada ka rea.

. robots.txt failil oli järgmine kirje, mis takistas saidi indekseerimist otsingutulemuste paremusjärjestuses:

Kasutaja Agent: * Disallow: /

See oleks pidanud olema kirjutatud järgmiselt:

Kasutajaagent: * Luba: /

Viimane annab igale saidile roomavale otsingumootorile loa, et neil on juurdepääs saidi mis tahes kataloogile või failile.

Suurepärane ... nii et nüüd robots.txt fail on täiuslik, kuid kuidas saab Google teada ja millal kontrollib saiti uuesti? Noh, võite absoluutselt taotleda, et Google kontrolliks teie robots.txt-i, kuid see pole liiga intuitiivne.

Liikuge Google Search Console Search Console Euroopa Roomamine> robots.txt tester. Testeris näete viimati roomatud robots.txt-faili sisu. Kui soovite faili robots.txt uuesti esitada, klõpsake nuppu Esita ja hüpikaknal on mõned võimalused.

esitage robots.txt uuesti

Viimane variant on Paluge Google'il värskendada. Klõpsake selle suvandi kõrval asuvat sinist nuppu Esita ja navigeerige siis tagasi Roomamine> robots.txt tester menüüvalik lehe uuesti laadimiseks. Nüüd peaksite nägema uuendatud faili robots.txt koos kuupäevamärgiga, mis näitab, et see uuesti roomati.

Kui te ei näe värskendatud versiooni, võite klõpsata nupul Esita ja valida Kuva üleslaaditud versioon oma tegeliku faili robots.txt navigeerimiseks. Paljud süsteemid salvestavad selle faili vahemällu. Tegelikult genereerib IIS selle faili dünaamiliselt nende kasutajaliidese kaudu sisestatud reeglite põhjal. Uue faili robots.txt avaldamiseks peate tõenäoliselt reeglid värskendama ja vahemälu värskendama.

robotid-txt-tester

Mis sa arvad?

Sellel saidil kasutatakse rämpsposti vähendamiseks Akismetit. Vaadake, kuidas teie andmeid töödeldakse.