Crawling als Entdeckungsprozess in denen Suchmaschinen ein Team von Robotern aussenden, bekannt als Crawler oder Spinnen, um neue und aktualisierte Inhalte zu finden. Der Inhalt kann variieren und es kann sich um eine Website-Seite handeln, ein Bild, ein Video, ein PDF, aber unabhängig vom Format, der Inhalt wird entdeckt und die Links werden an Google zurückgesendet weil sie von diesen Crawl-Bots geholt wurden. Und Google wird es mit der URL indizieren für die verschiedenen Webseiten. Schauen wir uns jetzt die Google Search Console an, und ich zeige dir was, wonach wir in der Google Search Console suchen um zu sehen, ob unsere Website kürzlich gecrawlt wurde und welche Art von Informationen es gesammelt hat. Also, hier ist unsere Website-Seite. Auch dies ist unsere Whirlpool-Site. Und wenn wir hierher gehen und es uns ansehen, Die Seite ist eine Weiterleitung, weil sie HTTP ist und wir leiten es auf HTTPS um. Also in diesem Fall will ich es nicht, ich will es kriechen, aber was wir tun, wir leiten es tatsächlich auf die sichere Site um. Also brauche ich es wirklich nicht, um zu indizieren, aber es wird gecrawlt, normalerweise wie es sein sollte. Schauen wir uns also einige der Probleme an, auf die wir stoßen wenn wir Crawling- oder Indexierungsprobleme haben. Gehen wir hier rüber und natürlich Sie können jederzeit hier in Google einen Index anfordern. Wenn Sie eine Indexierung anfordern, du wirst nur ungefähr 20 pro Tag haben die die Google Search Console Ihnen ermöglicht. Sobald du darüber hinweg bist, Sie müssen bis zum nächsten Tag warten. Und dann, nachdem Sie diese aufeinanderfolgenden Tage von 20 getan haben, Angenommen, Sie haben eine große Website, Sobald du das getan hast, es wird dich tatsächlich für sieben Tage aussperren und du musst warten. Weißt du, ungefähr 20 pro Tag. Wenn Sie dort 60 URLs erhalten, fordern Sie einen Index an, das ist viel und das ist beachtlich und sollte man sich eigentlich überlegen Welche Webseiten sind die wichtigsten, vor allem, wenn Sie eine Website erstellen. Wenn es weit über 60 Seiten umfasst, welche seiten sind die wichtigsten um zuerst einen Google-Index zu haben und fordern Sie dann diese Seiten an. Und Sie können direkt hier in der Google Search Console gehen und schauen Sie sich an, ob die Site für die Indexierung verfügbar ist, und Sie können sich die Ergebnisse ansehen und sehen und sehen wann wurde es zuletzt gekrochen, ist eine indexierung erlaubt? Hier mit Indizierung, wenn es jemals sagt, dass die Indizierung nicht erlaubt ist oder NA, oder darf gecrawlt werden, das wird in Ihrer Bot-Doc-Datei sein. Also hier in der Google Search Console, Wir können tatsächlich einen sogenannten bot.TXT-Tester verwenden, und es wird uns ermöglichen, das Bot-Dokument aufzurufen und schau, ob es hier irgendwelche Probleme gibt innerhalb des Dokuments, das einschränken würde was Google-Crawling-Bots sehen dürfen und was sie indexieren dürfen. Es ist wichtig zu beachten, dass wir ein Crawl-Budget haben mit unserer Website und Google-Bots werden nur kommen und knabbern jederzeit auf unserer Website. Wie Sie hier sehen können, das letzte Mal, als die Seite gecrawlt wurde war der 21. Es wird nicht jeden Tag gekrochen, es wird nicht jede Woche gecrawlt. Es ist eines dieser Dinge, die Google besuchen wird und dann vielleicht in ein paar wochen wiederkommen. Es ist also etwas zu bedenken, vor allem, wenn wir Websites und SEO in Websites erstellen. Und dann dauert es manchmal ein bisschen wo die Indizierung aufholen soll dorthin, wo wir sein wollen. Und ein Teil davon ist wir müssen in das Backend der Website gehen und entleere den Cache und mache solche Dinge und sagen Sie Google im Grunde, Hey, wir haben unsere Seite aktualisiert. Dies können Sie hier in der Google Search Console tun, indem Sie eine Indexierung anfordern oder eine gecrawlte Seite anzeigen, und sogar einen Live-Test machen und dann die getestete Seite dort ansehen. Und das gibt Ihnen im Grunde einen manuellen Crawl. Auch wenn es nicht heißt, meine Website zu crawlen, Wenn Sie diesen Live-Test machen, Google sendet im Grunde Bots, um sich Ihre Website anzusehen auf einer bestimmten URL. So kann man sich gut fortbewegen und im Grunde ermutigen Sie Google, es sich anzusehen. Wie Sie hier sehen können, Google hat Smartphone gecrawlt und es wurde heute gecrawlt. Hier wird also aktualisiert, dass es in Kürze hier gecrawlt wurde und wir müssen uns nicht so viele Sorgen um diese Website machen. Kommen wir also zu, wir haben über das Bot-Dokument gesprochen. Wir haben darüber gesprochen, wie man das Bot-Dokument findet und wie man es bearbeitet. Also hier in der Google Search Console, Ich kann tatsächlich in diese Datei gehen und blockiert hier tatsächlich URLs. Ich kann sie einsetzen. Ich kann sie hier einfügen, um eine bestimmte URL zu verbieten. In diesem Fall haben wir die Admin-Portale gesperrt für unsere Webseite. Lass uns gehen und anschauen So beantragen Sie, dass URLs blockiert werden in der Google Search Console. So können wir eine 30-tägige oder vorübergehende Sperre durchführen in der Google Search Console, und sagen Sie ihm im Grunde, dass es bestimmte Seiten nicht abdecken soll oder das sind wir, wir entfernen bestimmte Seiten hier in der Search Console. Hier sind die Entfernungen in der Search Console. Und das werden wir verwenden zu gehen und eine vorübergehende Entfernung durchzuführen. Nehmen wir an, wir aktualisieren eine Seite oder wir wollen es erst indiziert haben, wenn es fertig ist. Nehmen wir an, wir bauen einen Shop. Aber wir sind, was manchmal passieren wird, Und es ist irgendwie peinlich, wenn es passiert, ist, dass manchmal Leute bauen wie eine spezielle Rabattseite für Männer und sie werden halb diese Seite unbeabsichtigt starten. Es ist also besser, wenn Sie eine Art haben, entweder in ein Bot-Dokument als vorübergehend gesperrt legen oder fügen Sie es gleich hier als vorübergehende Umzüge ein und dann durchgehen und später herausnehmen wenn Sie bereit sind, diese Seite zu starten. Das passiert manchmal, Google crawlt tatsächlich eine Seite das wird tatsächlich als 404 angezeigt für sagen wir eine spezielle Rabattseite zum Vatertag. Und es wird tatsächlich in Google indiziert bevor wir wirklich bereit sind, diese Seite zu starten. Manchmal passiert das und wenn es passiert, es ist jetzt etwas selten, aber früher kam es viel öfter vor. Und es ist eines dieser Dinge, die wir durchmachen können gleich hier und fordern Sie es an. Wir können auch bestimmte Seiten mit veralteten Inhalten einreichen und sagen im Grunde: Hey, wir haben diesen veralteten Inhalt noch bei Google. Können Sie diese Seite crawlen? Dies ist also der richtige Weg. Und dies ist eine Möglichkeit, vorübergehend zu tun, um durchzugehen und bestimmte Seiten hier hinzuzufügen. Okay, in diesem Video haben wir das Crawlen behandelt und einige der Tools zum Crawlen von Websites und wie man ein Bot-Dokument einreicht. Wir können also zu Google gehen und den Bot-Doc-Tester öffnen. und senden Sie ein Bot-Dokument für eine bestimmte Eigenschaft, eine Eigenschaft hinzufügen, eine Eigenschaft einreichen. So gehen wir die Bot-Dokumente durch und fügen sie tatsächlich hinzu zu den Eigenschaften, um zu Google zu gelangen, und dann gehen Sie zur Search Console. Alles klar, in einem zukünftigen Video werden wir darüber berichten Keywords und Keyword-Planung, sowie einige weitere Dinge zum Thema Website-Design. Alles klar, wir sehen uns im nächsten Video.
