作為發現過程的爬行 其中搜索引擎派出了一組機器人， 被稱為爬蟲或蜘蛛， 查找新的和更新的內容。 內容可能會有所不同，它可以是一個網站頁面， 圖像、視頻、PDF，但無論格式如何， 內容被發現 並將鏈接發送回 Google 因為它們是被這些爬行機器人抓取的。 並且 Google 會使用 URL 將其編入索引 對於各種網站。 現在讓我們看看 Google Search Console， 我會告訴你什麼， 我們在 Google Search Console 中尋找的內容 查看我們的網站最近是否被抓取 以及它收集了什麼樣的信息。 所以，這是我們的網站頁面。 同樣，這是我們的漩渦網站。 如果我們去這裡看看， 該頁面是重定向，因為它是 HTTP 我們正在將其重定向到 HTTPS。 所以在這種情況下，我不，我希望它爬行， 但就我們正在做的事情而言， 我們實際上是將它重定向到安全站點。 所以我真的不需要它來索引， 但它正在被抓取，通常應該是這樣。 那麼，讓我們來看看我們遇到的一些問題 當我們遇到抓取或索引問題時。 讓我們過去看看，當然， 您可以隨時在 Google 中請求索引。 當您請求索引時， 你每天只會有大約 20 個 Google Search Console 將允許您這樣做。 一旦你結束了， 你得等到第二天。 然後在你連續完成 20 天之後， 假設您有一個大型網站， 一旦你這樣做了 它實際上會將您鎖定 7 天 你必須等待。 所以你知道，大約每天 20 個。 如果你在那裡得到 60 個 URL，請求索引， 這是很多而且很重要 你應該考慮 哪些網頁最重要， 尤其是當您建立網站時。 如果超過 60 頁， 哪些頁面最重要 首先要有谷歌索引 然後請求這些頁面。 您可以直接在 Google Search Console 中訪問這裡 看看，該站點是否可用於索引， 你可以查看結果並查看 上次爬行是什麼時候 是否允許索引？ 在這裡有索引， 如果它曾經說不允許索引 或者 NA，或者是否允許爬取， 這將在您的 bot doc 文件中。 所以在 Google Search Console 中， 我們實際上可以使用所謂的 bot.TXT 測試器， 它將允許我們提取機器人文檔 看看這裡是否有任何問題 在將限制的文件內 允許 Google 抓取機器人看到的內容 以及他們被允許索引的內容。 請務必注意，我們確實有抓取預算 使用我們的網站，谷歌機器人只會來蠶食 在任何給定時間在我們的網站上。 所以正如你在這裡看到的， 上次抓取網站的時間 是 21 日。 它不是每天都被抓取， 它不是每週都被抓取。 這是 Google 將訪問它的其中一件事情 然後也許幾週後回來。 所以這是需要考慮的， 尤其是當我們在網站中構建網站和 SEO 時。 然後有時需要一點時間 索引要趕上的地方 到我們想去的地方。 其中一部分是 我們需要進入網站的後端 並轉儲緩存並做這些事情 基本上告訴谷歌， 嘿，我們已經更新了我們的網站。 您可以在 Google Search Console 中執行此操作， 通過請求索引或查看抓取的頁面， 甚至進行實時測試，然後在那裡查看測試過的頁面。 這基本上會給你一個手動爬行。 所以，即使它沒有說抓取我的網站， 如果你做這個現場測試 谷歌基本上是派機器人去看看你的網站 在特定的 URL 上。 所以這是一個很好的出行方式 並且基本上鼓勵谷歌查看它。 所以正如你在這裡看到的， 谷歌已經抓取了智能手機，今天被抓取了。 所以，這將更新它很快被爬到這裡 我們就不必太擔心這個網站了。 所以讓我們進入，我們已經討論了機器人文檔。 我們討論瞭如何找到機器人文檔 以及如何編輯它。 因此，在 Google Search Console 中， 我實際上可以進入這個文件 並在此處實際阻止 URL。 我可以把它們放進去 我可以把它們放在這里以禁止特定的 URL。 在這種情況下，我們已禁用管理門戶 對於我們的網站。 我們去看看 如何請求阻止 URL 在 Google Search Console 中。 所以我們可以做一個 30 天或臨時的區塊 在 Google Search Console 中， 基本上告訴它不要覆蓋某些頁面 或者我們正在刪除某些頁面 在 Search Console 中。 下面是 Search Console 中的刪除內容。 這就是我們將使用的 進行臨時搬遷。 假設我們正在更新一個頁面 或者我們不想在它準備好之前對其進行索引。 假設我們正在建造一家商店。 但我們，有時會發生什麼， 當它發生時有點尷尬， 是有時人們會建造 像男士特別折扣頁面 他們會 半無意地啟動該頁面。 所以如果你有這樣的東西會更好， 要么把它放在一個機器人文檔中，因為它暫時被阻止了 或者把它放在這裡作為你的臨時搬家 然後通過並稍後將其刪除 當您準備好啟動該頁面時。 有時會發生這種情況，谷歌實際上會抓取一個頁面 這實際上會顯示為 404 讓我們說一個父親節特別折扣頁面。 它實際上會在 Google 中建立索引 在我們真正準備好啟動該頁面之前。 有時會發生，當它發生時， 現在很少見了 但它過去經常發生。 這是我們可以經歷的事情之一 就在這裡並要求它。 我們還可以提交某些內容過時的頁面 基本上說，嘿，我們有這些過時的內容 還在谷歌。 你能抓取這個頁面嗎？ 所以這是這樣做的方法。 這是一種做臨時的方式， 在此處瀏覽並添加某些頁面。 好的，所以在這個視頻中我們已經介紹了爬行 以及一些網站抓取工具 以及如何提交機器人文檔。 所以我們可以去谷歌打開bot doc tester， 並提交給定屬性的機器人文檔， 添加屬性，提交屬性。 所以這就是我們通過並實際添加機器人文檔的方式 到屬性去谷歌， 然後你去搜索控制台。 好的，我們將在以後的視頻中介紹 關鍵字和關鍵字規劃， 以及有關網站設計的更多內容。 好的，我們下個視頻再見。
