John Mueller của Google đã trả lời câu hỏi về sự khác biệt giữa thu thập dữ liệu và lập chỉ mục của Googlebot trên thiết bị di động vs Google trên máy tính.
Trong buổi hangout trên Youtube, một câu hỏi liên quan đến sự chậm trễ của việc lập chỉ mục và thắc mắc rằng liệu đó có phải do sự khác biệt khi thu thập dữ liệu của các Googlebot.
Sự khác biệt trong việc thu thập dữ liệu của Googlebot
“Các bài đăng trên trang web của chúng tôi sẽ được lập chỉ mục sau một tuần. Trang web cũ và thân thiện với thiết bị di động.
Khi tôi kiểm tra URL trong Search Console, nó cho thấy nó đã được thu thập thông tin bởi Google smartphone.
Nhưng trong phần Giới thiệu, thì lại được hiển thị dưới dạng Googlebot Desktop.
Điều này có nghĩa là Smartphone bot đang thu thập thông tin URL và Desktop bot đang lập chỉ mục URL này?
Đây có phải là lý do đằng sau sự chậm trễ lập chỉ mục? "
Câu trả lời của John Mueller:
“Đây không phải là lý do cho bất kỳ loại vấn đề lập chỉ mục nào.
Tôi không biết rõ tại sao bạn có thể thấy sự kết hợp giữa trình thu thập thông tin trên máy tính để bàn và thiết bị di động ở đó.
Có thể chỉ là Search Console về cơ bản hoạt động tốt, theo mặc định, Công cụ kiểm tra sẽ chỉ sử dụng mobile Googlebot.
Trong thực tế, chúng tôi luôn thu thập dữ liệu với cả hai trình thu thập.
Chúng tôi thu thập dữ liệu và lập chỉ mục với bất kỳ trình thu thập thông tin nào trong số này.
Vì vậy, thông thường bạn sẽ thấy 80% đến từ Googlebot dành cho thiết bị di động và 20% có thể đến từ Googlebot trên máy tính để bàn.
Và loại tỷ lệ đó, về cơ bản là bình thường và không có nghĩa là mọi thứ chậm hơn bất kỳ thứ gì khác. "
Các trình thu thập dữ liệu của Google
Google có rất nhiều trình thu thập dữ liệu trang web để thu thập và lập chỉ mục thông tin trên internet.
Nếu bạn nhìn vào Server log file của mình, bạn có thể thấy các Crawler của Google
- Googlebot Desktop
- Googlebot Smartphone
- Googlebot Image
- Mediapartners-Google
- FeedFetcher-Google
- Google-Read-Aloud
- AdsBot-Google
- Googlebot-Video
Đó chỉ là một vài trong số các trình thu thập thông tin của Google có thể truy cập một trang web.
Google Desktop vs Google Smartphone
Google sử dụng cả hai phiên bản Googlebot: Google Desktop vs Google Smartphone để truy cập các trang web.
Trang web của bạn có thể sẽ được cả Googlebot Desktop và Googlebot Smartphone thu thập thông tin.
Bạn có thể xác định các Googlebot bằng cách xem chuỗi tác nhân người dùng (User Agent) trong nhật ký máy chủ.
Ghi chú:
Google có bot thu thập dữ liệu cho khác nhau cho từng loại nội dung như hình ảnh, video, audio…
Điều đó dẫn đến việc có thể video của bạn được index trên google nhưng bài viết thì không.
Citaiton
English Google SEO office-hours from August 6, 2021
