Trong bài viết này, bạn sẽ tìm hiểu Robot.txt tùy chỉnh là gì? Cách thiết lập Robot.txt tùy chỉnh hoàn hảo trong Blogger và Cách thêm sơ đồ trang web vào Blogger bằng cách sử dụng Robot.txt tùy chỉnh.
 |
| Robots Txt tùy chỉnh trong Blogger |
Robot.txt tùy chỉnh là gì?
Chủ sở hữu trang web sử dụng tệp robots.txt tùy chỉnh để thông báo cho robot web biết URL, thư mục và trang nào của trang web đó sẽ được thu thập thông tin.
Robot Web còn được gọi là Spider hoặc Trình thu thập thông tin, là các chương trình duyệt/thu thập thông tin trên web một cách tự động. Các công cụ tìm kiếm như Google, Bing, v.v. sử dụng chúng để lập chỉ mục nội dung web.
Khi robot web truy cập trang web của bạn, nó sẽ đi tới robots.txt tùy chỉnh và kiểm tra những trang, thư mục hoặc URL nào được phép thu thập dữ liệu vì đôi khi chúng tôi không muốn robot thu thập dữ liệu các trang không cần thiết hoặc các thư mục và thư mục không công khai như URL hoặc thư mục phía quản trị viên.
(getCard) #type=(post) #title=(You might Like)Code Robot.txt tùy chỉnh
Dưới đây là mã Robot.txt tùy chỉnh cho blog Blogger của bạn. Bạn phải Sao chép mã này và Dán vào Robots.txt tùy chỉnh, như được hiển thị bên dưới trong Cách thiết lập Robot txt tùy chỉnh trong Blogger.
Trong Sitemap, hãy thay thế ví dụ bằng tên miền blog của bạn như “https://www.anhtrainang.com”.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.anhtrainang.com/sitemap.xml
Chú thích code phía trên:
- “User-agent: *” có nghĩa là phần này áp dụng cho tất cả các robot.
- User-agent: Mediapartners-Google & Disallow cho phép quảng cáo Google AdSense hiển thị trên bất kỳ trang nào trong blog của bạn.
- Disallow: /search có nghĩa là bỏ qua tất cả các URL có từ khóa /search/ như https://www.anhtrainang.com/search/label/Blogger.
- Lệnh Allow được sử dụng để ghi đè các lệnh không cho phép trong cùng một tệp robots.txt. Ở đây Allow: / hướng dẫn robot web rằng chúng có thể thu thập dữ liệu bất kỳ Trang/URL nào của trang web ngoại trừ không được phép.
- Sitemap là một tệp XML liệt kê các trang trong blog của bạn, đảm bảo Google và các công cụ tìm kiếm khác có thể tìm và thu thập dữ liệu tất cả các trang đó.
Làm cách nào để thiết lập Robot txt tùy chỉnh trong Blogger?
Trong phần này mình sẽ hướng dẫn bạn cách thiết lập robot.txt tùy chỉnh trong Blogger:
- Đăng nhập vào tài khoản Blogger của bạn.
- Đi tới Thanh bên và nhấp vào Cài đặt.
- Cuộn xuống phần Trình thu thập thông tin và lập chỉ mục.
- Bật tùy chọn Bật robots.txt tùy chỉnh bằng cách kéo thanh trượt về phía bên phải.
- Nhấp vào Robots.txt tùy chỉnh.
Bây giờ Sao chép và dán mã Robot.txt tùy chỉnh tại đây.
Nhấp vào để Lưu.
Bây giờ là lúc kiểm tra tệp robots.txt tùy chỉnh của bạn. Thêm /robots.txt vào cuối URL blog của bạn và nhấn enter, ví dụ như:
Nó sẽ hiển thị cho bạn mã giống như mã mà bạn đã thêm vào trong tệp robots.txt tùy chỉnh.
Đến đây là mọi thứ thiết lập đã xong rồi. Nếu muốn xài robot txt nâng cao hơn tí cho sau này thì có thể tham khảo bài này: Hướng dẫn tạo và sử dụng file robots.txt để tối ưu SEO trên blogspot.
Kết luận
Bên trên là khá chi tiết về Cách thiết lập Robots Txt tùy chỉnh trong Blogger mới nhất. Nếu bạn thích bài viết này thì đừng quên chia sẻ với bạn bè của bạn. Và để lại phản hồi của bạn trong phần bình luận bên dưới nhé!
