(seo web) Hôm nay Seowebsitevn xin giới thiệu về cách tạo file Robots.txt
Robot.txt là tập tin đầu tiên mà robot tìm tới khi ghé thăm website của bạn. Có thể ví robot.txt là một người tiếp tân của trang web.
Khi googlebot hoặc bing bot, yahoo bot… tìm tới trang web bạn, nó đọc file robots.txt chứa các “văn bản hướng dẫn” chính là các nội quy của trang web. Robot.txt nói với bot là mục này được vào, mục kia không được vào…Từ đó các con bot này sẽ đi theo những chỉ dẫn đó và thực hiện nhiệm vụ thu thập tin tức của mình.
- Tạo file robots.txt bằng tay
Mở notepad lên, thêm những dòng sau vào nội dung trang web:
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Giải thích:
User-agent: * => Tất cả robot của googe,yahoo, bing…được phép sử dụng hướng dẫn này để truy cập vào trang web
Disallow: /wp- => Báo cho bot không được vào thư mục bắt đầu bằng wp-.
Tương tự với Disallow: /feed/ và Disallow: /trackback/
Bạn có thể ngăn robot đi vào thư mục riêng cũng theo cấu trúc trên:
Disallow: /thu-muc-khong-duoc-vao/
Rất đơn giản phải không các bạn?
- Tạo file robots.txt tự động
Bạn có thể sử dụng các công cụ tự động dưới đây để tạo file robot.txt cho mình:
– Công cụ webmaster tool
– Công cụ Robots.txt Generator
Sau khi tạo file đặt lại tên cho đúng robots.txt và upload lên thư mục gốc của trang web
Theo DavidBui
