Cách viết file robots.txt trên WordPress với Yoast SEO (2024)

Mục lục

1. Giới thiệu về robots.txt
2. Lợi ích của việc sử dụng robots.txt
3. Cách viết file robots.txt trên WordPress
4. Cách viết file robots.txt khi bootstrap website
5. Cú pháp của file robots.txt
6. Chỉ định quyền truy cập cho các user agent cụ thể
7. Chỉ định các đường dẫn bị cấm truy cập
8. Chỉ định sitemap trong file robots.txt
9. Những lưu ý khi viết file robots.txt
10. Kết luận

🤖 Giới thiệu về robots.txt

File robots.txt là một tệp văn bản đặc biệt được sử dụng để điều chỉnh hoạt động của web crawler trên một trang web. Nó chứa các chỉ thị về việc tìm kiếm và truy cập các phần tử của trang web. Việc sử dụng file robots.txt giúp quản lý việc truy cập của các công cụ tìm kiếm và bảo vệ quyền riêng tư của trang web.

📈 Lợi ích của việc sử dụng robots.txt

Việc sử dụng file robots.txt có nhiều lợi ích như sau:

• Điều chỉnh việc truy cập của các công cụ tìm kiếm: Bằng cách chỉ định các chỉ thị trong file robots.txt, bạn có thể quyết định xem các công cụ tìm kiếm có được phép truy cập vào trang web của bạn hay không.
• Quản lý lưu lượng truy cập: Bạn có thể chỉ thị cho các robot chỉ truy cập vào các trang quan trọng và ngăn chúng không truy cập vào các trang không quan trọng hoặc nhạy cảm.
• Bảo vệ dữ liệu cá nhân: Với file robots.txt, bạn có thể ngăn các công cụ tìm kiếm lấy các tệp tin nhạy cảm hoặc không ưu tiên trang chứa thông tin cá nhân của người dùng.

🖋️ Cách viết file robots.txt trên WordPress

Viết file robots.txt trên WordPress khá đơn giản với sự trợ giúp của plugin Yoast SEO. Bạn có thể làm theo các bước sau:

1. Cài đặt và kích hoạt plugin Yoast SEO trên trang web của bạn.
2. Trong menu WordPress, điều hướng đến "Công cụ" và chọn "Trình soạn file".
3. Tìm kiếm và chỉnh sửa file robots.txt.
4. Chèn các chỉ thị và chỉnh sửa các phần tử như quy định.

🛠️ Cách viết file robots.txt khi bootstrap website

Nếu bạn bootstrap website của mình hoặc tự code trang web và lưu trữ trên GoDaddy hoặc các nhà cung cấp hosting khác, bạn có thể làm theo các bước sau:

1. Mở trình soạn thảo văn bản và tạo một tệp mới.
2. Đầu tiên, chỉ định các user agent mà bạn muốn gửi chỉ thị bằng cách sử dụng dòng "User-agent: [tên_user_agent]".
3. Sau đó, thêm các chỉ thị "Disallow: [đường_dẫn_cấm]" cho các đường dẫn mà bạn muốn ngăn các robot tiếp cận.
4. Cuối cùng, thêm chỉ thị "Sitemap: [đường_dẫn_đến_sitemap]" để chỉ định vị trí sitemap của trang web.

🔍 Cú pháp của file robots.txt

Cú pháp file robots.txt đơn giản và dễ hiểu. Dưới đây là một số quy tắc cú pháp cơ bản:

• Mỗi chỉ thị nằm trên một dòng riêng.
• Một chỉ thị bắt đầu với một từ khóa sau đó là một dấu hai chấm và giá trị của chỉ thị.
• Các chỉ thị không phân biệt chữ hoa chữ thường.

Ví dụ:

User-agent: *
Disallow: /admin/
Allow: /images/
Sitemap: https://example.com/sitemap.xml

⚠️ Những lưu ý khi viết file robots.txt

Việc viết file robots.txt cần lưu ý các điều sau:

1. Cẩn thận khi chỉ định các đường dẫn bị cấm truy cập: Hãy đảm bảo rằng các đường dẫn mà bạn cấm truy cập là chính xác và không gây rối cho các công cụ tìm kiếm.
2. Ghi nhớ rằng các chỉ thị không phải là cam kết: Mặc dù các công cụ tìm kiếm thường tuân thủ các chỉ thị trong file robots.txt, nhưng không phải lúc nào chúng cũng tuân thủ. Vì vậy, việc sử dụng các chỉ thị này không đảm bảo hoàn toàn.
3. Sử dụng thẻ noindex cho các trang quan trọng: Nếu bạn muốn ngăn công cụ tìm kiếm hiển thị một trang cụ thể trong kết quả tìm kiếm, hãy sử dụng thẻ noindex thay vì chỉ thị disallow.

📝 Kết luận

Viết file robots.txt là một phần quan trọng trong việc tối ưu hóa công cụ tìm kiếm. Bằng cách sử dụng file robots.txt, bạn có thể điều chỉnh hoạt động của web crawler và bảo vệ quyền riêng tư của trang web. Hãy nhớ tuân thủ các quy tắc cú pháp và kiểm tra kỹ lưỡng trước khi triển khai file robots.txt trên trang web của bạn.

FAQ:

Q: Robots.txt có hiệu quả 100% trong việc ngăn truy cập của các công cụ tìm kiếm? A: Không, việc sử dụng robots.txt chỉ là các chỉ thị, không đảm bảo rằng các công cụ tìm kiếm sẽ tuân thủ hoàn toàn. Một số công cụ tìm kiếm có thể bỏ qua chỉ thị này và truy cập vào các trang mà bạn đã cấm.

Q: Tôi có thể chặn toàn bộ truy cập đến trang web của mình bằng file robots.txt? A: Đúng, bạn có thể sử dụng chỉ thị "Disallow: /" để chặn toàn bộ truy cập. Tuy nhiên, điều này đồng nghĩa với việc không cho phép bất kỳ công cụ tìm kiếm nào truy cập vào trang web của bạn.

Q: Tôi có thể chỉ định nhiều user agent khác nhau trong file robots.txt không? A: Có, bạn có thể chèn nhiều chỉ thị "User-agent" vào file robots.txt để chỉ định quyền truy cập cho từng user agent riêng biệt.

Q: Nếu tôi không có file robots.txt, công cụ tìm kiếm sẽ truy cập tất cả các trang trên trang web của tôi đúng không? A: Đúng, nếu không có file robots.txt, các công cụ tìm kiếm sẽ truy cập và lập chỉ mục tất cả các trang trên trang web của bạn.

Tài liệu tham khảo:

• Google - Robottxt