robots.txt là một file chữ nhỏ ở thư mục gốc của web, ví dụ tenmien.com/robots.txt. Nó cho các bot thu thập dữ liệu (Googlebot, Bingbot…) biết những đường dẫn nào không nên vào. Viết đúng thì giúp bot không phí thời gian ở trang vô ích. Viết sai thì có thể chặn cả web khỏi Google mà chủ web không hay biết. Bài này giải thích file này làm được gì, mẫu cho WordPress và WooCommerce, và các lỗi hay gặp.
1. robots.txt làm được gì, không làm được gì
- Làm được: chặn bot thu thập một số đường dẫn (khu quản trị, giỏ hàng, trang kết quả lọc), khai báo vị trí sitemap.
- Không làm được: ẩn trang khỏi Google một cách chắc chắn. Trang bị chặn trong robots.txt vẫn có thể hiện trên Google (không kèm mô tả) nếu có link trỏ tới. Muốn trang không xuất hiện thì dùng thẻ
noindexvà không chặn trang đó trong robots.txt, để Google đọc được thẻ noindex. - Không phải bảo mật: bot xấu không tuân theo robots.txt. Đừng liệt kê đường dẫn bí mật trong đó.
2. robots.txt mặc định của WordPress
WordPress tự tạo một robots.txt “ảo” nếu thư mục gốc chưa có file robots.txt thật. Plugin như WooCommerce và plugin SEO có thể thêm dòng vào bản ảo này.
Nếu bạn tạo file robots.txt thật trong thư mục gốc, file thật sẽ được dùng và các dòng tự thêm của plugin không còn tác dụng.
3. Mẫu cho WordPress và WooCommerce
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /gio-hang/
Disallow: /thanh-toan/
Disallow: /tai-khoan/
Disallow: /*?add-to-cart=
Sitemap: https://tenmien.com/wp-sitemap.xml- Thay
/gio-hang/,/thanh-toan/,/tai-khoan/bằng đường dẫn thật của các trang đó trên web bạn. - Thay địa chỉ sitemap bằng sitemap đang dùng (của WordPress hoặc của plugin SEO).
- Web không bán hàng thì bỏ các dòng của WooCommerce.
Công cụ tạo robots.txt của DatPilot có sẵn mẫu cho WordPress, WooCommerce, và cho phép thử xem một đường dẫn có bị chặn không.
4. Lỗi chặn nhầm hay gặp
| Dòng sai | Hậu quả |
|---|---|
Disallow: / | Chặn toàn bộ web. Hay sót lại từ lúc web đang dựng |
Disallow: /wp-content/ | Google không tải được CSS, ảnh, JavaScript nên hiểu sai giao diện và không lấy được ảnh |
Disallow: /wp-includes/ | Tương tự, chặn file giao diện cần thiết |
| Chặn trang rồi đặt noindex | Google không vào được nên không thấy noindex, trang vẫn có thể hiện |
| Sai chữ hoa, chữ thường | Đường dẫn trong robots.txt phân biệt hoa thường |
5. Kiểm tra sau khi sửa
- Mở
tenmien.com/robots.txttrên trình duyệt xem nội dung đã đúng chưa. Nếu dùng cache hoặc Cloudflare, xoá cache file này. - Trong Google Search Console, mục Cài đặt → robots.txt cho biết lần Google đọc file gần nhất và có lỗi không.
- Dùng Kiểm tra URL cho vài trang quan trọng để chắc chúng không bị chặn.
Các bước còn lại để web lên Google có trong bài gửi sitemap lên Google Search Console.
6. Khi nào nên nhờ người làm
Gói cài đặt SEO cho WordPress của DatPilot giá 690.000đ gồm robots.txt, sitemap, Search Console và kiểm tra các trang quan trọng không bị chặn nhầm. Web đã mất thứ hạng vì nghi chặn nhầm thì gói audit SEO 1.200.000đ tìm và sửa nguyên nhân.
