Chọn mẫu có sẵn, chỉnh quy tắc cho từng bot, thử xem một đường dẫn bị chặn hay được phép, rồi chép hoặc tải file robots.txt.
Miễn phíChạy trên trình duyệt, không gửi dữ liệuMẫu WordPressThử đường dẫn
Mẫu nhanh
Quy tắc theo bot
Chặn bot AI (tuỳ chọn)
Sitemap
File robots.txt
Thử đường dẫn
Đặt file ở thư mục gốc: tên-miền/robots.txt. Sau khi đưa lên web, kiểm lại trong Google Search Console.
Cách tạo robots.txt cho website
robots.txt là file văn bản nhỏ nằm ở thư mục gốc của website, cho công cụ tìm kiếm biết khu vực nào được phép thu thập và khu vực nào nên bỏ qua. Viết sai một dòng có thể chặn nhầm cả web, nên thử kỹ trước khi đưa lên.
Các bước
Bấm mẫu gần nhất với web của bạn: WordPress chuẩn, WooCommerce hoặc Chặn toàn bộ nếu web chưa sẵn sàng.
Chỉnh các dòng Allow hoặc Disallow, thêm nhóm bot riêng nếu cần.
Điền địa chỉ sitemap, ví dụ https://ten-mien.vn/sitemap.xml.
Dùng ô Thử đường dẫn với vài URL quan trọng (trang chủ, bài viết, trang sản phẩm) để chắc chắn không bị chặn nhầm.
Tải file, tải lên thư mục gốc hosting rồi mở /robots.txt trên trình duyệt để xem.
Những lỗi thường gặp
Quên gỡ Disallow: / sau khi web dựng xong.
Chặn thư mục chứa CSS và JS khiến Google không hiển thị trang đúng như người xem.
Nghĩ rằng chặn trong robots.txt là ẩn trang khỏi Google. Muốn ẩn hẳn hãy dùng thẻ noindex.
Dùng robots.txt để giấu dữ liệu riêng tư: file này ai cũng đọc được.
Bấm mẫu WooCommerce: công cụ điền các dòng chặn trang quản trị (trừ admin-ajax.php), giỏ hàng, thanh toán, tài khoản và các đường dẫn thêm vào giỏ, sắp xếp. Đổi các đường dẫn này cho khớp web của bạn nếu đã đặt tên trang bằng tiếng Việt, ví dụ /gio-hang/ thay cho /cart/.
Công cụ tạo robots.txt với mẫu WooCommerce: quy tắc theo bot bên trái, file robots.txt hoàn chỉnh bên phải, ô Thử đường dẫn và tuỳ chọn chặn bot AI.
Ở thư mục gốc của tên miền, để truy cập được tại tên-miền/robots.txt. Đặt trong thư mục con thì bot không đọc.
Chặn trong robots.txt có làm trang biến mất khỏi Google không?
Không chắc. File này chỉ yêu cầu bot không thu thập trang. Trang bị chặn vẫn có thể xuất hiện nếu nơi khác liên kết tới. Muốn loại hẳn khỏi kết quả, hãy dùng thẻ noindex và để bot đọc được trang.
Chặn bot AI có hiệu lực không?
Các bot tuân thủ robots.txt sẽ dừng thu thập, nhưng đây là thoả thuận tự nguyện, không phải rào chắn kỹ thuật. Bot không tuân thủ vẫn có thể truy cập.
Quy tắc dài nhất thắng nghĩa là sao?
Khi nhiều quy tắc cùng khớp một URL, Google chọn quy tắc có đường dẫn dài nhất, nếu bằng nhau thì ưu tiên Allow. Ô thử đường dẫn trong công cụ làm đúng như vậy.
Web đang dựng nên chặn toàn bộ không?
Có thể, bằng Disallow: /. Nhớ gỡ quy tắc này khi mở web chính thức, nhiều người quên và web mãi không lên Google.
Có cần khai báo Sitemap không?
Không bắt buộc nhưng nên có. Dòng Sitemap giúp bot tìm thấy danh sách trang nhanh hơn; ghi địa chỉ đầy đủ bắt đầu bằng https://.
Web đổi đường dẫn trang giỏ hàng sang tiếng Việt thì sửa thế nào?
Thay /cart/, /checkout/, /my-account/ trong mẫu bằng đường dẫn thật của web, ví dụ /gio-hang/, /thanh-toan/, /tai-khoan/, rồi dùng ô Thử đường dẫn để kiểm tra.
Có nên chặn bot AI không?
Tuỳ bạn. Chặn thì nội dung ít được dùng để huấn luyện hay trích dẫn, nhưng cũng ít xuất hiện trong câu trả lời của các công cụ AI. Bot không tuân thủ thì robots.txt không chặn được.
