Tệp robots.txt cho trình thu thập dữ liệu của công cụ tìm kiếm biết có thể truy cập vào những URL nào trên trang web của bạn. Tệp này chủ yếu dùng để ngăn trình thu thập dữ liệu gửi quá nhiều yêu cầu cho trang web; đây không phải là cơ chế để ẩn một trang web khỏi Google. Để ẩn một trang web khỏi Google, hãy chặn lập chỉ mục bằng Show Tệp robots.txt dùng để làm gì?Tệp robots.txt chủ yếu dùng để quản lý lưu lượng truy cập của trình thu thập dữ liệu vào trang web của bạn và thường dùng để ẩn tệp khỏi Google, tuỳ thuộc vào loại tệp: Ảnh hưởng của tệp robots.txt đến các loại tệp Trang web Đối với các trang web (HTML, PDF hoặc các định dạng khác không phải nội dung đa phương tiện mà Google đọc được), bạn có thể dùng một tệp robots.txt để quản lý lưu lượng thu thập dữ liệu nếu cho rằng máy chủ của bạn sẽ bị quá tải do số lượng yêu cầu của trình thu thập dữ liệu của Google. Bạn cũng có thể dùng tệp này để tránh thu thập dữ liệu các trang không quan trọng hoặc tương tự nhau trên trang web của mình. Nếu trang web của bạn bị chặn bằng một tệp robots.txt thì URL của trang đó vẫn có thể xuất hiện trong kết quả tìm kiếm, nhưng kết quả tìm kiếm đó sẽ không có nội dung mô tả. Các tệp hình ảnh, tệp video, tệp PDF và các tệp không phải HTML khác được nhúng trên trang bị chặn cũng sẽ bị loại trừ khỏi quá trình thu thập dữ liệu, trừ phi các tệp đó được dẫn chiếu đến qua các trang khác được phép thu thập dữ liệu. Nếu bạn thấy kết quả tìm kiếm này cho trang của mình và muốn sửa, hãy xoá tệp robots.txt đang chặn trang. Nếu bạn muốn ẩn hoàn toàn trang khỏi Tìm kiếm, hãy sử dụng . Tệp đa phương tiện Bạn có thể dùng tệp robots.txt để quản lý lưu lượng thu thập dữ liệu, đồng thời để ngăn các tệp hình ảnh, video và âm thanh xuất hiện trong kết quả tìm kiếm trên Google. Tệp này sẽ không ngăn các trang hoặc người dùng khác liên kết đến tệp hình ảnh, video hay âm thanh của bạn.
Tìm hiểu những hạn chế của tệp robots.txtTrước khi tạo hoặc chỉnh sửa tệp robots.txt, bạn nên biết những hạn chế của phương pháp chặn URL này. Tuỳ thuộc vào mục tiêu và tình huống của bạn, bạn nên cân nhắc cả những cơ chế khác để đảm bảo URL của bạn không tìm được trên web.
Tạo hoặc cập nhật tệp robots.txtNếu bạn cho là mình cần một tệp robots.txt, hãy tìm hiểu cách tạo tệp robots.txt. Hoặc nếu đã có, hãy tìm hiểu cách cập nhật. Bạn muốn tìm hiểu thêm? Hãy tham khảo những tài nguyên sau:
Trừ khi có lưu ý khác, nội dung của trang này được cấp phép theo Giấy phép ghi nhận tác giả 4.0 của Creative Commons và các mẫu mã lập trình được cấp phép theo Giấy phép Apache 2.0. Để biết thông tin chi tiết, vui lòng tham khảo Chính sách trang web của Google Developers. Java là nhãn hiệu đã đăng ký của Oracle và/hoặc các đơn vị liên kết với Oracle. Cập nhật lần gần đây nhất: 2023-12-07 UTC. [{ "type": "thumb-down", "id": "missingTheInformationINeed", "label":"Thiếu thông tin tôi cần" },{ "type": "thumb-down", "id": "tooComplicatedTooManySteps", "label":"Quá phức tạp/quá nhiều bước" },{ "type": "thumb-down", "id": "outOfDate", "label":"Đã lỗi thời" },{ "type": "thumb-down", "id": "translationIssue", "label":"Vấn đề về bản dịch" },{ "type": "thumb-down", "id": "samplesCodeIssue", "label":"Vấn đề về mẫu/mã" },{ "type": "thumb-down", "id": "otherDown", "label":"Khác" }] [{ "type": "thumb-up", "id": "easyToUnderstand", "label":"Dễ hiểu" },{ "type": "thumb-up", "id": "solvedMyProblem", "label":"Giúp tôi giải quyết được vấn đề" },{ "type": "thumb-up", "id": "otherUp", "label":"Khác" }] Bạn muốn chia sẻ thêm với chúng tôi? |