Khắc phục lỗi chặn CSS và Javascript trên website

Gần đây Google bắt đầu có hành động cảnh báo các trang không cho phép công cụ tìm kiếm này truy cập vào các file CSS và Javascript, nguyên nhân chủ yếu do các bạn cài đặt chặn CSS và Javascript từ file Robots.txt.

Google lần này ra quyết định như vậy là do con bot của Google có khả năng đọc và hiểu CSS cũng như Javascript, nhằm tránh hiện tượng dùng các thẻ ẩn mà ảnh chụp màn hình của Google vẫn thấy, cũng như phân tích sâu hơn hành động của website, Google đã gửi email yêu cầu các webmaster có website này gỡ bỏ chặn Google bot !
Trên blog của Google webmaster cũng đã đăng tải thông tin cụ thể về việc Google đã có thể trích xuất dữ liệu Ajax trên các trang sử dụng Ajax, chặn JS chính là ngăn chặn Google thực thi các kết quả từ Ajax và làm sai lệch hoặc hiểu nhầm nội dung website, xét một cách toàn diện thì website không có lợi chứ không phải Google có lợi !
Để khắc phục điều này các bạn cần cho thêm dòng sau vào trong file robots.txt của mình:
User-agent: *
Allow: /*.js$
Allow: /*.css$
Ngoài ra, các bạn không nên để lại dòng Disalow nào có .JS hay .CSS thì dễ dàng hơn.