Χρησιμοποιήστε το αρχείο robots.txt

Περιορισμοί στην ανίχνευση δεν απαιτούνται με το αρχείο robots.txt .

Το αρχείο robots.txt υποδεικνύει στις μηχανές αναζήτησης εάν μπορούν να έχουν πρόσβαση σε και, κατά συνέπεια, να ανιχνεύσουν τμήματα του ιστοτόπου σας. Το συγκεκριμένο αρχείο, το οποίο πρέπει να έχει την ονομασία "robots.txt", βρίσκεται στον κεντρικό κατάλογο του ιστοτόπου σας.
 
Ίσως δεν επιθυμείτε την ανίχνευση ορισμένων σελίδων του ιστοτόπου σας, οι οποίες εμφανίζονται στα αποτελέσματα των μηχανών αναζήτησης, επειδή ενδεχομένως δεν παρέχουν καμία χρήσιμη πληροφορία στους χρήστες. Επομένως, εάν θέλετε να εμποδίσετε την ανίχνευση συγκεκριμένων σελίδων από τις μηχανές αναζήτησης, τα Εργαλεία για Webmasters Google σας παρέχουν το robots.txt generator που θα σας βοηθήσει να δημιουργήσετε το συγκεκριμένο αρχείο. Μην ξεχνάτε ότι εάν ο ιστότοπός σας περιλαμβάνει υποτομείς των οποίων οι σελίδες δεν θέλετε να ανιχνεύονται, πρέπει να δημιουργήσετε ένα ξεχωριστό αρχείο robots.txt για κάθε υποτομέα. Για περισσότερες πληροφορίες σχετικά με το αρχείο robots.txt, ανατρέξτε στον οδηγό του Κέντρου βοήθειας για υπεύθυνους ιστού, στην ενότητα χρήση αρχείων robots.txt.

Υπάρχουν επίσης πολλοί άλλοι τρόποι για να αποφύγετε την εμφάνιση ενός συγκεκριμένου περιεχομένου στα αποτελέσματα αναζήτησης, όπως η προσθήκη της μετα-ετικέτας "NOINDEX" στο αρχείο robots, η χρήση του αρχείου .htaccess για την προστασία των καταλόγων σας με κωδικό πρόσβασης, καθώς και η κατάργηση του περιεχομένου που έχει ήδη ανιχνευτεί χρησιμοποιώντας τα Εργαλεία για Webmasters Google. Στο βίντεο του προγραμματιστή του Google, Matt Cutts, θα βρείτε χρήσιμες οδηγίες σχετικά με το τι πρέπει να προσέχετε σε κάθε μέθοδο αποκλεισμού διευθύνσεων τοποθεσίας.

robots

(1) Όλα τα bot των συμβατών μηχανών αναζήτησης (που επισημαίνονται με το χαρακτήρα μπαλαντέρ *) δεν μπορούν να έχουν πρόσβαση και να ανιχνεύουν περιεχόμενα που βρίσκονται στον κατάλογο /images/ ή σε οποιαδήποτε διεύθυνση τοποθεσίας της οποίας η διαδρομή ξεκινά με /search

 

robots2

(2) Η διεύθυνση του αρχείου robots.txt στον ιστότοπό μας.

Σωστές πρακτικές

Χρησιμοποιήστε ασφαλέστερες μεθόδους για την προστασία των ευαίσθητων δεδομένων του περιεχομένου σας

Με τη χρήση του αρχείου robots.txt δεν μπορείτε να είστε απόλυτα σίγουροι για την ασφάλεια των ευαίσθητων ή εμπιστευτικών πληροφοριών των δεδομένων σας. Αυτό συμβαίνει επειδή οι μηχανές αναζήτησης εξακολουθούν να αναφέρουν στα αποτελέσματα τις διευθύνσεις τοποθεσίας που έχετε αποκλείσει (εμφανίζοντας μόνο τις διευθύνσεις τοποθεσίας και όχι τίτλους ή αποσπάσματα), εάν υπάρχουν σύνδεσμοι για αυτές τις διευθύνσεις σε οποιαδήποτε σελίδα του διαδικτύου (όπως σε αρχεία καταγραφής αναφοράς). Επίσης, ορισμένες μη πιστοποιημένες ή επικίνδυνες μηχανές αναζήτησης δεν αναγνωρίζουν το πρότυπο Robots Exclusion Standard και ίσως δεν συμμορφώνονται με τις οδηγίες αποκλεισμού του αρχείου robots.txt που έχετε δημιουργήσει. Τέλος, ένας περίεργος χρήστης μπορεί να ανατρέξει στους καταλόγους ή υποκαταλόγους του αρχείου robots.txt και να μαντέψει τη διεύθυνση τοποθεσίας του περιεχομένου που δεν επιθυμείτε να εμφανίζεται. Επομένως, οι ασφαλέστεροι τρόποι προστασίας του περιεχομένου σας είναι η κρυπτογράφηση ή χρήση κωδικού πρόσβασης με το αρχείο .htaccess.

 Αποφύγετε :

  • την ανίχνευση σε σελίδες αποτελεσμάτων (στους χρήστες δεν αρέσει να μεταβαίνουν από μια σελίδα αποτελεσμάτων σε μια άλλη, η οποία δεν τους παρέχει περισσότερες πληροφορίες)
  • την ανίχνευση μεγάλου αριθμού σελίδων που δημιουργούνται αυτόματα και οι οποίες διαθέτουν το ίδιο ή ελαφρώς διαφορετικό περιεχόμενο: "Χρειάζεται να συμπεριλαμβάνονται στο ευρετήριο μιας μηχανής αναζήτησης 100.000 σελίδες που δεν διαφέρουν σημαντικά μεταξύ τους;"
  • την ανίχνευση διευθύνσεων τοποθεσίας που έχουν δημιουργηθεί από ενδιάμεσους server
we are hiring
Follow us on Google+