Τι είναι το αρχείο robots.txt;

Εισαγωγή

Το αρχείο robots.txt είναι ένα απλό αρχείο κειμένου που αποτελεί μέρος του πρωτοκόλλου εξαίρεσης ρομπότ (REP - Robots Exclusion Protocol). Περιέχει οδηγίες για τις μηχανές αναζήτησης σχετικά με το πώς να έχουν πρόσβαση και να ευρετηριάσουν τον ιστότοπο. Για να έχει αποτέλεσμα, το αρχείο robots.txt πρέπει να τοποθετηθεί στον κύριο φάκελο του ιστότοπου (π.χ. https://domeniu.ro/robots.txt).

Η σημασία του αρχείου robots.txt

Το αρχείο robots.txt είναι κρίσιμο για τη διαχείριση της αλληλεπίδρασης των ρομπότ με την ιστοσελίδα. Υπάρχουν πολλοί ρομποτικοί που μπορούν να ευρετηριάσουν την ιστοσελίδα επιθετικά, κάτι που μπορεί να επηρεάσει την απόδοσή της. Χρησιμοποιώντας αυτό το αρχείο, μπορείτε:

• Ελέγχει την πρόσβαση των μηχανών αναζήτησης στο περιεχόμενο της ιστοσελίδας.
• Επιτρέπει την ευρετηρίαση μόνο από τους επιθυμητούς ρομπότ (π.χ. Google, Bing).
• Περιορίστε την πρόσβαση σε ευαίσθητους φακέλους ή αρχεία.

Παραδείγματα χρήσης

1. Εμπόδιση μιας συγκεκριμένης μηχανής αναζήτησης

Για να αποκλείσετε την πρόσβαση της μηχανής αναζήτησης Bing (bingbot), προσθέστε τις παρακάτω γραμμές στο αρχείο robots.txt:

User-agent: bingbotΑπαγορεύεται: /

Εξήγηση:
User-agent: Προσδιορίζει την μηχανή αναζήτησης για την οποία ισχύουν οι ρυθμίσεις.
Disallow: Ορίζει τα τμήματα της ιστοσελίδας στα οποία ο ρομπότ δεν έχει πρόσβαση. Το σύμβολο / μπλοκάρει την πρόσβαση σε ολόκληρη την ιστοσελίδα.

2. Αποκλεισμός όλων των μηχανών αναζήτησης

Για να εμποδίσετε όλες τις μηχανές αναζήτησης να έχουν πρόσβαση στην ιστοσελίδα, χρησιμοποιήστε:

User-agent: *Απαγορεύεται: /

Εξήγηση: Το σύμβολο * (wildcard) στον τομέα User-agent εφαρμόζεται σε όλες τις μηχανές αναζήτησης, ενώ / αποκλείει την πρόσβαση σε ολόκληρη την ιστοσελίδα.

3. Εμπόδιο πρόσβασης μόνο σε συγκεκριμένα φακέλους ή αρχεία

Για να αποκλείσετε την πρόσβαση σε έναν φάκελο και σε ένα συγκεκριμένο αρχείο, ρυθμίστε:

User-agent: *Απαγόρευση: /blog/Disallow: /newsletter.php

Εξήγηση: Όλες οι μηχανές αναζήτησης θα μπλοκαριστούν από το να ευρετηριάσουν τον φάκελο /blog/ και το αρχείο newsletter.php.

Δημιουργία του αρχείου robots.txt

Για να δημιουργήσετε ένα αρχείο robots.txt, μπορείτε να χρησιμοποιήσετε έναν διαδικτυακό γεννήτρια, ο οποίος σας βοηθά να εξατομικεύσετε τους κανόνες γρήγορα και χωρίς σφάλματα. Παραδείγματα διαδικτυακών γεννητριών μπορούν να βρεθούν με μια αναζήτηση: Γεννήτρια robots.txt.

Αφού δημιουργήσετε το αρχείο, ανεβάστε το στον ριζικό κατάλογο της ιστοσελίδας χρησιμοποιώντας έναν διαχειριστή αρχείων ή έναν FTP client.