Metodo 1: Utilizzare il File robots.txt
Il file robots.txt è il metodo più semplice e consente di dare istruzioni ai motori di ricerca su quali cartelle o file non devono essere indicizzati.
Passaggi:
1. Accedi via FTP alla root del tuo sito web.
2. Apri il file robots.txt o creane uno nuovo se non esiste.
3. Aggiungi le seguenti righe:
User-agent: *
Disallow: /nome-cartella/
Come Funziona:
•User-agent: * indica che la regola si applica a tutti i motori di ricerca.
•Disallow: /nome-cartella/ blocca l'accesso alla cartella specificata.
⚠️ Attenzione: Il file robots.txt non garantisce al 100% che i contenuti non vengano indicizzati, soprattutto se ci sono link diretti ai file.
Metodo 2: Protezione Tramite .htaccess
Se vuoi un metodo più sicuro per impedire a Google di accedere ai contenuti della cartella, puoi utilizzare il file .htaccess. Questo metodo è ideale per i server Apache.
Passaggi:
1. Accedi alla tua cartella via FTP e crea un file .htaccess (o modifica quello esistente).
2. Inserisci il seguente codice:
Options -Indexes
RewriteEngine On
RewriteCond % (googlebot|bingbot|baiduspider|yandexbot) [NC] RewriteRule .* – [F,L]
Come Funziona:
• Options -Indexes disabilita l'indicizzazione automatica del contenuto della cartella.
• Le regole di riscrittura bloccano l'accesso ai principali motori di ricerca.
Vantaggi:
Questo metodo offre un controllo maggiore e blocca fisicamente l'accesso ai file da parte dei bot.
Metodo 3: Utilizzare gli Header HTTP noindex
Puoi anche utilizzare gli header HTTP per specificare che i file nella cartella non devono essere indicizzati.
Opzione A: File PHP
Crea un file index.php nella tua cartella e inserisci il seguente codice:
header("X-Robots-Tag: noindex, nofollow", true);
?>
Opzione B: .htaccess
Puoi aggiungere un'ulteriore direttiva nel file .htaccess per includere l'header noindex:
Header set X-Robots-Tag "noindex, nofollow"
Come Funziona:
•X-Robots-Tag: noindex, nofollow indica ai motori di ricerca di non indicizzare i file specificati.
•Puoi applicare questa regola a tutti i file o solo a quelli con estensioni specifiche (ad esempio PDF o DOC).
Vantaggi:
Questa opzione è flessibile e può essere applicata a singoli file o a gruppi di file con estensioni specifiche.
Metodo 4: Protezione Tramite Password
Se i file nella cartella contengono informazioni riservate, considera di proteggere la cartella con una password.
Passaggi:
1. Crea un file .htpasswd per memorizzare le credenziali.
2. Modifica il file .htaccess nella cartella e aggiungi:
AuthType Basic
AuthName "Restricted Access"
AuthUserFile /path/to/.htpasswd
Require valid-user
Come Funziona:
Questa configurazione richiede l'inserimento di una password per accedere alla cartella, impedendo l'accesso ai bot e agli utenti non autorizzati.
Verifica dell'Efficacia
Puoi verificare se i file nella tua cartella sono stati bloccati correttamente utilizzando Google Search Console. Vai alla sezione "Strumento di Controllo URL" e inserisci l'URL della cartella per verificare se è indicizzata.
In alternativa, puoi utilizzare il comando di ricerca di Google:
site:iltuosito.it/nome-cartella/
Se non appare alcun risultato, significa che la cartella non è stata indicizzata.
Conclusioni
Bloccare l'indicizzazione di una cartella è una pratica fondamentale per proteggere i tuoi contenuti sensibili. Con queste semplici configurazioni, puoi assicurarti che Google e gli altri motori di ricerca non accedano ai file riservati del tuo sito web.
