Wat is een Robots.txt?

Robots.txt is een bestand welke webspiders en zoekrobots aangeeft welke bestanden er wel en welke bestanden er niet bekeken mogen worden. Net als bij een Meta Robots kan er bijvoorbeeld een gedeelte van een website worden afgeschermd. Het is dan ook een handige tool voor zoekmachine optimalisatie.

Zoals de .txt al aangeeft is de robot een tekstbestand. Dit tekstbestand wordt in de hoofdmap(root) van een website geplaatst en elke zoekmachine heeft hier dus gelijk inzicht in.

Robots.txt aanmaken

Het aanmaken van is vrij eenvoudig. Neem een kladblok en noem deze robots.txt. Zet vervolgens de volgende syntax in het bestand.

User-agent: [naam spider]
Disallow: [naam bestand of directory]

Bij de user-agent wordt de naam van de spider vermeld en indien van toepassing op alle spiders vermelden we een *. Bij Disallow vermelden we de bestanden van een website welke niet mogen worden gecrawled door spiders. Hieronder volgt een voorbeeld voor een website waarbij alle spiders de directory /beschermd/ niet mogen indexeren:

User-agent: *
Disallow: /beschermd/

Wat doen wij ermee?

Internetiq  maakt of controleert voor al haar klanten de robots.txt. Zoekmachines weten hierdoor dat alle pagina’s geïndexeerd mogen worden. Hierdoor zal er geen verwarring ontstaan.

Internetiq maakt bij haar zoekmachine marketing pakketten altijd een robots.txt aan. Wilt u meer informatie? Neemt u dan contact met ons op.