Måste jag ha en robots.txt fil? – Lucka 21

Marika Sjöberg - Technical manager/Project manager
marika.sjoberg@sesnordic.se

jul-sesnordic-21Hoppas ni har en väldigt trevlig fjärde advent! I dagens lucka ska vi fatta oss kort så att det blir gott om tid över till julstöket. Vi ska bara gå igenom om du måste ha en robots.txt fil och i så fall varför så häng på!

Måste jag ha en robots.txt fil?

Nej, du behöver inte ha en robots.txt fil. En robots.txt fil är till för att hindra sökrobotarna från att indexera vissa sidor på din webbplats men om du vill indexera alla sidor så behöver du inte lägga upp en robots.txt, inte ens en tom.

Exempel på robots.txt

Vi har tagit en robots.txt från en av våra exempel webbplatser och den såg ut som nedan.

User-agent: *
Disallow: /admin/
Disallow: /system/
Disallow: /upload/
Disallow: /errors
Disallow: /cs/
Disallow: /*?

Sitemap: http://www.exempel.se/Sitemap.axd

Här ser vi att de bl.a. inte vill indexera administratörs- och systemsidor vilket är vanligt (och bra att göra). Den sista Disallow-raden säger åt sökrobotarna att inte indexera några sidor som innehåller ett frågetecken (?) dvs. URL:er som innehåller frågesträngar. Det kan bli t.ex. när man söker på webbplatsen och söksidor bör inte de flesta fall inte indexeras.

Den sista raden i robots.txt filen anger sökvägen till webbplatskartan, sitemapen. Det är också bra att lägga in i robots.txt filen så att sökrobotarna enkelt hittar åt din webbplatskarta.

Relaterade länkar

Det var allt för denna lucka men vill du läsa mer om robots.txt så kan du kika närmare på länkarna nedan.

Har du frågor? Kontakta oss!