Hvad er robots.txt for en størrelse og hvad er dens formål på din webside?

Robots.txt er en simpel fil og standard, der blev skabt for over et årti siden og behovet bag dens oprindelse har at gøre med web-elementer, der kaldes robotter, spiders eller crawlers. Der er tale om automatiske programmer, eller scripts, der vandrer rundt på nettet med forskellige formål. Robots.txt er blevet skabt med det formål at holde dem i nakken i forhold til, hvilken information de må have lov at indsamle.

Web crawlers er en absolut integral del af internettet og det er fx. meget ønskværdigt at få besøg af Googles crawlere ofte, da dette betyder, at crawleren indekserer de 'kravlede' sider for dig hos Google. Google ved ikke noget om dit indhold, eller nye indhold, før der er blevet indhentet af en crawler for at indeksere det i deres database. Indtil da, er din webside, eller nye underside i princippet en del af 'deep web' (ikke at forveksle med 'dark web').

Det er ikke noget ved at have en webside, der kun eksisterer på 'deep web'

Der kan være mange grunde til at man ønsker at have noget at skulle have sagt i forhold, hvor de her søgerobotter "kravler" rundt. Her er to af de mest almindelige:

  1. Ved en ufærdig webside på et nyt domæne. Det er en hurtig måde at fortælle søgemaskiner, at siden altså ikke skal fremvises som et søgeresultat endnu.
  2. Har man sit sitemap.xml, eller flere individuelle sitemaps, på utraditionelle lokationer på sin webserver, så kan det defineres i robots.txt, hvor disse kan findes.

Har du en robots.txt fil?

Filen bør altid lægge i roden af din webfolder. Dvs. den skal være tilgængelig på adressen: min-webside.dk/robots.txt . Udskift "min-webside.dk" med dit domæne og check om du har en robots.txt fil. Du kan også checke min ud her https://webmaestro.dk/robots.txt

Du kan læse meget mere om oprindelsen af robots.txt her

linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram