Google: 503, robots.txt og URL-braketter - hvad det betyder

Illustration af udvikler foran skærm med vedligeholdelsesside og teknisk udstyr omkring

Google sender en klar besked til hjemmesideejere: Brug en 503-fejl, hvis serveren midlertidigt tages ud af drift. Samtidig skal virksomheder være mere opmærksomme på, hvad robots.txt faktisk styrer. Tekniske valg kan påvirke både SEO og synlighed i AI-tjenester.

En 503 kan beskytte din synlighed

Hvis en hjemmeside lukkes kortvarigt for for eksempel en PHP-opdatering, bør den svare med statuskoden 503. Den fortæller søgemaskiner, at siden er midlertidigt utilgængelig, men forventes at komme tilbage.

Det er en bedre løsning end at vise en almindelig 404-side eller en fejlside med status 200. Ifølge Google kan en 503 hjælpe med at bevare allerede indekserede sider, mens arbejdet står på. Fejlen skal dog serveres fra noget, der stadig er tilgængeligt, for eksempel en CDN-løsning eller en midlertidig server.

Der er også en vigtig tidsgrænse. Google anbefaler, at 503-fejlen ikke bruges i mere end en til to dage. Ellers kan sider risikere at forsvinde fra Googles indeks. Det er ikke en fribillet til at lade hjemmesiden holde weekend i flere uger.

Robots.txt styrer ikke alt

Robots.txt bestemmer primært, hvilke kompatible crawlere der må hente bestemte sider. Filen bestemmer ikke nødvendigvis, hvordan indholdet senere må bruges, når det først er blevet hentet.

Det betyder, at virksomheder skal skelne mellem crawling og brug af indhold til AI. Google-Extended kan bruges til at angive, om indhold, som Google allerede crawler, må bruges til træning af fremtidige Gemini-modeller. Det angiver også, om indholdet må bruges i Googles AI-tjenester. Det påvirker ikke sidens placering i almindelig Google-søgning.

For OpenAI gælder en lignende skelnen mellem søgning og træning. En hjemmeside kan for eksempel tillade OAI-SearchBot, men blokere GPTBot. Det kræver dog, at robots.txt er sat korrekt op. Her kan en gennemgang af virksomhedens SEO være en god start.

Tekniske detaljer tæller

Google har også præciseret, at en URL med firkantede parenteser betragtes som en anden adresse. Det gælder sammenlignet med den samme URL med de kodede tegn %5B og %5D. Derfor bør man vælge én version og bruge den konsekvent i links, canonical-tags, sitemaps og strukturerede data.

JPEG XL er heller ikke understøttet i Google Images eller som forhåndsvisning i Discover. Hvis formatet bruges, bør der være en JPEG, WebP eller AVIF som fallback i billedets img-element. Det er den slags lille tekniske detalje, der let bliver overset, men som kan få betydning for synligheden.

Samtidig forventer Googles topchef Sundar Pichai, at AI-agenter fremover både vil navigere på hjemmesider som mennesker og bruge særlige protokoller. Derfor bliver det endnu vigtigere at have styr på struktur, adgang og indhold. Både klassisk SEO og synlighed i AI-søgning kræver, at fundamentet er i orden.

Kontakt os



Denne artikel er inspireret af "Google Explains 503s, Robots.txt Limits & Bracket URLs - SEO Pulse" fra Search Engine Journal, skrevet af Matt G. Southern.