Google barát honlapok
A
weboldalkészítés során fontos lépés a
robots.txt fájl elkészítése, melyet sajnos nem minden fejlesztő végez el. A megrendelő követelheti a weboldal programozójától, hogy elkészítse ezt a fájlt. A
keresőoptimalizálás során gyakran találkozunk olyan esetekkel, amikor nincs ilyen beállítás a weboldalhoz rendelve.
Mi a robot.txt?
A
robot.txt fájl a webserveren a weboldalt tartalmazó mappában találjuk (általában a
http://weboldal címe/robots.txt címen), a keresőrobotok számára tartalmaz fontos információkat, megjelöli azokat a weboldalrészeket, melyeken érdemes keresnie illetve kizár egyes
URL-eket a keresésből.
Miért van szükség a robots.txt fájlra?
A webhely egyes oldalait zárhatjuk ki a keresésből, melyeken olyan információk szerepelnek, amit nem szeretnénk elérhetővé, kereshetővé tenni mások számára. A webmesterek által használt oldalrészt is ezzel lehet elzárni a
Google vagy a
Bing keresője elől. Ezzel az eszközzel kizárhatjuk azokat az oldalakat, melyek ronthatják a
Google helyezéseinket, a felhasználók nem találhatnak gyenge minőségű tartalmakat, így a
Google a jól megszerkesztett robots.txt fájlt a felhasználói élmény fokozásaként, optimalizálásaként értékeli.
Hogyan készítsek robots.txt fájlt?
Bármilyen egyszerű szövegszerkesztő program segítségével készíthetsz robots.txt fájlt. Amennyiben wordpress oldalt készítettél, plugin segítségével is létrehozhatod.
A robots.txt tartalma
- User-agent – meghatározza, hogy mely rendszer keresőrobotjai számára adjuk meg az információkat. Itt érdemes lehet az all beállítást alkalmazni, ami mindenki számára szól, de gyakori, hogy a Google kereső robotjainak címzik meg a fájlt: User-agent: Googlebot.
- Disallow – ezzel a paraméterrel lehet megadni azokat a mappákat és fájlokat a webszerveren, melyeket el szeretnénk zárni a keresőrobot elől. Például: Disallow: /home/ - ez a teljes home mappát lezárja, vagy egyes fájlokat is letilthatunk Disallow: /home/myfile.php.
- Allow – megadhatjuk azt az állományt, amivel a keresőrobot kezdi az indexálást, ez általában a webhelytérkép fájlja.
- Host – a webhely pontos elérhetőségét kell megadni, amennyiben van www és www nélküli változat, esetleg átállt az oldal az új https formátumra.
- Sitemap – itt adhatjuk meg a weboldaltérkép helyét, hogy a keresőrobot azonnal megtalálja.
Ha példákat szeretnél a robots.txt fájlra, látogass el például a
https://www.google.com/robots.txt címre, itt a Google keresőrobot irányító állományát találod.