2017. november 25., szombat

Robots.txt SEO optimalizálása


Google barát honlapok

A weboldalkészítés során fontos lépés a robots.txt fájl elkészítése, melyet sajnos nem minden fejlesztő végez el. A megrendelő követelheti a weboldal programozójától, hogy elkészítse ezt a fájlt. A keresőoptimalizálás során gyakran találkozunk olyan esetekkel, amikor nincs ilyen beállítás a weboldalhoz rendelve.

Mi a robot.txt?

A robot.txt fájl a webserveren a weboldalt tartalmazó mappában találjuk (általában a http://weboldal címe/robots.txt címen), a keresőrobotok számára tartalmaz fontos információkat, megjelöli azokat a weboldalrészeket, melyeken érdemes keresnie illetve kizár egyes URL-eket a keresésből.

Miért van szükség a robots.txt fájlra?

A webhely egyes oldalait zárhatjuk ki a keresésből, melyeken olyan információk szerepelnek, amit nem szeretnénk elérhetővé, kereshetővé tenni mások számára. A webmesterek által használt oldalrészt is ezzel lehet elzárni a Google vagy a Bing keresője elől. Ezzel az eszközzel kizárhatjuk azokat az oldalakat, melyek ronthatják a Google helyezéseinket, a felhasználók nem találhatnak gyenge minőségű tartalmakat, így a Google a jól megszerkesztett robots.txt fájlt a felhasználói élmény fokozásaként, optimalizálásaként értékeli.

Hogyan készítsek robots.txt fájlt?

Bármilyen egyszerű szövegszerkesztő program segítségével készíthetsz robots.txt fájlt. Amennyiben wordpress oldalt készítettél, plugin segítségével is létrehozhatod.

A robots.txt tartalma

  • User-agent – meghatározza, hogy mely rendszer keresőrobotjai számára adjuk meg az információkat. Itt érdemes lehet az all beállítást alkalmazni, ami mindenki számára szól, de gyakori, hogy a Google kereső robotjainak címzik meg a fájlt: User-agent: Googlebot.
  • Disallow – ezzel a paraméterrel lehet megadni azokat a mappákat és fájlokat a webszerveren, melyeket el szeretnénk zárni a keresőrobot elől. Például: Disallow: /home/ - ez a teljes home mappát lezárja, vagy egyes fájlokat is letilthatunk Disallow: /home/myfile.php.
  • Allow – megadhatjuk azt az állományt, amivel a keresőrobot kezdi az indexálást, ez általában a webhelytérkép fájlja.
  • Host – a webhely pontos elérhetőségét kell megadni, amennyiben van www és www nélküli változat, esetleg átállt az oldal az új https formátumra.
  • Sitemap – itt adhatjuk meg a weboldaltérkép helyét, hogy a keresőrobot azonnal megtalálja.
Ha példákat szeretnél a robots.txt fájlra, látogass el például a https://www.google.com/robots.txt címre, itt a Google keresőrobot irányító állományát találod.