Igaz, a Google Webmester Eszközök megmutatja a feltérképezés gyakoriságát, de nem árulja el, hogy mikor pontosan merre járt az oldalon a Googlebot.

Pedig a weboldalak optimalizálása során igen jó támpontot jelent, ha tudjuk mely URL -eket milyen gyakorisággal látogat a Googlebot és a többi keresőrobot.

Létezik ingyenes eszköz amit erre a célra igénybe vehetünk.

Akik szeretnének további információkat a robot látogatásokról, nekik ajánlom a CrawlTrack statisztika feltelepítését, jelenleg magam is ezt használom.

Nagyjából 10-20 percet vesz igénybe a telepítés, viszont az elvesztegetett időért cserébe a CrawlTrack rengeteg plusz információval kárpótol.

Egy telepítéssel akár több weboldal statisztikája is követhető, a statisztika lehet publikus, privát, vagy akár felhasználói fiókokat is lehet létrehozni az egyes weboldalak statisztikájához. A statisztikákról email értesítőt lehet beállítani, de ami a lényeg: ragyogó statisztikát ad a keresőrobotok aktivitásáról.

Frissítés: készítettem néhány képernyőképet a statisztikáról a teljesség igénye nélkül.