A keresők értesítésének több módja is van és ezek nem zárják ki egymást.

Ahogy arról már korábban is volt szó, a sitemap elérési útja megadható a robots.txt -ben és ez alapján a keresőrobotok automatikusan megtalálják, de a nagyobb keresőknél, mint a Google és a Yahoo nem tanácsos pusztán a robots.txt -re hagyatkozni.

A Google a Webmaster Tools keretében egy szimpla Google Account regisztráció után nyújt lehetőséget a Sitemap URL megadására, illetve az oldaltérképpel kapcsolatos statisztikákat legutóbbi letöltés időpontját, az indexelt URL -ek számát és további hasznos információkat is nyomon lehet követni a szolgáltatás igénybevételével.

A megadott oldaltérképeket a Google jó eséllyel rendszeresen le fogja tölteni és indexelni az újonnan felvett URL -eket (hivatalosan semmi garancia nincs az indexelésre!).

A Yahoo valamilyen rejtélyes web 2.0 -s indítatásnál fogva RSS feed -et vár a Yahoo Siteexplorer oldalon, szintén regisztráció után. Nos igen, nem minden oldal generál RSS feedeket, ha igen meg lehet adni (mit veszíthetünk alapon), ha nem akkor viszont el kell gondolkozni, hogy fontos-e a Yahoo annyira, hogy érdemes legyen külön a számára RSS formátumú feed -et produkálni, vagy a Google oldaltérképeket konvertálni. Jelenleg Magyarországon a Yahoo piaci részesedését tekintve ez kérdéses.

Ping küldése, keresők pingelése – ezt sajnos nem tudom egyetlen értelmes magyar szóra sem lefordítani, de a lényeg:

Általában a keresők a fentiekben ismertetett módon megadott oldaltérképeket rendre letöltik, bizonyos időközönként ellenőrzik, frissült-e a tartalom, de lehetséges az oldaltérkép frissítéséről értesítést küldeni a keresőknek.

Gondolom nem kell magyaráznom, mennyire fontos ez a funkció mondjuk egy hírportálnál, ha a hírversenyben elsőként akar tudósítani az éppen aktuális botrányról… , de természetesen sokféle oldalnál fontos, hogy az újonnan felkerült tartalomról a keresők értesüljenek.

Az alábbi URL -ek segítségével lehet pingelni a keresőket egy egyszerű http kéréssel (akár a böngésző címsorába másolva is):

Google:
http://www.google.com/webmasters/tools/ping?sitemap=

Yahoo:
http://search.yahooapis.com/SiteExplorerService/V1/updateNotification?appid=SitemapWriter&url=

Ask.com:
http://submissions.ask.com/ping?sitemap=

Live Search:
http://webmaster.live.com/ping.aspx?siteMap=

Az itt megadott URL -ek végére az egyenlőségjel után kell beírni az oldaltérkép URL -t, például:

http://www.google.com/webmasters/tools/ping?sitemap=http://ezazoldal.com/sitemap.xml

Fontos tudni, hogy a ping elküldése szintén nem jelent garanciát semmire, sem az oldaltérkép letöltésére, sem az új tartalom indexelésére, de azoknál az oldalaknál amelyek élvezik a keresők bizalmát általában a módszer hatásos.

Vannak olyan CMS -ek illetve oldaltérkép generáló pluginek, amelyek automatikusan pingelik a keresőket, ha a tartalom változott, ilyen például a Wordpress Sitemap Generator, amelyet ezen az oldalon is használok.

Az általam csak agyonseozásnak nevezett jelenség miatt ezek a plussz információk hamar elveszítették a jelentőségüket, viszont hogy le ne maradjanak a versenyben a többi kereső is támogatni kezdte a formátumot, így talán nem túlzás kijelenteni, hogy az XML formátumú oldaltérkép mára általánosan elfogadottá vált. Természetesen érdemes ettől függetlenül reális adatokat megadni a frissítési ciklusra és a prioritás értékekre, ahol egyébként 0.5 az általános, a skálán az 1.0 a legfontosabb (például a főoldal) és a  0.1 a legkevésbé kiemelt jelentőségű URL -t jelenti.

Különösebben nem szeretném az oldaltérképek szintatikáját ecsetelni, elég egy pillantást vetni ezen oldal xml oldaltérképének a forrására, a Sitemaps.org -on közzétett sitemap protokolra, vagy a Google magyar nyelvű útmutatására.

CMS -ek használata esetén célszerű az automatikus sitemap generálásra szolgáló kiegészítőt telepíteni, bekapcsolni, használni, lefejleszteni, lefejlesztetni, megvenni (és/vagy) – a megfelelő aláhúzandó és különösebb gond nélkül élvezni az automatikus oldaltérkép generálás kényelmét.

Kézzel is elkészíthető az xml oldaltérkép, ha az oldal nem túl nagy és van rá idő, illetve energia.

Ha az oldal a kézi sitemap készítéshez már túl összetett és nincs megfelelő program ami rendszeresen legenerálja, vagy az oldal gazdája nem szeretne bajlódni vele számos ingyenes xml oldaltérkép készítő oldal létezik amit általában ingyenesen igénybe lehet venni.

Ajánlom az alább listát átböngészni: Online és offline oldaltérkép generátotok és pluginek.

A következő részben arról lesz szó, hogyan lehet értesíteni a keresőket a sitemap létezéséről, elérési útjáról, illetve ha frissül az (oldal -) oldaltérkép tartalma.

Elvileg a kiterjesztés és a név lehetne bármi, de a legkézenfekvőbb egy txt (és miért is ne sitemap.txt) file -t készíteni aztán a gyökérkönyvtárban elhelyezni.

Az alábbiakat kell figyelembe venni a szöveges file alapú oldaltérkép készítésénél:

• egy sorba egy URL kerüljön pl:
http://www.kulcsszodomain.com/termekem.html
• a  szöveges file karakterkódolása UTF-8 legyen
• ne tartalmazzon az URL -eken kívül semmilyen más információt, ne legyen fejléc, lábléc, stb.
• egy oldaltérkép maximum 50.000 URL -t tartalmazzon, ha ennél több lapból áll az oldal akkor több oldaltérképet kell készíteni, külön feltölteni ( pl. a Google keresőnek a Google Webmaster Tools – on keresztül), illetve sitemap index -et készíteni.
• az oldaltérkép file mérete ne legyen nagyobb mint 10MB

Hogy az oldaltérképet a kereső-robotok megtalálják, a robots.txt -ben lehet megadni az URL -t, ahol az olaltérkép megtalálható, illetve a keresőknek közvetlenül is “meg lehet mutatni” az oldaltérképet, erről később lesz szó ezen a blogon.

Az oldaltérkékpekkel foglalkozó korábbi írások:

Miért érdemes oldaltérképeket létrehozni?

Az oldaltérképek használata néhány esetben elengedhetetlen, máskor akár el is hagyható, de tény: ártani semmiképp nem fog.

Kiemelten javasolt oldaltérképeket létrehozni az alábbi esetekben:

• keretes szerkezet, flash oldalak
• a keresők által nem követett menü elemek és hivatkozások az oldalon
• több szintű hierarchia a link struktúrában
• dinamikus URL -ek használata
• gyakran és rendszeresen változó dinamikus tartalom az oldalon

Fontos tény, hogy az oldaltérképek nem helyettesítik a szöveges link alapú navigációt, a keresőbarát URL -eket, nem javítanak az elavult keretes szerkezet problémáján, arra viszont alkalmasak, hogy az oldal szerkesztője tudassa a keresőrobotokkal, mely URL -ek alkotják az oldalt, illetve melyeket tart fontosnak.

A gyökérkönyvtárban elhelyezett robots.txt segítségével a keresőrobotok számára lehet tiltani, hogy a megadott fileokat, könyvtárakat, vagy akár az egyész weboldalt indexeljék. Ezen felül az xml formátumú oldaltérkép helyét is meg lehet adni keresőrobotoknak a robots.txt segítségével, bár ez ma már csak félmegoldás (később lesz még szó bővebben az oldaltérképekről).

Robots.txt használata nélkül az összes keresőrobotnak megengedett az összes tartalom indexelése, ami általában nem feltétlenül gond.

A robots.txt tartalma egyszerű, az User-agent kezdetű sor a robot azonosítóját tartalmazza, a Disallow pedig azt jelöli mely tartalmat nem indexelhetik. Az összes robotra vonatkozó tiltások esetén az User-agent: * -ot kell alkalmazni.  Kerüljön külön sorokba az User-agent és a Disallow, ha több tiltást kell kezelni akkor több Disallow sor is lehet egy-egy robotra vonatkozóan, viszont az egyes robotok számára külön kell megadni.

Néhány példa a robots.txt tartalmára

Az összes robot tiltása a teljes weboldalról:

User-agent: *
Disallow: /

Az összes robot tiltása könyvtárakra:

User-agent: *
Disallow: /csakezakonyvtar/
Disallo: /es-ezakonyvtar-is/

Google tiltása egy filera:

User-agent: Googlebot
Disallow: /nemakarom/hogylassak.html

Oldaltérkép megadása:

Sitemap: http://azoldalam.com/sitemap.xml

További robots.txt példák

Robotok és User-agent -ek listája

Több esetben is szükség lehet egy-egy robot tiltására, de tudni kell: a rosszindulatú robotokat a robots.txt nem fékezi meg! Tehát, ha nem egy normálisan működő kereső robotja fürkészi a webet, hanem mondjuk egy sebezhető, vagy spammelhető oldalakat kereső robotról van szó, az fittyet hány a robots.txt tartalmára ugyanúgy mint a vonatkozó törvényi előírásokra.

Továbbá a robots.txt -ben nem túl okos dolog felsorolni az összes elrejtendő file listáját, mert ez egy publikus file, bárki hozzáférhet és lehet, hogy valaki pont az elrejtendő tartalom listájára kíváncsi… tehát ez a file nem az admin könyvtár elrejtésére szolgál, illetve a “nem indexelésre szánt” tartalmakat érdemes egy könyvtárba helyezni és aztán könyvtárt tiltani egyben, így nem kell egy ilyen jellegű file listát “publikálni”.

Az elkészült robots.txt működését például a Google Webmester Eszközök segítségével is lehet ellenőrizni.

Egyszerűen elpárolgott a keresők bizalma a keywords META irányában, miután sokan félreértették a helyzetet és a kulcsszavak megadásánál olyan kulcsszavakat adtak meg amire optimalizálni szerettek volna és nem olyat amiről az adott oldal szól.

Így néz ki a HTML head részében elhelyezett META keywords tag:

<meta name=”keywords” content=”kulcsszó1, kulcsszó2, kulcsszó3″ />

Nos ha segíteni nem is segít, ártani sem árthat, de feltétlen csak olyan kulcsszavak legyenek a keywords META tagben, ami az oldal tartalmában is megtalálható.

10-15 kulcsszónál többet nem sok értelme van megadni.

Tehát a META tagek a keresőoptimalizálás fontos és hasznos elemei. Lehetnének. A description, vagyis META leírás az oldal rövid, de átlátható leírását szolgálja (szolgálná).

Miután a webmesterek SEO-zás címén az oldal tartalmával irreleváns kulcsszavakkal tömködték tele a meta tageket (description, keywords), jelenleg a benne szereplő kulcsszavakat nem vagy csak kis mértékben veszik figyelembe a keresők, viszont gyakran megjelenik a description tag tartalma a találati listán és ez az ami végett mégis érdemes vele foglalkozni.

Így néz ki a HTML forrásban a description META tag:

A tapasztalatok szerint a 60-70 karakternél rövidebb leírások a találati listán ritkán jelennek meg, a hosszabb leírásokból pedig nagyjából az első 150 karakter kerül ki (ha kikerül), tehát valószínűleg ez a META leírás optimális hosszúsága.

A leírás legyen informatív, jól struktúrált és minden egyes URL leírása legyen más és az adott oldal taralmára jellemző.

Csak olyan leírást van értelme létrehozni, amit a találati listán látva a felhasználó érdeklődését felkelti, és azt bizonyítja, hogy érdemes az adott weboldalt meglátogatni.

Ezen a példán a leírás kevéssé informatív, automatikusan generált (sok aloldalon hasonló), struktúrálatlan de a találati listára mégis kikerülő, félig meddig kattintásra ösztönző (ezen kersztül talán relative sikeres):

Példa a description megjelenése a találati listán

Nagyméretű, sok URL -t tartalmazó, vagy dinamikusan változó (hirdtési oldal, árverési portál, fórum, stb.) weboldalnál automatikusan, a tartalomból lehet a descriptiont létrehozni,  úgy, hogy értelmes és jól struktúrált leírást adjon az URL-en található tartalomnak. Belekerülhetnek pl. termékjellemzők, fontos kiegészítő információk, vagy egy átgondolt szerkezetben egyfajta kivonat a tartalomból.

Fontos, hogy ne egyezzen meg a title -el, mert azonosság esetén jó eséllyel nem fog megjelenni a találati listán.