ŠTO JE SOFTVERSKI PAUK?

'Softverski pauk' je bespilotni program kojim upravlja tražilica koja pretražuje web poput vas. Dok posjećuje svaku web stranicu, bilježi (sprema na svoj tvrdi disk) sve riječi na svakoj web stranici i bilježi svaku vezu do drugih web stranica. Zatim 'klikne' na vezu i isključuje se za čitanje, indeksiranje i spremanje drugog web mjesta.

gdje žive aspyn i parker

Softverski pauk često čita, a zatim indeksira cjelokupni tekst svake web stranice koju posjeti u glavnu bazu podataka tražilice za koju radi. Nedavno su mnogi motori poput AltaViste počeli indeksirati samo do određenog broja stranica web mjesta, često oko 500, a zatim se zaustavljati. Čini se da je to zato što je Web postao toliko velik da je nemoguće sve indeksirati. Koliko će stranica pauk indeksirati, nije potpuno predvidljivo. Stoga je dobra ideja posebno predati svaku važnu stranicu na svojoj web lokaciji za koju želite da se indeksira, poput onih koje sadrže važne ključne riječi.

Programski pauk sličan je elektroničkom knjižničaru koji izreže sadržaj svake knjige u svakoj knjižnici na svijetu, razvrsta ih u gigantski glavni indeks, a zatim izgradi elektroničku bibliografiju koja pohranjuje informacije o tome čiji se tekstovi pozivaju na druge tekstove. Neki softverski pauci mogu indeksirati više od milijun dokumenata dnevno! Važno je razumjeti da pauci tražilica rade samo dvije stvari:

Oni indeksiraju tekst.
Prate veze.

Na nedavnoj konferenciji o strategijama pretraživača koju je održao SearchEngineWatch.com, jedan od gostujućih govornika, Shari Thurow iz tvrtke Grantastic Designs, istaknuo je to i ponovio ga nekoliko puta kako bi ilustrirao njegov značaj: 'Tražilice indeksiraju tekst i slijede linkove. Oni indeksiraju tekst i slijede veze. To je sve što rade. '

Njezina je poanta važna i ključna za razumijevanje prirode pauka na tražilicama. Ako se tekst vašeg web mjesta nalazi u grafičkom prikazu, tražilice ga ne mogu indeksirati. Ako su sve vaše važne ključne riječi za koje se nadate da ćete postići ljestvicu uključene u grafiku, a ne u HTML tekst, vaša web lokacija neće postići ljestvicu. Zapamtite, tražilice ne indeksiraju slike niti čitaju slike, oni indeksiraju tekst i slijede veze. To je sve. Ako na vidljivoj stranici nema teksta, nijedna količina ključnih riječi u metaoznaci ključne riječi neće vam pomoći da postignete ljestvicu.

Ono što pauk vidi na vašoj web lokaciji odredit će kako je vaše web mjesto navedeno u njegovom indeksu. Tražilice određuju relevantnost web mjesta na temelju složenog sustava bodovanja koji tražilice pokušavaju zadržati u tajnosti. Ovaj sustav dodaje ili oduzima bodove na temelju stvari kao što su koliko se puta ključna riječ pojavila na stranici, gdje se na stranici pojavila i koliko je ukupno riječi pronađeno. Stranice koje postignu najviše bodova vraćaju se na vrh rezultata pretraživanja; ostali su zakopani na dnu, nikad ih neće biti pronađeni.

Dok softverski pauk posjećuje vaše web mjesto, on bilježi sve veze na vašoj stranici do drugih web mjesta. U ogromnoj bazi podataka bilo koje tražilice zabilježene su sve veze između web mjesta. Tražilica zna na koje ste stranice povezali i, što je još važnije, na one koje su vas povezale. Mnogi će motori čak koristiti broj veza do vaše web stranice kao pokazatelj popularnosti, a zatim će poboljšati rangiranje na temelju ovog čimbenika.