Detekce indexovacího robota

"užší spolupráci Microsoftu a Googlu zabudovanou přímo do IE 8. " - není to nějaké našeptávání či safe-search funkcionalita?

[1] neřekl bych, že to je něco speciálního, je tam základní IE 8 aktualizovaný po webu a defaultní vyhledávač vpravo nahoře je změněn na Google, takže takhle se to chová naprosté většině uživatelů, co používají IE 8 na OS Windows... jinak řečeno, je to úmysl obou firem, jak MS, tak Googlu... Google z toho má výhodu, že indexuje to, na jaké stránky skutečně lidi chodí a ne slepé procházení obsahu webu robotem bez vazby na lidi

Dalo by se pripadne sniffnout, co ten Exploder posila a kam? Na tom by se dala zalozit perfektni google bombicka :-)

Slušný robot by měl stáhnout robots.txt a zařídit se podle něj.

Detekce přes DNS jména při každém stažení stránky asi není moc dobrý nápad. Pokud není jméno v DNS cachi, bude to zdržovat, nebo to (při krátkém timeoutu) nezafunguje vůbec. Ale můžete to řešit jinak - přepočítat návštěvnost až později, buď z IP adres uložených v databázi, nebo logu serveru.

ie8 - to niekto este pouziva?

A neni to tim, ze si jen google kontroluje, jestli jeho robotovi nelzete?

Neni na strance reklama od googlu?

[7] jo, je tam kontextová reklama. Jenže tomu by odpovídal přístup do 5-10 sekund při načtení stránky. Jsou tam ale přístupy i po minutě a půl a ty už tomu neodpovídají. Veškerý obsah kontextové reklamy (ta se dá i šipkama "přebírat") se načte právě současně se stránkou. Takže to bude ještě něco jiného. I když v tomhle případě to asi vysvětluje tu většinu přístupů robota Google. Každopádně vazba fulltextu Googlu a kontextové reklamy bude interně velice dobře využitelná při hodnocení relevance pro fulltext Googlu

Co hledat udaje o robotech podle casu pristupu? Myslim nejak zpetne z logu, napriklad pokud neco stahne za minutu nejake podstatne procento webu a pritom se nekouka na obrazky, tak je jasne ze je to robot.

„Vidím to jako nějakou užší spolupráci Microsoftu a Googlu zabudovanou přímo do IE 8. Problém je, že ta detekce nefunguje na 100%.“

Toto je boj proti web spamu, konkrétně proti cloakingu.

[10] cloaking, tak jak ho definuje wiki, je případ, kdy robotovi předkládám jinou stránku než vidí uživatel... navíc je to penalizováno vyhledávači a zakázáno tuto techniku používat. V mém případě to tak není, já zobrazuju vždy uplně stejnou stránku, jen potřebuju započítávat a evidovat co nejpřesněji každý přístup člověka na konkrétní stránky webu

Nemůže toto chování být způsobené tím, že mnoho uživatelů "next-next klikačů" má nainstalovaný Google Toolbar?