segunda-feira, 27 de dezembro de 2010

Participando dos resultados nas listagens dos sistemas de busca

Novos sites não precisam ser necessariamente "enviados" aos sistemas de busca para serem listados. Um simples link vindo de um website já estabelecido fará com que os sistemas de busca visitem o novo site e inicie o mapeamento do conteúdo. Isto pode levar alguns dias ou mesmo semanas para a indexação do link existente em um site já indexado em todos os principais sistemas de busca e spiders para iniciar a visitação e indexação do novo site.

Uma vez que os sistemas de busca encontrem o site dará início então ao mapeamento das informações e páginas do site, contanto que todas as páginas usam as tags de link com padrão hyperlinks. Links para páginas que são acessíveis somente através de aplicativos em Flash ou Javascript podem não ser encontrados pelos spiders.

Os Webmasters podem instruir os spiders para não indexar certos arquivos ou diretórios através do arquivo padrão robots.txt como guia na raiz do domínio. Os protocolos atuais para as máquinas de busca e spiders exigem que seja verificada a existência deste arquivo ao visitar um domínio, e mesmo que um spider ou motor de busca mantenha uma cópia oculta deste arquivo para uso na próxima visita as páginas do site, não pode atualizar essa cópia tão rapidamente quanto um webmaster. Os empresários da área de Desenvolvimento Web podem usar estes recursos para prevenir que determinadas páginas tal como carrinhos de compras ou outras páginas dinâmicas, conteúdo de uso específico de operadores apareçam em resultados sistemas de busca, assim podem manter os spyder distantes de certos arquivos.

Spiders de sistemas de busca podem observar um número variado de fatores quando estiverem navegando em um site, e muitas páginas de um site podem não ser indexadas pelos sistemas de busca até que elas adquiram mais pagerank ou links ou tráfego. A distância das páginas do diretório inicial de um site pode também ser um fator decisivo se uma página vai ou não ser navegada pelo spider, bem como outras métricas importantes. Cho et al. descreveu alguns padrões para essas decisões de quando uma página visitada deve ser indexada pelo sistema de busca.

Para aqueles sistemas de busca que possuem seu próprio sistema de envio pago (como o Yahoo!), pode-se poupar algum tempo ao pagar um valor de envio, no entanto, o programa de envio pago não garante a inclusão no seus resultados de busca.

Nenhum comentário: