Associated Press
De Nova York
Um estudo sobre as ferramentas de busca na Internet demonstra que esses sites estão muito aquém do verdadeiro tamanho da rede, e mostram uma face distorcida do conteúdo da web. A mais completa das ferramentas de busca, o site Northern Light, cobre apenas um sexto de todas as páginas possíveis, dizem os especialistas. Há um ano e meio, a ferramenta mais completa tinha acesso a um terço da Internet.
O Northern Light é seguido de perto pelos sites Snap e AltaVista. O Hotbot, que cobria 34% da rede no último estudo, caiu para 11%.
Ferramentas de busca são grandes bancos de dados de páginas na web, organizadas pelas palavras que contêm. Quando um usuário digita uma palavra, a ferramenta procura, em seu índice, por sites que a contenham. Uma página que não consta do índice não será apresentada ao usuário.
Ao fazer uma amostragem de websites aleatórios, os cientistas de computação Steve Lawrence e C. Lee Giles, do Instituto de Pesquisa NEC em Princeton, Nova Jersey, estimaram que o tamanho da web ‘‘buscável’’ seria, em fevereiro, de 800 milhões de páginas. A pesquisa de dezembro de 97 encontrou mais de 320 milhões.
A web ‘‘buscável’’ continha 6 milhões de milhões de caracteres de texto em fevereiro. A biblioteca do Congresso dos Estados Unidos, em comparação, com seus 856 quilômetros de estantes, possui 20 milhões de milhões de caracteres.
Boa parte da rede não é ‘‘buscável’’, e portanto fica fora do estudo. O banco de dados Dialog, por exemplo, diz conter 9 milhões de milhões de caracteres, mas não é acessível a ferramentas de busca.
‘‘Obviamente, é um trabalho cuidadoso’’, diz Marc Krellenstein responsável técnico pelo Northern Light, a respeito da pesquisa. Mas ele crê que a fração da rede coberta pelas ferramentas de busca é, na verdade, maior. Krellenstein diz que o tamanho estimado da Internet lhe parece ‘‘um pouco alto’’.
‘‘E o fato de a rede estar crescendo rápido não significa que a parte boa esteja se expandindo na mesma velocidade’’, pondera. Ele diz que as ferramentas de busca querem cobrir os bons sites, não todos os sites. Krellenstein acredita que as ferramentas têm como acompanhar a expansão da rede, e que a fração coberta tende a aumentar.
Já o pesquisador Steve Lawrence acredita que as ferramentas de busca crescem devagar porque o custo dos bancos de dados aumenta conforme aumenta o conteúdo, e sem, necessariamente, expandir os lucros.
A consultora Susan Feldman diz que o importante não é o tamanho da cobertura, mas a forma como as ferramentas de busca respondem às perguntas dos usuários. ‘‘As pessoas não querem cobertura. Ninguém vai checar todos aqueles 20 mil links. O que se quer são algumas boas respostas, ou uma única boa resposta. Este é o problema que as ferramentas de busca tentam resolver’’, afirma.
As onze ferramentas pesquisadas trazem algumas distorções sobre as quais os internautas devem ser informados, diz a pesquisa. Por exemplo, sites comerciais são 83% da Internet ‘‘buscável’’, segundo o estudo, e tendem a aparecer nas listas das ferramentas de busca com frequência ainda maior do que essa percentagem sugere. Lawrence atribui isso ao fato de os sites comerciais terem melhor equipamento, que é mais amigável às ferramentas de busca.
A pesquisa descobriu 1,5% de conteúdo pornográfico, contra 6% de conteúdo educacional e científico. O índice usado pelas ferramentas de busca usam computadores chamados ‘‘aranhas’’, que viajam continuamente pela Internet. As ‘‘aranhas’’ gravam o endereço de cada página em que entram, e seguem todos os links presentes nessas páginas.
As ‘‘aranhas’’ tendem a ‘‘preferir’’ páginas para as quais apontam diversos links, o que pode ser mais uma fonte de distorção, dificultando o indexamento de páginas novas e desconhecidas.Cientistas concluem que boa parte da web não está acessível à maioria dos internautas
ReproduçãoReproduçãoIncompletosO Northern Light (acima) cobre apenas um sexto de todas as páginas possíveis. O Hotbot, que cobria 34% da rede no último estudo, caiu para 11%

mockup