Nova York, 07 (AE-AP) - Um estudo sobre as ferramentas de busca na Internet demonstra que esses sites estão muito aquém do verdadeiro tamanho da rede, e mostram uma face distorcida do conteúdo da Web. A mais completa das ferramentas de busca, o site Northern Light, cobre apenas um sexto de todas as páginas possíveis, dizem os especialistas. Há um ano e meio, a ferramenta mais completa tinha acesso a um terço da Internet.
O Northern Light é seguido de perto pelos sites Snap e Alta Vista. O Hotbot, que cobria 34% da rede no último estudo, caiu para 11%.
Ferramentas de busca são grandes bancos de dados de páginas na Web, organizadas pelas palavras que contêm. Quando um usuário digita uma palavra, a ferramenta procura, em seu índice, por sites que a contenham. Uma página que não consta do índice não será apresentada ao usuário.
Ao fazer uma amostragem de websites aleatórios, os cientistas de computação Steve Lawrence e C. Lee Giles, do Instituto de Pesquisa NEC em Princeton, Nova Jersey, estimaram que o tamanho da Web "buscável" seria, em fevereiro, de 800 milhões de páginas. A pesquisa de dezembro de 97 encontrou mais de 320 milhões.
A Web "buscável" continha 6 milhões de milhões de caracteres de texto em fevereiro. A biblioteca do Congresso dos Estados Unidos, em comparação, com seus 856 quilômetros de estantes, possui 20 milhões de milhões de caracteres.
Boa parte da rede não é "buscável", e portanto fica fora do estudo. O banco de dados Dialog, por exemplo, diz conter 9 milhões de milhões de caracteres, mas não é acessível a ferramentas de busca.
"Obviamente, é um trabalho cuidadoso", diz Marc Krellenstein
responsável técnico pelo Northern Light, a respeito da pesquisa. Mas ele crê que a fração da rede coberta pelas ferramentas de busca é, na verdade, maior. Krellenstein diz que o tamanho estimado da Internet lhe parece "um pouco alto".
"E o fato da rede estar crescendo rápido não significa que a parte boa esteja se expandindo na mesma velocidade", pondera. Ele diz que as ferramentas de busca querem cobrir os bons sites, não todos os sites. Krellenstein acredita que as ferramentas têm como acompanhar a expansão da rede, e que a fração coberta tende a aumentar.
Já o pesquisador Steve Lawrence acredita que as ferramentas de busca crescem devagar porque o custo dos bancos de dados aumenta conforme aumenta o conteúdo, e sem, necessariamente, expandir os lucros.
A consultora Susan Feldman diz que o importante não é o tamanho da cobertura, mas a forma como as ferramentas de busca respondem às perguntas dos usuários. "As pessoas não querem cobertura. Ninguém vai checar todos aqueles 20 mil links. O que se quer são algumas boas respostas, ou uma única boa resposta. Este é o problema que as ferramentas de busca tentam resolver", afirma.
As onze ferramentas pesquisadas trazem algumas distorções sobre as quais os internautas devem ser informados, diz a pesquisa. Por exemplo, sites comerciais são 83% da Internet "buscável", segundo o estudo, e tendem a aparecer nas listas das ferramentas de busca com frequência ainda maior do que essa percentagem sugere. Lawrence atribui isso ao fato dos sites comerciais terem melhor equipamento, que é mais amigável às ferramentas de busca.
A pesquisa descobriu 1,5% de conteúdo pornográfico, contra 6% de conteúdo educacional e científico. O índice usado pelas ferramentas de busca usam computadores chamados "aranhas", que viajam continuamente pela Internet. As "aranhas" gravam o endereço de cada página em que entram, e seguem todos os links presentes nessas páginas.
As "aranhas" tendem a "preferir" páginas para as quais apontam diversos links, o que pode ser mais uma fonte de distorção, dificultando o indexamento de páginas novas e desconhecidas.
Páginas novas levam, em média, seis meses pare serem "descobertas" e listadas pelas ferramentas de busca. A pesquisa também descobriu que páginas de fora dos EUA são indexadas com menor frequência.
Lawrence vê diversos problemas em potencial, causados pelas distorções das ferramentas de busca. Por exemplo, um cientista procurando por pesquisas anteriores sobre um determinado assunto pode não encontrá-la, e iniciar um trabalho que, na verdade, já foi feito. Ele também disse que "se há dois políticos, e um deles tem o site indexado nas ferramentas e o outro não, eles estão sendo tratados de forma muito diferente".
Lawrence dá algumas dicas aos internautas. Para quem busca informação bem conhecida, como previsão do tempo, ele recomenda ferramentas que indexam sites em ordem de popularidade, como Google ou DirectHit. Já quem procura informação mais obscura - por exemplo, mobília vitoriana - o melhor, segundo o pesquisador
é usar mais de uma ferramenta do tipo Altavista ou Hotbot, apresentando a pergunta mais específica possível.
O "ranking" de cobertura das ferramentas de busca, segundo a pesquisa, é o seguinte: Northern Light - 16% da Web "buscável"; Snap - 15,5%; Altavista - 15,5%; HotBot - 11,3%; Microsoft - 8,5%; Infoseek - 8,0%; Google - 7,8%; Yahoo - 7,4%; Excite - 5,6%.

mockup