Ela cresce a cada dia e, seu papel tende a tomar proporções cada vez mais astronômicas nas nossas vidas modernas. No entanto, o funcionamento da ferramenta de busca ainda permanece um mistério para a maioria de nós. Usada diariamente, só o Google consegue somar, em 24 horas, cerca de 3.5 bilhões de pesquisas. Claro, todos nós sabemos que digitar uma simples pergunta e receber a resposta em milésimos de segundos é algo bastante corriqueiro de nossas vidas. Mas como é que essa ferramenta encontra as respostas que queremos tão facilmente? Esta é apenas uma das centenas de perguntas que temos sobre o tema: ferramenta de busca e suas técnicas, os bastidores da internet.
Seja qual for a sua pergunta, para te dar a melhor resposta, existem pequenos robôs que chamamos de " crawlers " ou " spiders ". Estes são termos genéricos para bots da internet, que navegam em diversos sites, coletando informações e, assim, vão de link a link nas páginas, enviando informações para seus servidores. Isto acontece apenas em páginas que não impedem esses crawlers de coletar informaçōes, os chamados dark web ou deep web - listados na categoria "noindex", o que faz a ferramenta de busca colocá-los fora da indexação e, assim, eles são mantidos fora do seu banco de dados.
O que é indexação?
Indexação é o processo que possibilita que a sua pergunta seja respondida de maneira quase simultânea. Assim que o crawler acaba de examinar um site, seguindo os links e armazenando informações no servidor, a URL é copiada e adicionada ao índice. Você já deve imaginar que para armazenar tanta informação, é preciso muito espaço, só o Google, por exemplo, tem um servidor com uma capacidade de memória maior do que 100.000.000 Gigabytes. Para ficar mais claro o que isso significa, 1% disto equivale a 10.000 horas de televisão! É uma quantidade enorme de informação armazenada que cresce a cada minuto e, o Google é apenas uma entre diversas ferramentas de busca.
Como é que essa informação é reproduzida?
Indexação é, no entanto, uma etapa do processo. Existe outro procedimento entre essa, que forma o banco de dados, e aquela, que mostra os resultados para a sua pesquisa. Esta etapa é chamada de recuperação ( retrieval ) e, ela acontece de maneira diferente para cada ferramenta de busca, por isso os resultados de uma mesma pesquisa variam de um site para o outro. Existe uma série de critérios usados para escolher a página que melhor se encaixa àquilo que você procura. Esses algoritmos diversos comparam bilhões de sites diferentes para decidir qual é que se adequa melhor àquilo que você perguntou. Isso é feito checando se a sua palavra-chave está nos meta tags do seu site, juntas, quantas páginas oferecem link para a sua página, etc. O que conta, exatamente, nesta busca para ranquear o seu site nos resultados nunca é totalmente revelado, caso contrário haveriam muitas pessoas tentando tirar vantagem dessas condições para conseguir melhores resultados que, nem sempre seriam válidos para quem faz a busca. Um exemplo disso: antes a ferramenta de busca colocava em rankings melhores sites que usassem com muita frequência palavras chaves, o que causou um sobrecarregamento de palavras-chave.
E aí que as coisas ficam interessantes, o software que produz os resultados utiliza-se de algo chamado aprendizado de máquina. Isso quer dizer que, quanto mais sites são analisados mais precisos esses softwares se tornam. Dessa maneira, eles também passam a entender até significados implícitos de uma palavra. No entanto, ao contrário do que muita gente acredita, a melhor maneira de fazer uma pesquisa não é colocando uma pergunta inteira no espaço de busca. Por exemplo: "Como eu faço o melhor bolo de chocolate do mundo?", neste caso é melhor digitar as palavras chaves soltas, como "melhor", "bolo" e "chocolate". Isso torna a busca muito mais para os retrievers, ja que voce forneceu a eles a informação da maneira mais precisa e direta.
Como a ordem é decidida?
Depois de escolher os resultados a dedo, seja qual for o método da ferramenta de busca que você estiver usando, ela vai rearranjá-los em uma ordem que considerar relevante a sua pesquisa. Isso é o que chamamos de ranqueamento, ou como o Google chama Page rank PR (Inventado por Larry Page).
Esse processo é similar ao processo de recuperação ( retrieval ), pela ordem, frequência e qualidade das palavras-chave, isso, é claro, são apenas poucos exemplos de como todo o trabalho é feito. Esse ranqueamento da ferramenta de busca pode ser melhorado a partir da execução do que chamamos de técnicas de SEO ( do inglês: search engine optimization - otimização para ferramenta de busca), o que confere ao seu site uma vantagem sobre os seus competidores, caso essa otimização seja feita da maneira correta. Existem inúmeras técnicas de otimização, que vão desde otimização da palavra chave até a criação de links. O algoritmo do Google leva mais de 200 critérios em conta na hora de ranquear os resultados de uma busca.