Como o Google funciona | Ram Rajagopal | Digestivo Cultural

busca | avançada
71230 visitas/dia
1,4 milhão/mês
Mais Recentes
>>> Banda GELPI, vencedora do concurso EDP LIVE BANDS BRASIL, lança seu primeiro álbum com a Sony
>>> Celso Sabadin e Francisco Ucha lançam livro sobre a vida de Moracy do Val amanhã na Livraria da Vila
>>> No Dia dos Pais, boa comida, lugar bacana e MPB requintada são as opções para acertar no presente
>>> Livro destaca a utilização da robótica nas salas de aula
>>> São Paulo recebe o lançamento do livro Bluebell
* clique para encaminhar
Mais Recentes
>>> Rinoceronte, poemas em prosa de Ronald Polito
>>> A forca de cascavel — Angústia (FUVEST 2020)
>>> O reinado estético: Luís XV e Madame de Pompadour
>>> 7 de Setembro
>>> Outros cantos, de Maria Valéria Rezende
>>> Notas confessionais de um angustiado (VII)
>>> Eu não entendo nada de alta gastronomia - Parte 1
>>> Treliças bem trançadas
>>> Meu Telefunken
>>> Dor e Glória, de Pedro Almodóvar
Colunistas
Últimos Posts
>>> Revisores de Texto em pauta
>>> Diogo Salles no podcast Guide
>>> Uma História do Mercado Livre
>>> Washington Olivetto no Day1
>>> Robinson Shiba do China in Box
>>> Karnal, Cortella e Pondé
>>> Canal Livre com FHC
>>> A história de cada livro
>>> Guia Crowdfunding de Livros
>>> Crise da Democracia
Últimos Posts
>>> Uma crônica de Cinema
>>> Visitação ao desenho de Jair Glass
>>> Desiguais
>>> Quanto às perdas I
>>> A caminho, caminhemos nós
>>> MEMÓRIA
>>> Inesquecíveis cinco dias de Julho
>>> Primavera
>>> Quando a Juventude Te Ferra Economicamente
>>> Bens de consumo
Blogueiros
Mais Recentes
>>> Ser intelectual dói
>>> O Tigrão vai te ensinar
>>> O hiperconto e a literatura digital
>>> Aberta a temporada de caça
>>> Se for viajar de navio...
>>> Incompatibilidade...
>>> Alguns Jesus em 10 anos
>>> Blogues: uma (não tão) breve história (II)
>>> Picasso e As Senhoritas de Avignon (Parte I)
>>> Asia de volta ao mapa
Mais Recentes
>>> O Livro da moda de Alexandra Black pela Publifolha (2015)
>>> Rejuvelhecer a saude como prioridade de Sergio Abramoff pela Intrinseca (2017)
>>> O livro das evidencias de John Banville Tradução Fabio Bonillo pela Biblioteca Azul - globo (2018)
>>> O futebol explica o Brasil de Marcos Guterman pela Contexto (2014)
>>> O Macaco e a Essencia de Aldous Huxley pela Globo (2017)
>>> BATISTAS, Sua Trajetória em Santo Antônio de Jesus: o fim do monopólio da fé na Terra do Padre Mateus de Jorgevan Alves da Silva pela Fonte Editorial (2018)
>>> Playboy Bárbara Borges de Diversos pela Abril (2009)
>>> Sarah de Theresa Michaels pela Nova Cultural (1999)
>>> A Bela e o Barão de Deborah Hale pela Nova Cultural (2003)
>>> O estilo na História. Gibbon & Ranke & Macaulay & Burckhardt de Peter Gay pela Companhia das Letras (1990)
>>> Playboy Simony de Diversos pela Abril (1994)
>>> Invasão no Mundo da Superfície de Mark Cheverton pela Galera Junior (2015)
>>> José Lins Do Rego- Literatura Comentada de Benjamin Abdala Jr. pela Abril Educação (1982)
>>> A modernidade vienense e as crises de identidade de Jacques Le Rider pela Civilização Brasileira (1993)
>>> Machado De Assis - Literatura Comentada de Marisa Lajolo pela Abril Educação (1980)
>>> A Viena de Wittgenstein de Allan Janik & Stephen Toulmin pela Campus (1991)
>>> O Velho e o Mar de Ernest Hemingway pela Círculo do livro (1980)
>>> Veneno de Alan Scholefield pela Abril cultural (1984)
>>> O Livreiro de Cabul de Asne Seierstad pela Record (2007)
>>> Os Dragões do Éden de Carl Sagan pela Francisco Alves (1980)
>>> O Espião que sabia demais de John Le Carré pela Abril cultural (1984)
>>> Administração de Materiais de Jorge Sequeira de Araújo pela Atlas (1981)
>>> Introdução à Programação Linear de R. Stansbury Stockton pela Atlas (1975)
>>> Como lidar com Clientes Difíceis de Dave Anderson pela Sextante (2010)
>>> As 3 Leis do Desempenho de Steve Zaffron e Dave Logan pela Primavera (2009)
>>> Curso de Educação Mediúnica 1º Ano de Vários Autores pela Feesp (1996)
>>> Recursos para uma Vida Natural de Eliza M. S. Biazzi pela Casa Publicadora Brasileira (2001)
>>> Jesus enxuga minhas Lágrimas de Elza de Almeida pela Fotograma (1999)
>>> As Aventuras de Robinson Crusoé de Daniel Defoe pela LPM Pocket (1997)
>>> Bulunga o Rei Azul de Pedro Bloch pela Moderna (1991)
>>> Menino de Engenho de José Lins do Rego pela José Olympio (1982)
>>> Terra dos Homens de Antoine de Saint-Exupéry pela Nova Fronteira (1988)
>>> O Menino de Areia de Tahar Ben Jelloun pela Nova Fronteira (1985)
>>> Aspectos Endócrinos de Interesse à Estomatologia de Janete Dias Almeida pela Unesp (1999)
>>> Nociones de Historia Linguística y Estetica Literaria de Antonio Vilanova- Nestor Lujan pela Editorial Teide/ Barcelona (1950)
>>> El Estilo: El Problema y Su Solucion de Bennison Gray pela Editorial Castalia/ Madrid (1974)
>>> El Cuento y Sus Claves de Raúl A. Piérola/ Alba Omil (profs. Univ. Tucumán pela Editorial Nova, Buenos Aires (1955)
>>> Las Fuentes de La Creacion Literaria de Carmelo M. Bonet pela Libr. del Collegio/ B. Aires (1943)
>>> As Hortaliças na Medicina Doméstica/ Encadernado de Alfons Balbach pela A Edificação do Lar (1976)
>>> A Flora Nacional na Medicina Doméstica de Alfons Balbach pela A Edificação do Lar
>>> Arlington Park de Rachel Cusk pela Companhia das Letras (2007)
>>> Muitas Vidas, Muitos Mestres de Brian L Weiss pela Salamandra (1991)
>>> As Frutas na Medicina Doméstica de Alfons Balbach pela A Edificação do Lar
>>> Coleção Agatha Christie - Box 8 de Agatha Christie; Sonia Coutinho; Archibaldo Figueira pela HarperCollins (2019)
>>> As Irmãs Aguero de Cristina García pela Record (1998)
>>> Não Faça Tempestade Em Copo Dágua no Amor de Richard Carlson pela Rocco (2001)
>>> Um Estudo Em Vermelho - Edição De Bolso de Arthur Conan Doyle pela Zahar (2013)
>>> Eu, Dommenique de Dommenique Luxor pela Leya (2011)
>>> Os Cavaleiros da Praga Divina de Marcos Rey pela Global (2015)
>>> O Futuro da Filosofia da Práxis de Leandro Konder pela ExpressãoPopular (2018)
COLUNAS >>> Especial Google

Terça-feira, 14/3/2006
Como o Google funciona
Ram Rajagopal

+ de 22900 Acessos
+ 1 Comentário(s)

Muitos amigos meus, leigos em ciência da computação, me pediram uma explicação sucinta e sem jargões de como o Google funciona. Qual a receita mágica que determina as páginas que o Google deve responder quando você faz a sua busca? Em primeiro lugar, vale esclarecer que o Google não é dono de nenhum grande mistério tecnológico. Mas, certamente, desenvolveram uma tecnologia interessante, e que vamos entender um pouco melhor a seguir.

O Google é basicamente um banco de dados inteligente. Se você já usou o fichário da biblioteca do seu colégio, então sabe já como um banco de dados funciona. Os dados são agrupados em tabelas (as gavetas do fichário), e ordenados de acordo com palavras-chave, como autor ou título. A vantagem do banco de dados sobre o fichário é que o ordenamento pode ser por um número imensamente maior de características. Já imaginou se sua biblioteca tivesse que ter trinta tipos de fichários, um para ordernar por autor, outra por título de livros, outra por ano de publicação, outra por editora, e assim por diante.

Pois bem, o que o Google faz é acumular cada página da Web num banco de dados. O endereço da página, o nome, e as palavras mais frequentes e suas respectivas frequências são todas incluídas na ficha daquela página (cada página é como um livro a ser catalogado). O mais importante, todas as outras páginas para as quais a página linca também são guardadas. Quando você digita a sua busca na caixinha do Google, o software traz todas as fichas cujo conteúdo casam com sua busca.

Para fazer isto de forma eficiente, um dicionário global é criado (o famoso dicionário reverso ou índice reverso), onde cada palavra que existe na Web aparece uma vez. E na ficha de cada palavra são colocados códigos que se relacionam com as páginas que contém aquela palavra. Uma maneira de entender isso é que cada palavra tem uma lista com os endereços das páginas que a contêm. Quando você digita uma palavra e clica em buscar, tudo que precisa ser feito é imprimir na tela as listas de endereços de todas as palavras que você pediu.

Mas então onde está o segredo do Google? Até aí não há nada demais. Na verdade o que foi citado já é feito há anos por bancos de dados não estruturados. O segredo do Google, e na verdade de qualquer buscador, está em duas coisas: como ele faz para encontrar todas páginas da Grande Rede e como ele decide a ordem em que vai listar os resultados. Os nomes técnicos para estas duas atividades são crawling e scoring. Um bom buscador é bastante abrangente, e ao mesmo tempo lista as respostas na ordem que o maior número de pessoas espera. E responde à busca rápido.

Por exemplo, se você procurar por "Ronaldo" no Google Brasil, você espera que os primeiros linques que apareçam sejam sobre o Ronaldinho Gaúcho ou sobre Ronaldo Fenômeno. Não que a primeira página seja a de Ronaldo, seu vizinho, e a resposta de posição 1,233,233 seja a primeira com Ronaldo, o jogador de futebol. Ao mesmo tempo, se você coloca "World Champion 2002", quer que algo relacionado ao assunto apareça e provavelmente ficará decepcionado se não aparecer. E além disso tudo, sua paciência não aguenta esperar duas horas para uma busca ser respondida.

Todo buscador, do Google ao MSN Search, passando pelo Yahoo, pelo Ask Jeeves e até o Cadê, procura atender a esses três requisitos. Mas como falei do Google, vamos entender melhor como ele funciona. O crawling do Google, assim como o da maioria dos buscadores é feito através de programas de computador que vão seguindo todos os linques de uma página, e acumulando as informações das páginas visitadas, a partir de uma página inicial. Uma boa página inicial é a de um índice como o Yahoo (www.yahoo.com) . A coisa toda é feita de forma organizada, de maneira que ao final do processo, um componente desconectado da Web inteira foi explorada. Outra página inicial deve ser fornecida para explorar outros componentes desconectados. Por exemplo, é pouco usual um índice em inglês levar a descobrir páginas em alfabetos não ocidentais. Portanto o crawler, programa que faz o engatinhamento, tem que ser reinciado com uma página em japônes.

Para cada página visitada, o Google cria uma ficha de biblioteca. As palavras da página que estão no dicionário global tem suas frequências contadas, o endereço da página é anotado na ficha, e o endereço de todas as páginas para as quais a página linca são anotados. Finalmente, o próprio dicionário global é emendado caso alguma palavra nova seja encontrada.

Ao fim do processo de crawling - que há uns dez anos atrás demorava cerca de uma semana para visitar a Web inteira, e hoje demora bem mais que um mês - o Google tem um gigantesco banco de dados com informações concisas da página. Uma enxugada no dicionário global é feita, para remover palavras frequentes demais, como por exemplo preposições, e para remover palavras infreqüentes demais, como um erro de tipografia exdrúxulo. Por isso, se seu nome for muito incomum (muito mesmo), você não será indexado pelo Google. Se seu nome for muito incomum, mas você cometer um ato que te põe nas capas de vários jornais, a frequência do seu nome aumenta, e o Google vai te indexar.

O próximo passo é então como o scoring do Google é feito. Uma maneira natural de ordenar as páginas, quando uma busca é feita, é simplesmente pela frequência com que a palavra buscada aparece na página. Por exemplo, se você busca por "mágica", uma página que contenha a palavra mil vezes, é provavelmente mais importante do que uma que contem a palavra somente dez vezes. Infelizmente, um esquema simplista como este pode ser facilmente burlado, com indivíduos criando páginas que tenham milhões de vezes a palavra "mágica", mesmo sem ser relacionado ao assunto ou para vender um livro específico de mágica.

Cada buscador tem então a sua receita mágica para contrabalançar este tipo de problema. O Google usa uma idéia de pontos por autoridade (relevance scoring). Talvez tenha sido a grande sacada da dupla Brin & Page ao projetar seu buscador. A pontuação do Google soma aos pontos tradicionais (como frequência da palavra, importância da palavra num contexto dado por alguma fórmula simples pré-programada, etc.), uma pontuação dada por reputação.

Como medir reputação? A idéia é simples: se páginas com muita reputação apontam para você, então você tem muita reputação. É uma propriedade hereditária. Matematicamente isto é feito usando teoria dos grafos, a mesma que você usa para colorir mapas-múndi com o mínimo de cores possíveis. Mas como medir a reputação de uma página na Web, se você não sabe a reputação de ninguém a priori?

Um jeito simples, solução de engenheiro, é montar um usuário aleatório (um random browser ou monkey browser). A maneira como este usuário funciona é a seguinte: ele começa de uma página inicial e escolhe aleatoriamente um linque a ser clicado. Ele segue para a página clicada e repete o processo. O processo é feito indefinidamente. Após muito longo tempo (provavelmente após centenas de bilhões de cliques) você pode calcular a reputação de cada página com uma fórmula simples: conte o número de vezes que a página foi visitada pelo monkey browser. Para normalizar a pontuação, o melhor é calcular a fração do total de páginas visitadas que cada página aparece. Só para deixar a coisa mais simples, suponha que a Web tem só 3 páginas, A, B e C. Suponha que o monkey browser viajou por cem páginas usando o método aleatório e visitou A trinta vezes. Então a reputação de A é simplesmente 30/100 (ou seja, 0.3 de 1.0).

Uma interpretação bacana do seu score de relevância normalizado desta forma é que ele é simplesmente a chance de um monkey browser ir parar na sua página. Se a probabilidade é alta, então sua página é importante. Tudo isto já era conhecido em teoria dos grafos, e o que os dois jovens de Stanford fizeram com a ajuda de seus professores foi incorporar isto a busca na Web.

Para concluir, um último detalhe: se o Google realmente precisasse lançar macacos aleatórios para calcular a pontuação, provavelmente iriam levar anos para se concluir o cálculo, afinal precisariam fazer bilhões de visitas para se ter um número confiável (a Web tem bilhões de páginas). Felizmente, existe uma maneira eficiente de calcular estas probabilidades sem fazer visita alguma. Você só precisa saber a estrutura de linques do conjunto de páginas (que página liga com quem). O algoritmo é bastante antigo, tem mais de 100 anos. E uma das suas aplicações anteriores foi resolver problemas como calcular as frequências de vibração na corda do seu violão ou a chance de se ganhar em pôquer.

O que destacou o Google das outras máquinas de busca existentes foi a idéia de fazer um crawling mais completo que todo mundo, numa época em que ninguém se dispunha a fazer isso, e a receita da reputação entrando como parte da pontuação da página. Portanto agora você já sabe os principais segredos do Google, e pode seguir para descobrir truques para aparecer no topo da lista.


Ram Rajagopal
Berkeley, 14/3/2006


Quem leu este, também leu esse(s):
01. Fake news, passado e futuro de Luís Fernando Amâncio
02. O Abismo e a Riqueza da Coadjuvância de Duanne Ribeiro
03. A Imagem do Som de Fabio Gomes
04. A noite do meu bem, de Ruy Castro de Julio Daio Borges
05. O bosque das almas infratoras de Elisa Andrade Buzzo


Mais Ram Rajagopal
Mais Acessadas de Ram Rajagopal em 2006
01. Sobre responsabilidade pessoal - 1/5/2006
02. Como o Google funciona - 14/3/2006
03. Como começar uma carreira em qualquer coisa - 24/4/2006
04. Música é coração, computadores, não? - 28/2/2006
05. Reflexão para eleitores - 4/9/2006


Mais Especial Google
* esta seção é livre, não refletindo necessariamente a opinião do site

ENVIAR POR E-MAIL
E-mail:
Observações:
COMENTÁRIO(S) DOS LEITORES
16/3/2006
09h04min
Adorei seu texto, me lembrei de uma tarde inteira que você pacientemente passou me explicando como a Google funciona. Não é porque é meu irmão não, mas o texto está uma maravilha!!! Saudades, Beijos, Lakshmi
[Leia outros Comentários de Lakshmi ]
COMENTE ESTE TEXTO
Nome:
E-mail:
Blog/Twitter:
* o Digestivo Cultural se reserva o direito de ignorar Comentários que se utilizem de linguagem chula, difamatória ou ilegal;

** mensagens com tamanho superior a 1000 toques, sem identificação ou postadas por e-mails inválidos serão igualmente descartadas;

*** tampouco serão admitidos os 10 tipos de Comentador de Forum.




Digestivo Cultural
Histórico
Quem faz

Conteúdo
Quer publicar no site?
Quer sugerir uma pauta?

Comercial
Quer anunciar no site?
Quer vender pelo site?

Newsletter | Disparo
* Twitter e Facebook
LIVROS




TWILIGHT - DIRECTORS NOTEBOOK
CATHERINE HARDWICK
LITTLE BROWN AND COMPANY
(2009)
R$ 8,11



POESIA COMPLETO DE ALBERTO CAEIRO
FERNANDO PESSOA
COMPANHIA DE BOLSO
(2001)
R$ 4,00



A MODERNIZAÇÃO DA UNIVERSIDADE E A TRANSFORMAÇÃO DA INTELLIGENTZIA UNIVERSITÁRIA
MARIA DE FÁTIMA DE PUALA
INSULAR
(2002)
R$ 13,00



TRADUÇÃO: HISTÓRIA, TEORIAS E MÉTODOS
MICHAËL OUSTINOFF
PARÁBOLA
(2011)
R$ 15,00



DEPRESSAO DOENCA: O GRANDE MAL DO SECULO XXI
CARLOS VIEIRA
VOZES
(2016)
R$ 71,95



EQUILIBRIO Á CIDO-BÁSICO
EUCLYDES FONTEGNO MARQUES DARIO BIROLINI
SARVIER
(1969)
R$ 14,01



O TRABALHO DO AGENTE COMUNITÁRIO DE SAÚDE
ALINE AZEVEDO DA SILVA
MINISTÉRIO DA SAÚDE
(2009)
R$ 8,00



A LUVA DE COBRE
CASSANDRA CLARE; HOLLY BLACK
GRUPO EDITORIAL RECORD
(2015)
R$ 30,00



O INSECTO IMPERFEITO ROMANCE
BEATRIZ LAMAS DE OLIVEIRA
GRADIVA
(1999)
R$ 18,70



ESSÊNCIA DE TUDO
RONALDO VIEIRA
MEIRELES
(2017)
R$ 20,00





busca | avançada
71230 visitas/dia
1,4 milhão/mês