Qual è stato il primo motore di ricerca sul web?
Ho esaminato il motore di ricerca Infoseek e il ruolo che ha avuto nella storia dei motori di ricerca. Mi sono ricordato di un vecchio libro che ho sui motori di ricerca con un paio di capitoli su Infoseek e ho iniziato a rileggerlo. Ho scoperto che volevo scoprire quale motore di ricerca è stato considerato il primo motore di ricerca.
Il libro è il Web Developer.com Guide to Search Engines, del febbraio 1998. È passato un po’ di tempo da quando ho preso in mano un libro sui motori di ricerca che non menzionasse Google. Questo si concentra sui motori di ricerca sul web e aggiunge una funzione di ricerca al tuo sito.
Non sono andato molto oltre la prima sezione del primo capitolo del libro, intitolato Bow Down and Give Thanks to Archie, prima di saltare sul web e iniziare a guardare il ruolo di Archie in rete. Come si legge lì:
Il nonno di tutti i motori di ricerca era Archie, creato nel 1990 da Alan Emtage, uno studente della McGill University di Montreal.
Mentre il capitolo dà credito ad Archie come primo motore di ricerca, non entra troppo nei dettagli su cosa fosse e cosa facesse. Il nome era l’abbreviazione di “Archives”, che fu abbreviato in Archie. Così ho deciso di guardare un po’ in giro sul web per saperne di più su quello che è comunemente accreditato come il nonno dei moderni motori di ricerca o il primo motore di ricerca.
Un post su Usenet del settembre 1990, di Alan Emtage, si riferiva ad Archie come “piuttosto cerebroleso” e forse lo era allora. Ma sembra essere stato il modo migliore per trovare informazioni da altri server in giro per internet a quel tempo. Un post di tre anni dopo, sempre di Alan Emtage, mostrava un po’ più di fiducia nelle capacità di Archie. Descriveva anche un metodo di indicizzazione dei modelli che avrebbe aiutato Archie a indicizzare “documenti, immagini, suoni e servizi liberamente disponibili o di pubblico dominio sulla rete”. Per certi versi, forse questo non è troppo diverso dal programma Google Sitemap di oggi. Un articolo del 1993, Life Before (And After) Archie, descrive la commercializzazione di Archie, incorporandolo con altri servizi per aiutare le persone a trovare informazioni su Internet.
Scettico come sono, mi sono chiesto se Archie fosse il primo motore di ricerca del web. Potrebbe essere, ma porre la domanda e cercare un po’ in giro ha portato a questo articolo che descrive un processo di ricerca che è stato considerato attentamente dal Royal Insurance Group e dal loro partner, Hewlett Packard
Il primo motore di ricerca: Una storia non raccontata
È una storia interessante, ma più del tipo “cosa avrebbe potuto essere”. Il panorama della ricerca sarebbe probabilmente molto diverso se la tecnologia descritta in questo articolo fosse stata sviluppata ulteriormente.
Quindi, come funzionava originariamente Archie? Beh, non aveva le capacità degli odierni motori di ricerca, ma ti permetteva di cercare in internet se conoscevi il nome di un file che potevi cercare. Tuttavia, Archie non indicizzava il contenuto dei file di testo. Quella capacità arrivò nel 1991 con lo sviluppo di un’altra ricerca, conosciuta come Gopher.
Un documento del 1992, A Comparison of Internet Resource Discovery Approaches, esamina alcuni dei primi programmi di indicizzazione sul web, incluso Archie, e uno standard per la ricerca chiamato X.500.
X.500 era uno “standard di servizio di directory distribuito” sviluppato da The Consultative Committee on International Telephony and Telegraphy (fuso nell’International Telecommunications Union nel 1992) e l’International Organization for Standardization (ISO). Tuttavia, questo standard non sembra permettere il tipo di ricerche che faceva Archie, e richiedeva molto più lavoro da parte degli host dei file.
Whois esisteva anche prima di Archie, ma cercava persone, numeri di rete e domini su Internet. Era più una directory di informazioni sulla rete, che poteva essere cercata per trovare file su Internet. L’articolo descrive alcuni altri interessanti meccanismi di directory e di ricerca dei primi tempi.
Capitolo 5, dal libro The daemon, the gnu, and the penguin: A History of Free and Open Source, ci dice qualcosa sulle dimensioni e la portata di Archie: “Nel 1992 conteneva circa 2,6 milioni di file con 150 gigabyte di informazioni”. Per l’epoca, questo era piuttosto significativo. Un documento del 1993, Research Problems for Scalable Internet Resource Discovery (pdf), ci dice che Archie era abbastanza attivo allora, ma che vedeva alcuni segni di sforzo nella gestione delle ricerche:
La collezione globale di server Archie elabora circa 50.000 richieste al giorno, generate da alcune migliaia di utenti in tutto il mondo. Ogni mese o due di crescita di Internet richiede un’altra replica di Archie. Una dozzina di server Archie ora replica un database di 150 MB in continua evoluzione con 2,1 milioni di record. Mentre risponde in pochi secondi il sabato sera, può impiegare da cinque minuti a diverse ore per rispondere a semplici richieste durante un pomeriggio di un giorno feriale.
Naturalmente, la popolarità del World Wide Web ha cambiato molte cose. Uno dei primi metodi di indicizzazione del web, creato da Martijn Koster, che era uno degli architetti principali dello Standard per l’esclusione dei robot, era ALIWEB. Il nome è l’abbreviazione di Archie-Like Indexing in the Web. ALIWEB non è decollato come altri motori di ricerca, ma il lavoro di Martijn Koster sui robot sarebbe diventato una parte importante della crescita di questi futuri motori di ricerca.
Ci vorrà un po’ di tempo per leggere quel libro se continuo ad essere sviato in questo modo. Non sembra essere una cosa negativa, però. Imparare alcuni dei limiti e delle capacità del primo motore di ricerca mi ha reso grato per i motori di ricerca che abbiamo avuto da allora.
Timeline dei motori di ricerca
1990- Il primo motore di ricerca è Archie. Un anno dopo aver inventato il world wide web (WWW), il primo motore di ricerca strisciava attraverso un indice di file scaricabili. Tuttavia, i dati limitati rendevano disponibili solo gli elenchi, non il contenuto.
1991– Tim Berners-Lee, l’inventore del WWW, ha creato una biblioteca virtuale per aiutare gli utenti a trovare gli URL di diversi siti web. I webservers del CERN ospitavano la biblioteca all’inizio di internet.
1993- JumpStation portò un nuovo salto con la sua ricerca lineare che mostrava il titolo e l’intestazione di una pagina negli stessi risultati. Il motore di ricerca classifica i risultati nell’ordine in cui sono stati trovati.
1994– David Filo e Jerry Yang creano Yahoo! Search. Il sito fu la prima raccolta di pagine web su internet. Includono descrizioni create dall’uomo per gli URL. I proprietari di siti possono aggiungere siti informativi gratuitamente, ma i siti commerciali dovevano pagare 300 dollari all’anno.
WebCrawler– lo stesso anno che Yahoo! Search ha lanciato, ha visto il lancio di Web Crawler. Creano il primo motore di ricerca per indicizzare intere pagine. La quantità di dati richiesti per fare il motore di ricerca troppo lento da usare durante il giorno.
1995– Anche il motore di ricerca Lycos fu lanciato nel 1994. Il motore di ricerca ha catalogato oltre 394.000 documenti entro agosto. Nel gennaio 1995, avevano catalogato più di 1,5 milioni di documenti.
1996- Larry Page e Sergey Brin crearono il predecessore di Google BackRub. L’idea iniziale utilizzava i backlink per aiutare a classificare i siti web per una migliore ricerca.
I backlink mostrano come un sito web che si collega ad un altro sito conta come un voto. Questa idea è la base dell’autorità di un sito web. L’algoritmo di oggi si basa ancora sullo stesso concetto iniziale. È progredito enormemente negli ultimi 20 anni, ma il backlinking gioca ancora un ruolo nel ranking.
AskJeeves– Il primo motore di ricerca in cui si tenta di avere redattori umani che rispondono alle query di ricerca. Il sito è diventato facile preda dello spam.
Inktomi– Un pioniere nel modello di pubblicità a pagamento. Inktomi ha fornito un primo precursore degli annunci pay-per-click (PPC).
Lycos- Ancora il più grande motore di ricerca. Lycos ora ha più di 60 milioni di documenti indicizzati.
1998- Google viene lanciato ufficialmente.
Overture (ex Goto.com)- L’azienda è stata la prima ad usare con successo un modello PPC.
1999- Sequoia Capital e altri investono in Google. Inoltre, AOL seleziona Google come partner di ricerca.
2000- Viene rilasciato il motore Teoma
2001- Il motore di ricerca Excite fallisce e viene acquistato per 10 milioni di dollari.
AskJeeves- Il motore di ricerca acquista Teoma per sostituire il loro motore di ricerca Direct.
2002- Yahoo! acquisisce altri motori di ricerca per trovare risultati di ricerca per i clienti in modo organico. In precedenza, avevano esternalizzato il servizio a fornitori terzi.
2003- Overture comprato da AllTheWeb per 70 milioni di dollari e Inktomi comprato da Yahoo! per 235 milioni di dollari. Yahoo! compra poi Overture per 1,63 miliardi di dollari.
Google- Annunciano il primo aggiornamento dell’algoritmo di ricerca al SES di Boston della Northeastern, motivo per cui viene chiamato l’aggiornamento “Boston”.
2004- Microsoft lancia il suo nuovo motore di ricerca MSN.
2005– Il motore di ricerca MSN di Microsoft inizia a usare la sua tecnologia interna a favore dei risultati di Yahoo!
Ask- IAC (Ticketmaster.com e Match.com) acquista Ask Jeeves per 1,85 miliardi di dollari. Cambiano il nome in Ask.com e abbandonano la piattaforma di ricerca Teoma.
Nofollow- I principali motori di ricerca usano il tag “nofollow” per ripulire i blog spam.
2007- Google crea la “ricerca universale”. Invece dei tradizionali 10 elenchi, hanno aggiunto funzioni per Notizie, Video, Immagini, Locali e altri verticali.
2008– Il lancio di “Google Suggest” fornisce delle tendine di argomenti suggeriti.
2009– MSN/Live Search diventa Bing.
2010– Google ha migliorato il suo sistema di indicizzazione web per migliorare i risultati di ricerca freschi del 50%. Chiamano l’aggiornamento Caffeine.
Google Instant mostra risultati di ricerca in tempo reale per gli utenti mentre inseriscono una query.
2011– Per creare un internet più strutturato, Google, Yahoo! e Microsoft (Bing) creano Schema.org.
Google- Il motore di ricerca lancia il primo cambiamento significativo di algoritmo per migliorare i risultati delle query. L’algoritmo Google Panda riduce l’efficacia delle content farm e dei siti scraper. Il cambiamento colpisce il 12% di tutti i risultati di ricerca degli Stati Uniti.
2012- Dopo il rilascio di Panda, Google lancia l’aggiornamento dell’algoritmo Google Penguin. Questo aggiornamento penalizza i siti che comprano link o utilizzano reti di link per aumentare le loro classifiche di ricerca.
2013– Google rivoluziona nuovamente il suo algoritmo di ricerca con l’aggiornamento Hummingbird. L’algoritmo è il primo tentativo di un motore di ricerca di capire l’intento umano dietro una query di ricerca. La storia della ricerca fino ad allora si è concentrata su come migliorare le query linguistiche.
2014– Yahoo! diventa il motore di ricerca predefinito di Mozilla Firefox negli Stati Uniti.
Google- L’algoritmo Pigeon aggiorna i risultati della ricerca locale dei motori di ricerca. Vogliono fornire risultati di ricerca locali accurati e pertinenti per gli utenti.
Google- discute come la sicurezza dei siti web è ora un fattore di ranking con la loro campagna HTTPS Everywhere.
2015– Google scatena Mobilegeddon per costringere i siti web ad aggiungere siti web mobile-friendly. Il cambiamento riconosce il rapido aumento dell’uso della ricerca mobile.
Inoltre, Google rilascia RankBrain, un programma di apprendimento automatico che automatizza l’algoritmo di classificazione.
Bing- Copiando Google, aggiungono un algoritmo mobile-friendly.
2016– Google Possum attacca i siti di spam locale proprio come il tag “nofollow” un decennio prima ha rimosso i siti web spam.
Google ha anche integrato l’aggiornamento di Google Penguin nell’algoritmo di ranking principale per assicurare la morte delle link farm
2017– Google ha penalizzato i siti che utilizzano annunci interstiziali e pop-up che distruggono l’esperienza mobile.
Inoltre, l’aggiornamento “Fred” di Google penalizza i siti con backlink di bassa qualità, così come quelli che danno valore al denaro rispetto all’esperienza dell’utente.
Pensieri finali – Storia dei motori di ricerca sul web
La storia della ricerca è affascinante perché inizialmente, nessuno avrebbe sospettato che un nuovo arrivato come Google avrebbe dominato i motori di ricerca come ha fatto negli ultimi anni.
Tuttavia, guardando indietro, sono stati quelli che per primi hanno iniziato a capire cosa volevano i clienti. Guardando questa storia, come marketer dei motori di ricerca possiamo capire come migliorare le nostre classifiche e rimanere al passo con i prossimi requisiti di Google
