Per creare un motore di ricerca, è necessario sviluppare un crawler, alcuni database sensibili al contenuto, algoritmi di classificazione, tracce logiche e un modulo di visualizzazione dei risultati (serp).
Questa pagina contiene alcuni miei appunti, scritti durante lo sviluppo di un motore di ricerca interno in una rete di siti web.
Okuma: Come creare un motore di ricerca
Il crawler
Il crawler (bot o spider) è l’elemento più semplice da programmare. Consiste in un programma automatico di navigazione delle pagine web.
Quali funzioni ha il bot?
Il programma scarica il codice HTML di una pagina web a un indirizzo URL specificato.
A tal fine, l’agente deve lavorare online con una connessione Internet aperta.
Ayrıca bakınız: Come cuocere un polpo precotto: le ricette e i consigli
Da dove ottiene l’indirizzo URL? Gli indirizzi URL sono forniti dalla tabella URL del database in cui sono inseriti gli indirizzi del manuale, i link delle pagine da aggiornare e il contenuto già indicizzato.
Una volta scaricato il contenuto della pagina, il crawler memorizza il codice sorgente della pagina nella tabella PAGE del database.
In questo modo le successive operazioni di analisi possono essere eseguite offline, senza una connessione internet aperta, da altri algoritmi.
Nota. Il lavoro del crawler è simile a quello di un fotografo. Va lì, scatta una foto di lato e salva la foto (dati) nel database del motore di ricerca. Non è compito del crawler valutare il ranking, analizzare le informazioni o la qualità dei contenuti.
Il database delle pagine
Il database dei siti web (PAGE) è una Tabella contenente i codici sorgente delle pagine web visitate dal crawler.
Ayrıca bakınız: Ricarica Postepay propria o altrui: dove ricaricare, costo. Guida Completa!
La struttura del database è la seguente:
- Indirizzo URL
- Fonte HTML
- Data di aggiornamento
L’indirizzo URL è il campo chiave del database. È una chiave univoca che collega la pagina alle altre tabelle del database.
Nota. Il database non contiene le immagini, solo il codice sorgente nei linguaggi HTML del sito web.
Gli algoritmi di analisi
I dati contenuti nella tabella PAGE vengono analizzati offline da altri algoritmi dei motori di ricerca.
Ogni algoritmo ha uno scopo specifico.
L’algoritmo di pulizia del codice HTML
Un algoritmo si occupa dei tag irrilevanti nel codice sorgente.
Ayrıca bakınız: Come si dice Giappone in giapponese? Nihon o Nippon?
- Leggi il codice sorgente di un record di un campo PAGE
- Elimina le informazioni irrilevanti (ad es. javascript, iframe, css, sezione
