Expertrec Crawler è un bot che i dati gli indici del sito web e lo rende disponibile per la ricerca cantiere. Che ha bisogno di un sito web è solo URL valido. Strisciante inizia con uno o più trovati URL e termina quando tutti gli URL vengono scansionati.

urls:

Al fine di costruire Ricerca sulla parte superiore del tuo sito, crawler Expertrec deve essere informato su ciò che a strisciare. Questo può essere il proprio sito URL, o qualsiasi altro sito URL nella parte superiore del quale si desidera creare ricerca. Leggi di più

Mappa del sito:

Sitemap è un modello di progettazione dei contenuti del sito web e la struttura, che consistono in lista di tutte le pagine importanti del tuo sito. Mappa del sito può essere per gli utenti e per i bot dei motori di ricerca. Nel caso in cui per gli utenti, sarà una pagina html che consiste di tutti i link. In caso di bot dei motori di ricerca, mappa del sito può essere ricco documento XML con tutti i link ei relativi metadati strutturati in formato XML. Invece di iniziare crawl con un URL e lasciandolo andare più in profondità, trovando collegamenti ad altre pagine del tuo sito, si può guidare direttamente crawler di eseguire la scansione del sito. L'aggiunta di sitemap a strisciare aiuterà crawler di attenersi a solo le pagine importanti. Leggi di più

filtri:

I filtri sono regole da considerare o scartare qualsiasi URL. filtraggio supporto crawler Expertrec sulla base di stringa modello url o tipo di file o qualsiasi modello comune per filtrare qualsiasi URL.

Ex. Se il vostro URL del sito web è “https://www.example.com/” ed è necessario eseguire la scansione solo i file pdf dal sito, si può fare uso di “tipo di file” filtrare e consentire tipo di file “PDF” solo. Questo farà in modo che solo “PDF” documenti saranno a scansione e indicizzazione.

Leggi di più sui filtri e suo utilizzo preciso.

 

Ripeti scansione di frequenza:

Con quale frequenza le pagine web stata eseguita la scansione saranno nuovamente sottoposti a scansione può essere controllata via Re-crawl frequenza. Attualmente le opzioni sono “quotidiano”, “settimanalmente”, “mensile” e “annuale”. Ma si può sempre andare al vostro controlpanel expertrec e inizio “nuova scansione” manualmente in modo da verrà aggiornata l'intero indice di ricerca. Leggi di più spiega questa nuova scansione periodica in dettaglio.

Avanzate:

crawler Expertrec permette alcune delle opzioni avanzate durante la scansione, es. sito Crawl con credenziali di accesso, estrarre manualmente parte della pagina web, rimozione comune parte pagina web ( intestazione, piè di pagina, ecc) e tanti altri. Questa funzione avanzata spiegato Qui nei dettagli.