urls:

È possibile fornire URL sito web, che è disponibile al pubblico su internet per expertrec crawler a strisciare. URL non validi saranno scartati dal crawler.

  1. localhost URL(127.0.0.1) – Questi tipi di URL non verrà mai raggiunto da Internet e quindi smussano essere sottoposti a scansione.
  2. Messa in scena URL del sito web – sito di staging che è clone del sito di produzione è destinato solo per uso interno. Questo tipo di URL non dovrebbe essere aggiunto nella lista URL crawl.
  3. siti Intranet – Alcuni siti web sono disponibili all'interno della vostra impresa soltanto netwok. Questi siti non sono raggiungibili da internet, quindi non dovrebbe essere aggiunto alla lista degli URL.

Aggiungere più URL per la scansione

Per aggiungere un altro URL, clic “Aggiungere più URL” pulsante e seguire le stesse regole url per l'aggiunta di nuovi url.

Come strisciare certa sezione del sito ?

Generalmente, quando strisciare inizia su un URL, si completerà quando ogni url raggiungibile è strisciato. Ma cosa succede se il sito è abbastanza grande o ci sono alcuni problemi di architettura sul sito ed è necessario limitare strisciare a qualche sezione fissa del sito. crawler Expertrec ritiene percorso / percorsi dalla data di URL in sezione URL e limita strisciare all'interno di tale percorso solo.

Ex. se l'URL continuava a strisciare è “https://www.example.com/pages/history.html”, allora scansione scarterà tutti gli URL che non stanno avendo il pattern “https://www.example.com/pages/”.

Ciò contribuisce a mantenere la scansione al percorso o sezione del sito web e di ricerca risultati attesi saranno contenenti URL in questo percorso o sezione solo.