urls:

Vous pouvez fournir urls site qui est accessible au public sur Internet pour expertrec robot à ramper. urls non valides seront mis au rebut par crawler.

  1. url localhost(127.0.0.1) – Ces types de urls ne seront jamais atteints par Internet et donc il ne peut pas être rampé.
  2. Mise en scène url site web – site Mise en scène qui est clone de votre site de production est destiné à un usage interne. Ce type de urls ne doit pas être ajouté dans la liste des URL crawl.
  3. sites Intranet – Certains sites sont disponibles dans votre netwok entreprise seulement. Ces sites sont inaccessibles à partir d'Internet, ne devrait donc pas être ajouté à la liste des urls.

Ajouter plusieurs urls pour l'exploration

Pour ajouter une autre URL, Cliquez sur “Ajouter plus urls” bouton et suivez les mêmes règles d'URL pour ajouter une nouvelle URL.

Comment analyser certaines section du site ?

Généralement, quand crawl commence sur une url, il se termine lorsque chaque URL accessible est rampé. Mais si le site est assez grand ou il y a certaines questions architecturales sur le site et vous devez limiter rampent à une partie fixe du site. crawler Expertrec considère chemin / chemins de la donnée dans urls dans la section URL et limite ramper dans ce chemin seulement.

Ex. si l'URL est gardé à ramper “https://www.example.com/pages/history.html”, puis ramper rejettera toutes les urls qui ne sont pas ayant le motif “https://www.example.com/pages/”.

Cela aide à garder le crawl à la trajectoire prévue ou la section du site Web et des résultats de recherche seront contenant urls dans cette voie ou section uniquement.