Expertrec Crawler est un bot que des données d'un site Web d'index et le rend disponible pour le site de construction recherche. Ce qu'il faut c'est juste un URL de site Web valide. Ramper commence par un ou urls plus donnés et se termine lorsque toutes les urls sont rampé.

urls:

Afin de construire la recherche sur le dessus de votre site, crawler Expertrec doit être informé sur ce qu'il faut ramper. Cela peut être votre propre URL du site, ou une URL du site sur lequel vous voulez créer la recherche. Lire la suite

Plan du site:

Plan du site est un modèle de conception de contenu du site et de la structure, qui se composent de la liste de toutes les pages importantes de votre site. Plan du site peut être pour les utilisateurs et pour les robots des moteurs de recherche. En cas pour les utilisateurs, ce sera une page html composée de tous les liens. En cas de robots des moteurs de recherche, plan du site peut être riche document XML avec tous les liens et ses métadonnées structurées au format XML. Au lieu de commencer avec un crawl url et de le laisser aller plus loin en trouvant des liens vers d'autres pages de votre site, vous pouvez guider directement sur chenilles à ramper plan du site. Ajout sitemap pour ramper aidera crawler à coller à des pages importantes seulement. Lire la suite

filtres:

Les filtres sont des règles à prendre en compte ou jeter les URL. filtrage de support de robot Expertrec sur la base de la chaîne de motif d'URL ou le type de fichier ou un modèle commun pour filtrer une URL.

Ex. Si l'URL de votre site est “https://www.example.com/” et vous devez analyser uniquement les fichiers PDF à partir du site, vous pouvez utiliser “Type de fichier” filtrer et d'activer le type de fichier à “pdf” seulement. Cela fera en sorte que seul “pdf” les documents seront explorées et indexées.

Lire la suite sur les filtres et son utilisation précise.

 

réexploration Fréquence:

À quelle fréquence vos pages explorées Web seront réexploré peut être contrôlé par Re-crawl fréquence. Actuellement, les options sont “du quotidien”, “hebdomadaire”, “mensuel” et “annuel”. Mais vous pouvez toujours aller à votre expertrec controlpanel et début “réexploration” manuellement afin que l'index de recherche sera entièrement rafraîchi. Lire la suite explique ce réexploration périodique en détail.

Avancée:

crawler Expertrec permet quelques-unes des options avancées lors de l'exploration, ex. Site Crawl avec les informations de connexion, extraire manuellement une partie de la page Web, enlever la page web commune partie ( entête, pied de page, etc.) et beaucoup plus. Cette fonctionnalité avancée expliqué ici en détails.