• Anzeige

DeepCrawl im Test

Habt ihr schon einmal von DeepCrawl gehört? Um ehrlich zu sein, ich bis vor kurzem (auch) nicht. Doch dann bekam ich einen netten Anruf, durch den ich auf das SEO Tool aufmerksam wurde. Und weil ich ja alles teste, was nicht bei 3 auf den Baumen ist 😉 habe ich es mir mal angesehen.

DeepCrawl – das etwas andere SEO Tool

DeepCrawl ist kein deutsches sondern ein englisches Produkt. Das ist vielleicht auch der Grund, warum mir der Name zu Anfang noch nichts sagte. Es unterstützt uns SEOs bei der Onpage-Analyse und -Optimierung. Lt. den Herstellern kann man es mit Onpage.org auf eine Stufe stellen.

Wie der Name schon sagt, crawlt das System eine Website und liefert dann dazu entsprechende Daten.

Erste Schritte mit DeepCrawl

Für meinen ersten Testlauf habe ich meine Website weihnachtsmaerkte24.de genommen. Wie bei allen Onpage Tools muss zunächst der Crawler über die Seite laufen. Ich hab mir dabei nichts gedacht und ihn einfach  mal machen lassen. Solange, bis meine Seite und andere Seiten auf dem Webspace down waren. Ihr könnt euch gar nicht vorstellen, wie schnell ich die IP vom Crawler hab sperren lassen. Was für ein Schock 😮 – die Seiten waren offline. Zum Glück nur für eine Stunde.

Im Nachhinein habe ich dann erfahren, dass es eine Möglichkeit gibt, den Crawler zu steuern und ihm zu sagen, dass er entweder zu einer bestimmten Uhrzeit durchlaufen soll, oder in einem anderen Intervall. In einem zweiten Testlauf und mit modifizierten Einstellungen habe ich es dann nochmals mit SEO-Diaries probiert und da klappte es ohne Ausfall.

Ein Blick in das Tool

Nachdem der Crawl erfolgreich durchgeführt wurde, findet man einige Informationen. Hier mal ein Schnappschuss von SEO-Diaries:

Bildschirmfoto 2015-08-05 um 11.00.51Da es sich um ein englisches Tool handelt, ist natürlich alles auf englisch. Für SEOs sollte das aber kein Problem darstellen. Immerhin sind die Begriffe weitläufig bekannt.

Links auf dem Screen seht ihr, welche Probleme es mit der Domain gibt. In der Mitte zeigt das Tool an, wie viele URLs erfasst wurden und sonstige Auffälligkeiten. Darunter befindet sich dann ein Hinweis mit nicht indexierten Seiten und Status Codes sowie kaputten Links.

Wenn ich mir das so ansehe, wundere ich mich schon etwas, dass so viele URls meines Blogs auf Noindex stehen. Also bin ich dem einmal nachgegangen. Durch den Klick auf „Noindex“ springe ich direkt in den nächsten Navigationspunkt („Indexation“).  Hier sehe ich dann Folgendes:

Bildschirmfoto 2015-08-05 um 11.06.33

Da ich ja wissen will, welche Seiten ein „Noindex“ haben, bin ich erneut auf den Punkt gegangen und erhalte somit eine Liste der URLs die den Tag enthalten.

Bildschirmfoto 2015-08-05 um 11.08.43Ihr seht hier, dass mein WordPress-System den Parameter „replytocom“ in die URL integriert. Ich muss gestehen, ich weiß gar nicht warum. Damit Google aber nicht unzählige Variante ein und derselben Seite vorfindet (also DC), habe ich Yoast im Einsatz. Das SEO-Plugin verhindert, dass solche URLs indexiert werden, indem es sie auf „noindex“ setzt und gleichzeitig einen Canonical zur richtigen URL integriert. Somit brauch ich mir deshalb schon mal keine Sorgen mehr machen.

Eine weitere Meldung von DeepCrawl war, dass ich 1.880 Malformed URLs habe. Malformed URLs sind URLs die vom Crawler nicht richtig erfasst werden können. In meinem Fall handelt es sich dabei um den Author-Tag von Google+.

Im nächsten Schritt schauen wir uns die Unique Pages an:

Bildschirmfoto 2015-08-05 um 11.34.49

 

Dies hier ist natürlich nur der Ausschnitt für eine URL. In dem Tool erhaltet ihr eine Ansicht mit allen URLs und genau diesen Infos.

Der erste Bewertungspunkt ist der „Deep Rank“, ein Wert der von DeepCrawl selbst definiert wird. Er ist vergleichbar mit einem internen PageRank und zeigt an wie gut meine Seite intern verlinkt ist. Danach sieht man den Title, die Description, URL, die H1-Tags und den HTTP Status. Weiter rechts in der zweiten Spalte sieht man einen Teil der Ladezeit und ob der Tag nofollow integriert wurde. In Spalte drei gibt es dann weitere Informationen zum Content. Z. B. wie viele Wörter auf der Seite sind, oder wie hoch der Anteil zwischen Text und HTML liegt.

Schauen wir uns mal eine URL im Detail an

Dafür habe ich mich für die Rezension des Google AdWords Buches entschieden.

Bildschirmfoto 2015-08-05 um 11.41.08

Direkt zu Beginn sieht man sehr gut, ob die URL Probleme mit der Indexierung hat oder nicht. Hier ist alles in Ordnung und die Seite ist sogar Unique, d. h. es gibt keine weitere URL mit diesem Inhalt die ebenfalls auf „Index“ steht.

Unterhalb des Status findet ihr eine Navigation die diverse Punkte abarbeitet. Wie z. B. ob es Duplikate gibt im Content-Bereich, Title oder Description. Oder auch ob Weiterleitungen vorhanden sind, es kaputte Links gibt, die Anzahl der internen Links usw.

In diesem Fall ist alles in Ordnung. Ich brauch mir also keine Gedanken machen. Lediglich die Anzahl der externen Links ist dem Tool etwas zu hoch, aber das sehe ich nicht kritisch.

Wer will kann sich von dieser oder jedem anderen Report einen Export ziehen. Hierfür stehen verschiedene Möglichkeiten zur Auswahl. Ich kann z. B. den Report einem anderen per Link zur Verfügung stellen, oder ihn teilen. Ich kann auch die URL direkt vom Tool aus in W3C aufrufen lassen und mir evtl. Fehler ansehen.

Die Content & Validation Analyse

Kommen wir nun zu der Content Analyse, dem dritten Punkt der Auswertung. Aufgeteilt ist dieser Bereich in

  • Titles & Description
  • Body Content
  • Social Tagging
  • Pagination

Bildschirmfoto 2015-08-05 um 11.48.40Zu jedem der Bereiche gibt es Unterpunkte die analysiert werden. Wie z. B. die Länge des Titles. Sobald etwas rot gekennzeichnet ist, kann ich durch einen Klick darauf sehen, welche URLs ein Problem haben.

Bildschirmfoto 2015-08-05 um 11.57.50Noch spannender finde ich persönlich den Bereich „Validation“. Hier werden unter anderem die Links und die Ladezeit geprüft. Auf einen Blick sehe ich, welche internen Links nicht richtig funktionieren und ob es anderweitige Probleme gibt.

Ich seh jetzt z. B. das 20 meiner internen Links nicht funktionieren. Dabei handelt es sich um einen Link aus meiner Sidebar, der zum Artikel „So setzt du den Canonical richtig ein“ führt. Aus irgendeinem Grund mag das Tool die URL nicht. Ich krieg sie mit einer 404-Fehlermeldung angezeigt und jetzt als Broken Links bei den internen Verlinkungen. Da ich mir das nicht erklären kann, ignoriere ich es mal.

Universal

Eine weitere spannende Analyse-Funktion findet ihr unter dem Reiter „Universal“. Und zwar wird hier u. a. verglichen ob die Seiten in der Sitemap tatsächlich indexiert sind, wo es Probleme gibt und wo eine Seite online ist, die in der Sitemap gar nicht auftaucht.

Bildschirmfoto 2015-08-05 um 12.14.44Bei mir gibt es 31 URLs, die nicht in der Sitemap auftauchen. Für die Sitemap nutze ich ein Plugin. Dieses scheint jedoch die Kategorien nicht mit aufzunehmen. Artikel oder Seiten selbst sind vorhanden, nur eben die Kategorie-URLs nicht. Schade eigentlich, denn Kategorie-Seiten können sehr wichtig sein.

Den Abgleich zwischen Sitemap und tatsächlich indexierten Seiten finde ich super. Das habe ich so bis dato nur bei Onpage.org gesehen.

Der Site Explorer

Als ich den Namen Site Explorer das erste Mal gelesen habe, musste ich unwillkürlich an Backlinks denken. Das ist es aber nicht, was sich hinter dieser Funktion versteckt. Im Gegenteil, denn hier hinter verbirgt sich eine Aufteilung meiner URLs nach Verzeichnissen.

Bildschirmfoto 2015-08-05 um 12.18.20

Durch die Ansicht wird mir nochmals verdeutlicht, dass die meisten Beiträge aus 2012 stammen. Was mich etwas irritiert ist die Anzahl der Unique Pages. Wenn ich mir diese von 2015 ansehe, stimmt die Anzahl nicht mit den Beiträgen überein, die ich in diesem Jahr bereits veröffentlicht habe. Insgesamt komme ich auf 35 Artikel, lt. dem Tool sind es aber nur 23. Jetzt könnte es natürlich sein, dass das Tool einige URLs einem anderen Verzeichnis zugeordnet hat.

Crawl Control – den Crawler einstellen

Wie zu Beginn schon erwähnt, kann man den Crawler selbst steuern. Im Normalfall läuft der Crawler ja auch nicht ein einziges Mal über die Website sondern in regelmäßigen Abständen. Nur dadurch erhält man Einblicke darüber ob sich was verbessert oder verschlechtert.

Bildschirmfoto 2015-08-05 um 12.27.20

Innerhalb der Crawl Control kann ich dem Tool sagen, wie es meine Website angehen soll. Ich kann z. B. sagen, dass die URLs aus der Sitemap gecrawlt werden sollen. Diese muss ich dann natürlich hinterlegen oder aber ich gebe eine Start-URL vor. Dafür kann ich jede X-beliebige URL nehmen. Auch Verzeichnisse kann ich auswählen und sagen, dass nur dieses erfasst werdensoll.

Außerdem kann ich mitteilen wie viele URLs insgesamt berücksichtigt werden sollen. Angefangen von 1.000 URLs bis hin zu 1 Mio. Die Möglichkeiten sind hier wirklich sehr flexibel.

In diesem Bereich definiere auch, wie oft der Crawler meine Seite besucht, ob wöchentlich oder monatlich. Ich kann natürlich auch einen Crawl automatisch anstoßen, wenn ich zwischendurch neue Daten brauche.

Bildschirmfoto 2015-08-05 um 12.44.07Ebenfalls sehr interessant sind die Spider Settings. Hier definiere ich unter anderem mit was für eine Art von Bot auf meine Seite gegangen wird. Zur Auswahl steht der Google Bot, aber auch einige andere.

Zusätzlich kann ich die Schnelligkeit und die IP beeinflussen mit der zugegriffen wird. Falls es bei einem Durchlauf mal ein Problem gibt, kann ich mir dazu auch einen Alert anlegen, der mich informiert.

Ihr seht schon, die Möglichkeiten sind wirklich vielfältig.

Das besondere an dem Tool

DeepCrawl hat noch eine Besonderheit, die ich bis jetzt verschwiegen habe. Und zwar kann man das Tool individuell einstellen. Ich kann z. B. sagen, dass das Tool die Länge des Titles anders berücksichtigen soll. Statt einer vordefinierten Länge von 480 Pixel könnten es 520 sein oder weniger.

Diese individuellen Einstellungen sind besonders gut. Denn jeder von uns kennt das. Man hat ein Tool und das gibt Warnungen aus, die tatsächlich gar keine sind. Letztlich sind solche Warnungen ja auch immer nur Empfehlungen. Man kann was machen, muss es aber nicht. Durch die individuelle Einstellung kann ich hier zumindest schon mal sagen, nach welchen Maßstäben ich arbeite.

Das birgt jedoch auch eine Gefahr. Denn jemand, der sich mit SEO nicht so gut auskennt, kann relativ einfach etwas verstellen und schon tauchen Fehlermeldungen nicht mehr auf.

Für wen ist das Tool geeignet?

Aus diesem Grund sehe ich das Tool eher nicht für Einsteiger, sondern eher für Profis. SEOs die sich auskennen und wissen was sie tun. Anfängern könnte es leicht passieren, dass sie den Crawl laufen lassen und die Website so wie bei mir  beim ersten Mal direkt down geht. Wenn das nicht auffällt und häufiger vorkommt, ist das nicht unbedingt wünschenswert.

Wer schön aufbereitete Analyse haben will, für den ist das Tool wohl auch  nichts. Die grafische Darstellung ist in Ordnung, könnte aber noch etwas hübscher sein. Was mir persönlich aber am meisten fehlte waren die Erklärungen. Vielleicht sehe ich das Ganze zu sehr aus der Brille „anfängertauglich oder nicht“, aber ich mag es, wenn ich kleine Erklärungen habe und somit genau weiß, was das Tool analysiert.

Das Tool fängt bei 60 Euro im Monat an. Da hat man dann auch schon 5 Domains mit drin und kann bis zu 100.000 URLs crawlen lassen. Die teuerste Version liegt bei 1.270 Euro monatlich, wobei es noch eine individuelle Version gibt. Es müsste also für jeden etwas dabei sein.

Noch mehr Infos zum Tool und zu den Preisen findet ihr auf der Website von DeepCrawl.

3 Comments:

  1. Danke für den Test, kannst du einen vergleich zu dem wesentlich günstigeren screamingfrog abgeben?

    • Hi Michael,

      ich finde, DeepCrawl und Screamingfrog kann man nicht wirklich miteinander vergleichen. Zwar sind ein paar Funktionen ähnlich, aber sie unterscheiden sich dennoch in vielen Punkten. Der Hersteller selbst würde sich auch eher mit Onpage.org oder OnpageDoc vergleichen.

      Die kostenlose Variante vom Screamingfrog sollte m. M. n. sowieso jeder haben 😉

  2. Pingback: Top 10 der Woche 33/15 - SEO-united.de Blog

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *