Die Steuerdatei robots.txt

iii. Die Steuerdatei robots.txt

Jeder Webmaster wünscht sich, den Spider einer Suchmaschine steuern zu können und während die einen dies für schier unmöglich halten, tun die Profis dies bereits seit Jahren. Grundsätzlich kann man durch eine gewisse Steuerdatei Einfluss auf den Spider oder auch Crawler der Suchmaschinen nehmen. Es handelt sich hierbei um die Steuerdatei robots.txt, die noch immer gern als die geheime Datei bezeichnet wird, auch wenn sie das eigentlich gar nicht mehr ist.

Jeder Spider durchstreift regelmäßig das Web und sucht hierbei nach neuen Inhalten und Angeboten. Dabei streift er natürlich auch die verschiedensten Webseites und wertet diese aus. Die Abstände der Analysen durch den Spider sind sehr verschieden und sind bei Google unter anderem von dem eigenen PageRank abhängig. So findet man den Spider von Google ab einem PageRank von 5 alle paar Tage auf der eigenen Internetseite wieder. Dadurch möchte Google sicherstellen, dass die wichtigsten Inhalte schnell aufgenommen werden und bei Suchanfragen den Usern präsentiert werden können. Hat die eigene Internetseite nur einen geringen PageRank muss man damit rechnen, dass Google nicht mehr als einmal im Monat mit dem eigenen Spider zu Besuch ist. Grundsätzlich kann man den Besuch des Spiders durch die Datei robots.txt beeinflussen. Experten sind sich sicher, dass die Spider bei dem Besuch einer Internetseite zunächst auf der Suche nach dieser Datei sind. In dieser Datei kann man Anweisungen für den Spider hinterlegen, die dieser schließlich bei der eigenen Internetseite befolgen soll.

Wenn man die Datei robots.txt gut pflegt, signalisiert man an den Spider einer Suchmaschine, dass man dies auch mit der gesamten Homepage tut. Überwiegend muss man diese Steuerdatei nur einmal anlegen, in der Regel findet sie danach keine Beachtung mehr, sodass sie auch keinen großen Arbeitsaufwand für den Webmaster verursacht. Die Steuerdatei robots.txt sollte immer mit einem automatischen Generator erzeugt werden. Diese Arbeitsweise hat zwei Gründe. Zum einen kann man dadurch sichergehen, dass sie korrekt ist und zum anderen vermeidet man die eigenen Leichtsinnsfehler, die schließlich zu erheblichen Problemen führen können. Die meisten Generatoren dieser Art sind kostenpflichtig.

Bevor man sich die Steuerdatei erstellen lassen kann, muss man einige Vorbereitungen treffen, denn auch diese Generatoren sind auf die individuellen Anweisungen des Einzelnen angewiesen. So sollten alle Grafiken, die sich auf der eigenen Internetseite befinden, in spezielle Verzeichnisse ausgelagert werden. Diese sollten sich auch deutlich als Verzeichnis für Grafiken zu erkennen geben. Gleiches gilt auch für die verschiedensten anderen Dateien, wie zum Beispiel Word- und Excel-Dokumente. Über die robots.txt Steuerdatei kann man diese Dateien, die letztlich zu einem Nachteil beim Ranking der eigenen Internetseite werden können, vor dem Spider ausschließen. Demnach finden sie hier keinerlei Beachtung und können auch nicht zum Nachteil werden.

iv. So funktioniert das richtige Bearbeiten der robots.txt

Zunächst muss der Generator für die Steuerdatei geöffnet werden. Im Anschluss muss die Funktion „Verbietet allen Spidern, Verzeichnisse oder Dateien zu indizieren“ gewählt werden. Alle Dateien, die von den Spidern der Suchmaschinen nicht ausgewertet werden sollen, können nun ausgeklammert werden. Es erspart ungemein viel Arbeit, wenn man die Seiten vorher in einem Verzeichnis sammelt oder auch auslagert. Durch das Ausklammern werden diese Dateien gesperrt, sie in also nicht mehr für die Spider der Suchmaschinen zugänglich. Bereits im Anschluss wird die fertige Steuerdatei in dem Generator angezeigt. Der Text, der in dem Generator angezeigt wird, muss nun kopiert werden. Im Anschluss erfolgt das Einfügen in einen einfachen Texteditor. Die Datei muss zunächst auf der Festplatte gespeichert werden. Sie bekommt immer den Dateinamen robots.txt. Nun kann die Datei via FTP in das Hauptverzeichnis der eigenen Webseite geladen werden. Die Steuerdatei findet sofort Anwendung, wenn der Spider wieder auf der eigenen Internetseite unterwegs ist.

Veränderungen müssen an der Steuerdatei robots.txt meist erst dann vorgenommen werden, wenn man die eigene Internetseite grundlegend umstrukturieren möchte. Dies ist zum Beispiel bei der Anwendung von einem neuen CMS der Fall. In diesem Fall muss die Steuerdatei neu generiert werden, da sich nur dann mögliche Fehler vermeiden lassen.

Grundsätzlich sollte man die Steuerdatei auch für Daten nutzen, die man nicht allen Menschen zugänglich machen möchte. Hierbei kann es sich zum Beispiel um Dateien handeln, die nur für eine bestimmte Zielgruppe bestimmt sind und demnach als streng vertraulich gewertet werden müssen. In diesem Fall müssen alle davon betroffenen Dateien in einem separaten Verzeichnis geparkt werden. Dieses kann zum Beispiel den Namen /intern erhalten. Dieses Verzeichnis muss ebenso wie Grafiken bei dem Generieren der Steuerdatei robots.txt ausgeklammert werden. Somit werden die Dateien nicht indiziert und auch nicht in der Datenbank von Google gespeichert.

v. Die richtige Anwendung von Title-, Alt- und IMG-Tag

Viele Webmaster sehen die Title, Alt und auch IMG-Tags bis heute als Stiefkinder der Suchmaschinenoptimierung an. Dabei sind sie von ungemein wichtiger Bedeutung. Immerhin weist Google als Suchmaschine eigenständig auf die Anwendung dieser Tags hin. Google beschränkt sich hierbei jedoch auf die Einbindung von Title- und Alt-Tag in der eigenen Suchmaschinenoptimierung. Als Ergänzung und Profi-Tip sollte man aber auch den IMG Tag anwenden. Die Bedeutung und die Eigenschaften von dem Title- und Alt-Tag wurden bereits in den vorangegangenen Kapiteln erläutert. Aber was ist der IMG-Tag?

Bei dem IMG-Tag handelt es sich um den Tag, der immer dann Anwendung findet, wenn man ein Bild an einer bestimmten Stelle in einen Textfluss einbindet. Somit arbeitet man immer dann mit einem IMG-Tag, wenn der Besucher einer Internetseite auf dieser ein Bild sehen kann. Wie Alt- und Title-Tag sollte auch der IMG-Tag immer sprechend sein. Wir wissen bereits, dass Suchmaschinen Bilder und Grafiken nicht verarbeiten können, durch die Anwendung von dem IMG-Tag hilft man ihnen jedoch dabei, sodass sie es auch mit einem besseren Ranking belohnen werden.

Obwohl man heute weiß, dass auf diese Tags nicht verzichtet werden sollte, ist bis jetzt niemandem genau bekannt, wie groß der Einfluss dieser drei Elemente in der Suchmaschinenoptimierung ist. Genau aus diesem Grund sollte bei der eigenen Internetseite in keinem Fall auf diese Tags verzichtet werden. Es ist allseits bekannt, dass sie sich positiv auf das Ranking einer Internetseite auswirken können.

Bevor man sich über die Einbindung dieser Tags Gedanken macht, sollte man prüfen, ob diese bei der eigenen Internetseite vorhanden sind. Dies lässt sich sehr einfach über den eigenen Browser prüfen. Bei der eigenen Internetseite muss im Browser Fenster ausschließlich die Ansicht Quellcode eingestellt werden. Schon kann man prüfen, ob die Tags bei der eigenen Internetseite Anwendung finden.

Die meisten Internetseiten verfügen bis heute nicht über diese Tags. Sie lassen sich jedoch auch nachträglich ergänzen.

Für die Einbindung von dem Title-Tag muss folgende Musterzeile Anwendung finden:

Der Alt-Tag könnte auf der eigenen Internetseite wie folgt aussehen:

Beide Zeilen sind natürlich ausschließlich Muster. Entscheidend sind die Bereiche, die rot gekennzeichnet sind. Hier wird die Verwendung der beiden Tags sehr deutlich, sodass man sich vorstellen kann, wie diese auf der eigenen Internetseite aussehen müssten.

Wer nicht in Handarbeit überprüfen möchte, ob die eigene Internetseite mit diesen Tags ausgestattet ist, kann sich natürlich auch für eines der zahlreichen Internetangebote entscheiden. Die meisten Überprüfungen werden im Internet kostenlos angeboten und gehören zudem binnen kürzester Zeit der eigenen Vergangenheit an.

vi. Ein klassischer Online-Dienst für diese Überprüfung ist

http://htmlhelp.com/tools/validator Dieser Dienst ist kostenlos und ermöglicht die automatische Überprüfung der Anwendung der Tags auf der eigenen Internetseite. Über diesen Dienst werden auch Fehler bei den eigenen Tags verdeutlicht. So werden fehlende Tags rot hervorgehoben, sodass dem Webmaster ein langes Suchen erspart bleibt. Änderungen sind danach problemlos möglich. Eine Liste, welche Tags fehlen, muss jedoch individuell von jedem Webmaster erstellt werden.

Bei Title- und Alt-Tag sollte man sich immer an dem eigenen Hauptkeyword bedienen. Dies ermöglicht entscheidende Vorteile bei dem eigenen Ranking. Verwendet werden sollte dieses aber ausschließlich in einer natürlichen Dichte, sodass hier nicht der Verdacht des Spammings entstehen kann. Obwohl die Anwendung von dem Hauptkeyword sehr wichtig ist, sollte man immer bedenken, dass nicht alle Links und Bilder den gleichen Namen haben sollten. Variationen sind hierbei durchaus erwünscht, immerhin sollen diese Elemente die Grafiken und nun einmal auch die Seiten beschreiben. Für den Anfang sollte man sich hier an einer Keyworddichte von 1:3 oder auch 1:6 bedienen.

Der IMG Tag kann als solcher nicht optimiert werden. Trotzdem kann man auch bei ihm einige Verbesserungen schaffen. So sollte man einer Grafik immer einen konkreten Namen geben. Zufallsnamen, die aus verschiedenen Buchstaben- und Zahlenkombinationen bestehen, können von Suchmaschinen nicht verarbeitet werden. Aus diesem Grund sollte man jeder Datei einen konkreten Namen geben, zum Beispiel geld_verdienen_im_internet.jpg

vii. Der wichtigste Faktor für eine Top-Platzierung

In den letzten Jahren haben sich einige Faktoren zu Must Haves für eine Top-Platzierung in den Suchmaschinen einen Namen machen können. Zu diesen Faktoren müssen Backlinks gezählt werden. Bei Backlinks kommt es immer auf die Qualität dieser an. Zahlreiche Experten raten von dem klassischen Linktausch, der sich einen Namen machen konnte, ab.

Die meisten Profis schauen sich eine Internetseite zunächst aus der Sichtweise einer Suchmaschine an. Damit hier keine Fehler geschehen, bedienen sie sich an speziellen Tools. Tools dieser Art liefern www.seekport.de/seekbot

Anhand von den daraus gewonnen Daten ermitteln sie schließlich eine so genannte Matrix. Bei dieser Matrix werden die Schwächen den Stärken einer Webseite gegenüber gestellt. Ziel ist es, die Schwächen einer Internetseite im Rahmen der Suchmaschinenoptimierung gekonnt zu beheben. Dies ist unter anderem durch Verbesserungen bei den HTML-Codes, aber auch durch die Anwendung neuer Tags möglich. Diese Vorgehensweise hat ein entscheidendes Manko. Die Experten optimieren ausschließlich die Webseite, also den internen Bereich. Die externen Möglichkeiten werden hier oft außer Acht gelassen. Zu den externen Arbeitsbereichen der Suchmaschinenoptimierung gehören sowohl die Anmeldungen in den Suchmaschinen als auch die damit verbundenen Wartungen. Regelmäßig muss die Qualität der Einträge in den Suchmaschinen verbessert werden. Auch die Verlinkung mit anderen Internetseiten muss zu dem externen Bereich der Suchmaschinenoptimierung gezählt werden.

Auch wenn die internen Verbesserungen und die damit verbundene Optimierung eine wichtige Basis sind, sollte auf die externen Aspekte nicht verzichtet werden. Gerade die Anmeldung in den wichtigsten Suchmaschinen Deutschlands ist entscheidend. Diese ist über das Suchmaschinenkit, www.suchmaschinenkit.de, möglich. Bei diesem erfolgt die automatische Anmeldung der eigenen Internetseite in den 50 wichtigsten Suchmaschinen, die deutschsprachig sind. Zu den Besonderheiten dieses Programms gehört die automatische Pflege.

Durch externe Verlinkungen kann man schließlich eine weitere Voraussetzungen für Topplatzierungen schaffen, denn auch diese werden bei vielen Webmastern vergessen. Durch diese Links kann man auch bei hart umkämpften Keywords entscheidende Plätze gut machen und sich schließlich an der Spitze wiederfinden. Suchmaschinen werten externe Links, also die Backlinks, besonders gut, sodass sich durch diese bei der Suchmaschinenoptimierung wahre Wunder erreichen lassen. Allerdings bringen Backlinks nur etwas, wenn sie thematisch auch zur eigenen Internetseite passen. Desweiteren sollte die Seite, die zur eigenen Internetseite verlinkt, einen hohen PageRank haben, denn dadurch lässt sich erkennen, dass sie von Google als sehr wichtig angesehen wird.

Grundsätzlich sollte man sich von einigen Angeboten im Internet distanzieren. Hierbei handelt es sich vordergründig um die Angebote, bei denen man die eigenen Backlinks kaufen kann. Diese werden von Google häufig als schlechte Nachbarschaft gewertet und können somit zu einem Hindernis bei einem guten Ranking werden. In der Regel bringen einfache Links der eigenen Seite nur sehr wenig. Zum eine muss die Internetseite, die auf die eigene verlinkt, möglichst zu dem eigenen Hauptthema passen und zum anderen sollte ein Anchortext vorhanden sein. In diesem Anchortext müssen schließlich auch die passenden Keywords enthalten sein.

Für qualitätsstarke Backlinks benötigt man ein wenig Zeit, denn nur dann lassen sich auch die richtigen Webseiten finden. Zunächst sollte man die drei wichtigsten Keywords der eigenen Seite konkretisieren.

Im Anschluss werden zu den drei Keywords jeweils die ersten 50 Plätze bei Google in eine Excel-Tabelle eingetragen. Dadurch ergibt sich eine Gesamtsumme von 150 Internetseiten, die auf Grund ihrer Platzierung von der Suchmaschine Google als besonders wichtig angesehen werden. Desweiteren kann davon ausgegangen werden, dass diese Seiten besonders gut zu der eigenen passen, denn sonst würden sie nicht unter den Suchbegriffen angezeigt werden. Im nächsten Schritt muss jede Webseite besucht werden. Von dieser Internetseite müssen der Name des Webmasters und dessen Kontakt aufgeschrieben werden. Auch diese Angaben können in der Excel-Tabelle vermerkt werden. Über die Google Toolbar kann der PageRank jeder Webseite ermittelt werden. Die Toolbar kann unter folgendem Link heruntergeladen und im Browser installiert werden: http://toolbar.google.de

Der PageRank jeder Seite wird als weitere Information in der Excel-Tabelle gespeichert. Im Anschluss müssen alle Seiten nach ihrem PageRank in der Excel-Tabelle sortiert werden. Über die Excel-Funktion „Sortieren nach Spalte“ ist dies binnen kürzester Zeit möglich. Grundsätzlich sollte der PageRank als eines der wichtigsten Kriterien angesehen werden, um geeignete Internetseiten für Backlinks zu finden. Ausschließlich die Internetseiten mit mindestens einen PageRank 4 haben, kommen nun in die nähere Auswahl. In den vergangenen Jahren konnte immer wieder belegt werden, dass Links, die von Seiten mit einem PageRank 1 bis 3 stammen, nicht bei dem Ranking durch Google berücksichtigt werden. Nun müssen alle Webmaster der infrage kommenden Internetseiten angeschrieben werden. Damit man den Arbeitsaufwand mindert, kann man sich an Textbausteinen bedienen. In diesem Anschreiben muss man den Webmastern natürlich eine attraktive Gegenleistung bieten. Hier sollte man jedoch auf den klassischen Linktausch verzichten. So kann man den Webmastern zum Beispiel ein kleines Geschenk versprechen. Grundsätzlich lohnt es sich immer, für diese Gegenleistung ein wenig Geld auszugeben. Durchschnittlich reagieren auf diese Anschreiben 30 bis 50 Prozent aller angeschriebenen Webmaster. Grundsätzlich sollte man nach fünf Tagen ohne fehlende Antwort bei den betroffenen Webmastern nochmals nachfragen. Dadurch kann man sich eine zusätzliche Resonanz von rund zehn Prozent sichern.

Zu einer Verlinkung kommt es in der Regel jedoch nur mit rund zehn Prozent der Seiten. Trotzdem erhält man dadurch natürlich zehn bis 20 Links, die überaus hochwertig sind und die eigene Seite im Ranking erheblich unterstützen. Es ist wichtig, dass man für die Korrespondenzen mit den Partnern einige Zeit einplant. Im Erstkontakt sollten zudem alle Kontaktdaten vermerkt werden. Hierbei handelt es sich auch um die Telefonnummer. Dadurch wird ein seriöser Eindruck vermittelt. Dem Webmaster sollte desweiteren immer der genaue Anchortext vorgegeben werden. Hierbei handelt es sich um den Text, über den schließlich der Link erfolgt. In dem Anchortext sollten die wichtigsten Keywords enthalten sein. Sobald der Link erfolgreich gesetzt wurde, lassen sich in der Regel deutliche Positionsverbesserungen erreichen. Über das kostenlose Tool www.database-search.com, Kategorie Backlink, kann man schließlich die Links der Webmaster überwachen. Dadurch kann man sicher gehen, dass diese sowohl die Links als auch den Achortext beibehalten.

Ein echter Insidertipp ist noch immer das Angebot Linklift. Bei diesem Anbieter kann man redaktionelle Links mieten. Die redaktionellen Links sind sozusagen die Google Lieblinge und werden besonders gut gewertet. Alle Links werden über Linklift ausschließlich auf den Seiten geschaltet, die auch wirklich zu der eigenen Internetseite passen. Die Preise schwanken hierbei zwischen 3 und etwa 20 Euro im Monat. Die Links liefern jedoch einen deutlichen Mehrwert bei dem eigenen Ranking. Die Links können über Linklift in den verschiedensten Kategorien gebucht werden. Verfügt man selbst über eine redaktionelle Webseite, kann man Linklift natürlich auch entgegengesetzt nutzen. Dadurch kann man sich mit Linklift ein langfristiges Einkommen sichern. Die Verdienstmöglichkeiten können über einen Rechner ermittelt werden.