{"id":130,"date":"2006-11-24T17:53:46","date_gmt":"2006-11-24T16:53:46","guid":{"rendered":"http:\/\/www.uwe-tippmann.de\/blog\/2006\/11\/24\/inhalte-vor-dem-crawler-verstecken\/"},"modified":"2006-12-03T00:28:43","modified_gmt":"2006-12-02T23:28:43","slug":"inhalte-vor-dem-crawler-verstecken","status":"publish","type":"post","link":"https:\/\/www.uwe-tippmann.de\/blog\/2006\/11\/24\/inhalte-vor-dem-crawler-verstecken\/","title":{"rendered":"Inhalte vor dem Crawler verstecken"},"content":{"rendered":"<p>In Anbetracht <a href=\"https:\/\/www.uwe-tippmann.de\/blog\/2006\/11\/22\/linktext-als-seitentitel-fuer-gesperrte-urls\/\">dessen<\/a> und der Tatsache, dass die Crawler immer intelligenter mit Javascript umgehen k\u00f6nnen, teste ich zur Zeit eine Methode, ob man Inhalte gezielt vor Suchmaschinen verstecken kann, indem man den kompletten Inhalt \u00fcber einen <strong>XMLHttpRequest<\/strong> vom Server an den Client liefert und somit eine nahezu HTML-freie Webseite erh\u00e4lt. Wer wissen will, ob die Crawler derartige Inhalte indexieren, kann sich den Source von <a href=\"http:\/\/www.uwetippmann.de\" target=\"_blank\">www.uwetippmann.de<\/a> anschauen und auf die Aktualisierung in den kommenden Tagen in den Suchmaschinen achten -> Wem es zu langsam geht kann ja einen Link drauf setzen \ud83d\ude09<\/p>\n<p>Der Vorteil w\u00e4re, dass man der Suchmaschine zB. nur einen Titel und eine Beschreibung liefert, der restliche Inhalt bleibt f\u00fcr die Suchmaschine &#8222;unsichtbar&#8220;, f\u00fcr den Betrachter gibt es &#8222;nur&#8220; die Einschr\u00e4nkung, dass man JavaScript enabled haben muss&#8230; das sollte jedoch in Zeiten von Web 2.0 kein Problem darstellen.<\/p>\n<p><strong>Update:<\/strong> Das Ergebnis ist seit heute im Index.<\/p>\n<p>Test 1: Das Resultat ist ern\u00fcchternd: DerGoogle Crawler konnte das JavaScript nicht verarbeiten, die Inhalte blieben f\u00fcr den Crawler unsichtbar. Bis auf die URL wird keinerlei Content angezeigt, kein Title, keine Description. Der Vorteil gegen\u00fcber dem robots-Ausschluss ist der, dass wirklich nur die URL stehen bleibt und diese nicht mit dem Linktext anderer, externen Quelle benutzt wird.<\/p>\n<p>Test 2: Gezielt eine selbst definierte Beschreibung liefern.<\/p>\n<p><strong>Update 2:<\/strong> Die Description der Seite ist nun im Index und wird sowohl als Titel als auch als Beschreibungstext angezeigt. Damit w\u00e4re der Test abgeschlossen und belegt, dass Google nicht in der Lage diese Art Javascript richtig zu interpretieren. Die Methode die Webseite \u00fcber einen XMLHttpRequest zu laden, ist somit eine Alternative die Inhalte vor Google zu verbergen und dennoch die Elemente wie die Beschreibung und den Seitentitel selbst zu steuern. Anders als das bei einem Ausschluss der Seite durch die robots.txt der Fall <a href=\"https:\/\/www.uwe-tippmann.de\/blog\/2006\/11\/22\/linktext-als-seitentitel-fuer-gesperrte-urls\/\">geworden<\/a> ist!<\/p>\n<p><img decoding=\"async\" title=\"www.uwetippmann.de\" alt=\"www.uwetippmann.de\" src=\"https:\/\/www.uwe-tippmann.de\/img\/uwetippmann.gif\" \/><\/p>\n","protected":false},"excerpt":{"rendered":"<p>In Anbetracht dessen und der Tatsache, dass die Crawler immer intelligenter mit Javascript umgehen k\u00f6nnen, teste ich zur Zeit eine Methode, ob man Inhalte gezielt vor Suchmaschinen verstecken kann, indem man den kompletten Inhalt \u00fcber einen XMLHttpRequest vom Server an &hellip; <a href=\"https:\/\/www.uwe-tippmann.de\/blog\/2006\/11\/24\/inhalte-vor-dem-crawler-verstecken\/\">Weiterlesen <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":1001002,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"_links":{"self":[{"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/posts\/130"}],"collection":[{"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/users\/1001002"}],"replies":[{"embeddable":true,"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/comments?post=130"}],"version-history":[{"count":0,"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/posts\/130\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/media?parent=130"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/categories?post=130"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/tags?post=130"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}