{"id":169,"date":"2006-12-18T23:19:49","date_gmt":"2006-12-18T22:19:49","guid":{"rendered":"http:\/\/www.uwe-tippmann.de\/blog\/2006\/12\/18\/suche-nach-dem-user-agent-in-der-robotstxt\/"},"modified":"2006-12-18T23:19:49","modified_gmt":"2006-12-18T22:19:49","slug":"suche-nach-dem-user-agent-in-der-robotstxt","status":"publish","type":"post","link":"https:\/\/www.uwe-tippmann.de\/blog\/2006\/12\/18\/suche-nach-dem-user-agent-in-der-robotstxt\/","title":{"rendered":"Suche nach dem User Agent in der robots.txt"},"content":{"rendered":"<p>Knapp <a target=\"_blank\" href=\"http:\/\/www.alexa.com\/site\/devcorner\/rdt?results=y&#038;crawler=thesubot\">30.000 Hosts<\/a>, vorwiegend deutsche Betreiber, sperren Hyros &#8222;thesubot&#8220; aus&#8230; und \u00e4hnlich viele m\u00f6gen den <a target=\"_blank\" href=\"http:\/\/www.alexa.com\/site\/devcorner\/rdt?results=y&#038;crawler=HenryTheMiragoRobot\">Miragobot<\/a> nicht an ihre Inhalte lassen. Die <a target=\"_blank\" href=\"http:\/\/www.alexa.com\/site\/devcorner\/samples?page=rdt\">robots.txt Suche<\/a> von Alexa erm\u00f6glicht es auf Crawler-Inhalte zuzugreifen (in dem Fall auf die User Agents in der robots.txt), die sonst nur in den Datenbest\u00e4nden der Suchmaschinenbetreiber, meist ungenutzt, verborgen sind. Weitere interessante Such-Applikationen findet man in der <a target=\"_blank\" href=\"http:\/\/www.alexa.com\/site\/devcorner\/\">Alexa Developer&#8217;s Corner<\/a>. Alexa bietet eine offene Schnittstelle zur Entwicklung eigener Applikationen auf der Basis der Alexa Crawlerdaten (4.5 Mrd Seiten).<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Knapp 30.000 Hosts, vorwiegend deutsche Betreiber, sperren Hyros &#8222;thesubot&#8220; aus&#8230; und \u00e4hnlich viele m\u00f6gen den Miragobot nicht an ihre Inhalte lassen. Die robots.txt Suche von Alexa erm\u00f6glicht es auf Crawler-Inhalte zuzugreifen (in dem Fall auf die User Agents in der &hellip; <a href=\"https:\/\/www.uwe-tippmann.de\/blog\/2006\/12\/18\/suche-nach-dem-user-agent-in-der-robotstxt\/\">Weiterlesen <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":1001002,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"_links":{"self":[{"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/posts\/169"}],"collection":[{"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/users\/1001002"}],"replies":[{"embeddable":true,"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/comments?post=169"}],"version-history":[{"count":0,"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/posts\/169\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/media?parent=169"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/categories?post=169"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.uwe-tippmann.de\/blog\/wp-json\/wp\/v2\/tags?post=169"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}