Eine CSP ist eine Ansammlung von Direktiven und Anweisungen, die definieren, wie ein Browser sich – gerade im Bezug auf das Laden von Skripten und Stylesheets – zu verhalten hat.

Dies ist insbesondere im Hinblick auf XSS-Angriffe auf die eigene Webseite von grosser Bedeutung, da bösartige Akteure versuchen könnten, Code auf die Seite einzuschleusen und somit nichts ahnende Benutzer auf Phishing-Webseiten weiterzuleiten oder deren Cookies abzugreifen.

Mit einer CSP kann man:

• angeben, welche JavaScript und andere Dateien geladen werden dürfen, und so das Laden nicht befugten Codes unterbinden
• inline <script>-Elemente unterbinden
• nur <script>-Elemente erlauben, welche über den korrekten Hash oder Nonce verfügen
• inline event handler unterbinden
• javascript: URL’s unterbinden
• gefährliche API’s wie eval() unterbinden

Dieser Beitrag soll einen groben Überblick über die Thematik verschaffen und kann als Startpunkt für die eigene CSP dienen.

Grundlegendes

Es gibt im Grunde nur zwei Möglichkeiten, eine Content-Security-Policy zu implementieren.

• Die erste Möglichkeit ist, das HTML <meta>-Element zu verwenden, wobei hier gesagt werden muss, dass diese Variante gewisse Einschränkungen mit sich bringt, aufgrund dessen diese Variante nicht näher beleuchtet wird.
• Der zweite Ansatz baut auf dem HTTP-Response-Header Content-Security-Policy auf.

Die Policy muss zwingend in jedem Aufruf vorhanden sein und nicht nur auf der Hauptseite.

Die Richtlinie wird als eine Reihe von Direktiven angegeben, die durch Semikolons voneinander getrennt sind. Jede Direktive steuert einen anderen Aspekt der Sicherheitsrichtlinie. Jede Direktive hat einen Namen, gefolgt von einem Leerzeichen und einem Wert. Verschiedene Direktiven können unterschiedliche Syntaxen haben.

Beispiel CSP Anhand eines Response-Headers:

Content-Security-Policy: default-src 'self'; img-src 'self' example.com

Die erste Direktive, default-src, weist den Browser an, nur Ressourcen – wie JavaScript oder CSS – zu laden, die denselben Ursprung wie das Dokument haben, es sei denn, andere spezifischere Anweisungen legen eine andere Richtlinie für andere Ressourcentypen fest. Die zweite Anweisung, img-src, weist den Browser an, Bilder zu laden, die denselben Ursprung haben oder von „example.com“ bereitgestellt werden.

Je nach Art der Ressource gibt es unterschiedliche Direktiven:

• script-src setzt die erlaubten Quellen für JavaScript
• style-src setzt die erlaubten Quellen für CSS
• img-src setzt die erlaubten Quellen für Bilder

default-src fungiert hierbei als Fallback für alle Ressourcen, für die es keine explizite Direktive gibt.

Eine Direktive kann Nonces sowie auch Hostnamen enthalten. Auf Nonces wird im nächsten Abschnitt eingegangen. Zudem ist es möglich, einen Ressourcentyp vollständig zu blockieren. Hierzu wird das Stichwort none verwendet. Dieser Wert kann nicht zusammen mit anderen Direktivenwerten verwendet werden. Ist dies Trotzdem der Fall, werden die anderen ignoriert.

Eine Liste mit allen Direktiven und deren Source expressions lässt sich auf der mdn web docs Webseite finden.

Nonces

Nonces sind der empfohlene Weg, um das Laden von Skripten und CSS-Dateien zu unterbinden. Nonce steht für number used once und wie der Name schon sagt, muss sich der Wert bei jedem HTTP-Aufruf ändern. Der Wert erscheint dann in einer script-src oder style-src Direktive.

Der Header könnte dann wie folgt aussehen:

Content-Security-Policy: script-src 'nonce-416d1177-4d12-4e3b-b7c9-f6c409789fb8'

Und die eingebundenen <script>-Elemente entsprechend so:

<script nonce="416d1177-4d12-4e3b-b7c9-f6c409789fb8" src="/main.js"></script>
<script nonce="416d1177-4d12-4e3b-b7c9-f6c409789fb8">console.log("hello!");</script>

Der Nonce-Wert (ohne den Präfix nonce-) muss als Wert des Nonce-Attributes gesetzt sein. Nur bei einer Übereinstimmung dieses Wertes und des Wertes im Response-Header wird das Skript geladen und ausgeführt.

Die Idee dahinter ist, dass selbst wenn ein Angreifer JavaScript in die Seite einfügen kann, er nicht weiss, welchen Nonce der Server verwenden wird, sodass der Browser die Ausführung des Skripts verweigert. Dementsprechend versteht es sich von selbst, dass die Nonce-Werte nicht vorhersagbar sein dürfen.

Wird als serverseitige Sprache beispielsweise PHP verwendet, könnte man sich ein CSP-Nonce wie folgt generieren:

bin2hex(openssl_random_pseudo_bytes(32))

Es gilt zu beachten, dass der Server:

• für jeden Seitenaufruf einen neuen Nonce generiert
• die Nonces für inline, sowie externe Skripte verwenden kann
• den selben Nonce für alle Skripte verwendet

Es ist wichtig, dass der Server eine Art von Template verwendet, um Nonces einzufügen, und diese nicht einfach in alle <script>-Tags einfügt: Andernfalls könnte der Server versehentlich Nonces in Skripte einfügen, die von einem Angreifer injiziert wurden.

Beachten Sie, dass Nonces nur für Elemente verwendet werden können, die über ein nonce-Attribut verfügen, d. h. nur für <script>– und <style>-Elemente.

Hashes

Hashes sind ein weiterer Mechanismus, um die Integrität der geladenen JavaScript-Dateien zu gewährleisten.

Hierbei wird ein Hash auf Basis des Inhalts des Skriptes mit Hilfe einer kryptografischen Hash-Funktion berechnet (SHA-256, SHA-384 oder SHA-512). Danach wird das Resultat base64-enkodiert und dieses im CSP-Header und im integrity-Attribut aufgeführt.

Content-Security-Policy: script-src 'sha256-ex2O7MWOzfczthhKm6azheryNVoERSFrPrdvxRtP8DI=' '
sha256-H/eahVJiG1zBXPQyXX0V6oaxkfiBdmanvfG9eZWSuEc='

<script src="./main.js" integrity="sha256-H/eahVJiG1zBXPQyXX0V6oaxkfiBdmanvfG9eZWSuEc="></script>
<script>console.log("hello!");</script>

Wenn der Browser das Dokument empfängt, hasht er das Skript, vergleicht das Ergebnis mit dem Wert aus dem Header und lädt das Skript nur, wenn beide übereinstimmen.

Externe Skripte müssen ebenfalls das Attribut integrity enthalten, damit diese Methode funktioniert.

Es gibt Folgendes zu beachten:

• Es muss für jedes Skript im Dokument ein separater Hash existieren. Die Hashes werden im Header mit einem Abstand getrennt aufgelistet.
• Im Gegensatz zum Beispiel mit Nonces können sowohl die CSP als auch der Inhalt statisch sein, da die Hashes unverändert bleiben. Dadurch eignen sich hashbasierte Richtlinien besser für statische Seiten oder Websites, die auf clientseitiges Rendering setzen.

Inline JavaScript

Wenn ein CSP entweder eine default-src– oder eine script-src-Anweisung enthält, darf Inline-JavaScript nur ausgeführt werden, wenn zusätzliche Massnahmen zu seiner Aktivierung ergriffen werden.

Inline-<script>-Elemente sind zulässig, wenn sie durch einen Nonce oder einen Hash geschützt sind.

JavaScript Code innerhalb eines <script>-Elementes:

<script>
  console.log("Hello from an inline script");
</script>

JavaScript Code innerhalb eines event handler Attributes:

<img src="x" onerror="console.log('Hello from an inline event handler')" />

JavaScript innerhalb einerr javascript: URL:

<a href="javascript:console.log('Hello from a javascript: URL')"></a>

Das Schlüsselwort unsafe-inline kann verwendet werden, um diese Einschränkung zu überschreiben. Die folgende Anweisung verlangt beispielsweise, dass alle Ressourcen denselben Ursprung haben, erlaubt jedoch Inline-JavaScript. Entwickler sollten unsafe-inline vermeiden, da es einen Großteil des Zwecks von CSP zunichte macht.

❌ Content-Security-Policy: default-src 'self' 'unsafe-inline' ❌

Wenn eine Direktive Nonce- oder Hash-Ausdrücke enthält, wird das Schlüsselwort unsafe-inline von Browsern ignoriert.

Refactoring von Inline-JavaScript

Inline-JavaScript ist in einer CSP grundsätzlich nicht erlaubt. Mit Nonces oder Hashes kann ein Entwickler Inline <script>-Elemente verwenden, aber man muss dennoch den Code umgestalten, um andere unzulässige Muster zu entfernen, darunter inline event handler, javascript:-URLs und die Verwendung von eval(). Beispielsweise sollten inline event handler in der Regel durch Aufrufe von addEventListener() ersetzt werden.

Von diesem Code:

<p onclick="console.log('Hello from an inline event handler')">click me</p>

Zu diesem:

<!-- served with the following CSP:
 `script-src 'sha256-AjYfua7yQhrSlg807yyeaggxQ7rP9Lu0Odz7MZv8cL0='`
 -->
<p id="hello">click me</p>
<script>
  const hello = document.querySelector("#hello");
  hello.addEventListener("click", () => {
    console.log("Hello from an inline script");
  });
</script>

Strict CSP vs. Allowlist CSP

Um die Gefahr von XSS-Angriffen zu mitigieren, wird empfohlen, auf Nonce- oder Hash-basierte Direktiven zurückzugreifen. Dies wird als strict-CSP bezeichnet. Diese Art von CSP hat gegenüber einer location-based CSP (in der Regel als Allowlist-CSP bezeichnet) zwei wesentliche Vorteile:

• Allowlist-CSP’s sind schwer richtig einzurichten, und oft werden durch die Richtlinien versehentlich unsichere Domains auf die Whitelist gesetzt, sodass kein wirksamer Schutz vor XSS gewährleistet ist.
• Allowlist-CSP’s können sehr umfangreich und schwer zu verwalten sein, insbesondere wenn Skripte verwendet werden, die ausserhalb der eigenen Kontrolle liegen.

Die strict CSP ist schwer umzusetzen, wenn Skripte verwendet werden, die nicht unter der eigenen Kontrolle stehen. Wenn ein Skript eines Drittanbieters zusätzliche Skripte lädt oder Inline-Skripte verwendet, schlägt dies fehl, da das Skript des Drittanbieters den Nonce oder Hash nicht weitergibt.

Eine Nonce basierte strict CSP könnte in etwa so aussehen:

Content-Security-Policy:
  script-src 'nonce-{RANDOM}';
  object-src 'none';
  base-uri 'none';

In diesem Beispiel werden:

• Nonces verwendet, um zu definieren, welche JavaScript-Ressourcen geladen werden dürfen.
• alle Verwendungen des <object>-Elements unterbunden
• alle Verwendungen des <base>-Elements unterbunden

Eine Hash-basierte strict CSP verhält sich ähnlich, mit dem Unterschied, dass Hashes und keine Nonces zum Einsatz kommen:

Content-Security-Policy:
  script-src 'sha256-{HASHED_SCRIPT}';
  object-src 'none';
  base-uri 'none';

Nonce-basierte Direktiven sind einfacher zu verwalten, wenn der Inhalt dynamisch generiert werden kann. Andernfalls muss auf Hash-basierte Direktiven zurückgegriffen werden. Das Problem bei Hash-basierten Direktiven ist, dass der Hash erneut berechnet und eingefügt werden muss, wenn Änderungen am Skriptinhalt vorgenommen werden.

Die Direktive „strict-dynamic“

Sofern ein Skript mit einem Hash oder Nonce verknüpft ist, kann der Wert strict-dynamic in Direktiven angegeben werden, um dem Skript zu erlauben, weitere Skripte zu laden, welche wiederum über keine Hashes oder Nonces verfügen.

Das heisst, das Vertrauen, das ein Nonce oder Hash einem Skript entgegenbringt, wird an Skripte weitergegeben, die das ursprüngliche Skript lädt (und an Skripte, die diese wiederum laden, und so weiter).

Content-Security-Policy:
  script-src 'sha256-gEh1+8U9S1vkEuQSmmUMTZjyNSu5tIoECP4UXIEjMTk='
  strict-dynamic

Das Schlüsselwort strict-dynamic erleichtert die Erstellung und Pflege von Nonce- oder Hash-basierten CSP’s erheblich, insbesondere wenn eine Webseite Skripte von Drittanbietern verwendet. Allerdings wird diese dadurch weniger sicher.

Wenn strict-dynamic vorhanden ist, ist Host basiertes erlauben nicht möglich.

Platzhalter

Wenn nicht klar ist, woher die Dateien überall stammen, kann mit Platzhaltern gearbeitet werden.

Die folgende Direktive erlaubt nur Bilder, die denselben Ursprung wie das aktuelle Dokument haben oder von einer Subdomain von „example.org“ bereitgestellt werden oder von „example.com“ bereitgestellt werden.

Content-Security-Policy: img-src 'self' *.example.org example.com

Probelauf mit „report-only“

Um die Bereitstellung zu vereinfachen, kann die CSP im sogenannten report-only Modus bereitgestellt werden. Die Richtlinie wird nicht durchgesetzt, aber alle Verstösse werden an den in der Richtlinie angegebenen Endpunkten gesendet. Darüber hinaus kann ein reiner report-only Header verwendet werden, um eine zukünftige Überarbeitung einer Richtlinie zu testen, ohne sie tatsächlich bereitzustellen.

Man kann den HTTP-Header Content-Security-Policy-Report-Only verwenden, um die Richtlinie festzulegen. Wenn sowohl ein Content-Security-Policy-Report-Only als auch ein Content-Security-Policy Header präsent sind, werden beide Richtlinien berücksichtigt.

Wie weiter oben schon erwähnt, hat die Variante, welche ein meta Element verwendet, gewisse Einschränkungen. Eine report-only policy kann bspw. nicht über ein solches Element übertragen werden. Zudem kann es sein, dass der Browser JavaScript ausführt, bevor die CSP angewendet wird, wenn mit einem meta Element gearbeitet wird, da die Policy erst nach dem parsen des HTML in Kraft tritt.

Meldung von Verstössen

Um bei einer aktiven CSP über Richtlinienverstösse informiert zu werden, wird die Verwendung der Reporting API empfohlen. Es werden mittels Reporting-Endpoints Endpunkte definiert und diese im Content-Security-Policy Header referenziert. Die URL’s werden als komma-separierte Liste angegeben.

Um beispielsweise einen Endpunkt namens „csp-endpoint“ zu definieren, der Berichte unter „https://example.com/csp-reports“ akzeptiert, könnte der Antwortheader des Servers wie folgt aussehen:

Reporting-Endpoints: csp-endpoint="https://example.com/csp-reports"

Falls mehrere Endpunkte genutzt werden sollen, dann würde die Definition so lauten:

Reporting-Endpoints: csp-endpoint="https://example.com/csp-reports",
                     hpkp-endpoint="https://example.com/hpkp-reports"

Es gibt noch eine weitere Möglichkeit, welche die CSP-Direktive report-uri verwendet. Dabei wird eine Ziel-URL angegeben, an die die Berichte über CSP-Verstösse gesendet werden. Dadurch wird ein etwas anderes JSON-Format über eine POST-Anfrage mit dem Content-Type application/csp-report gesendet. Dieser Ansatz ist veraltet, es sollten aber beide Varianten verwendet werden, bis „report-to“ in allen Browsern unterstützt wird.

Ein angepasstes Beispiel könnte so aussehen:

Reporting-Endpoints: csp-endpoint="https://example.com/csp-reports"
Content-Security-Policy: default-src 'self'; report-to csp-endpoint

Wenn nun ein CSP-Verstoss eintritt, sendet der Browser den Bericht als JSON-Objekt and die hinterlegten Endpunkte mittels einer POST-Anfrage mit dem Content-Type application/reports+json.

Ein typisches Objekt könnte wie folgt aussehen (mit „report-to”):

{
  "age": 53531,
  "body": {
    "blockedURL": "inline",
    "columnNumber": 39,
    "disposition": "enforce",
    "documentURL": "https://example.com/csp-report",
    "effectiveDirective": "script-src-elem",
    "lineNumber": 121,
    "originalPolicy": "default-src 'self'; report-to csp-endpoint-name",
    "referrer": "https://www.google.com/",
    "sample": "console.log(\"lo\")",
    "sourceFile": "https://example.com/csp-report",
    "statusCode": 200
  },
  "type": "csp-violation",
  "url": "https://example.com/csp-report",
  "user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36"
}

Oder so (mit report-uri)

"csp-report": {
        "blocked-uri": "inline",
        "column-number": 51,
        "disposition": "report",
        "document-uri": "https://www.example.com/",
        "effective-directive": "script-src-elem",
        "line-number": 149,
        "original-policy": "default-src 'self'; script-src 'report-sample' 'self' https://*.googletagmanager.com https://*.googleapis.com https://www.youtube.com https://www.google.com https://www.gstatic.com https://www.google-analytics.com; font-src 'self' data: https://www.autoneum.com https://fonts.gstatic.com https://irs.tools.investis.com; img-src 'self' data: https://*.google-analytics.com https://*.analytics.google.com https://*.googletagmanager.com https://*.g.doubleclick.net https://*.google.com; connect-src 'self' https://*.google-analytics.com https://*.analytics.google.com https://*.googletagmanager.com https://*.g.doubleclick.net https://*.google.com; frame-src 'self' https://td.doubleclick.net https://www.googletagmanager.com https://www.google.com https://irs.tools.investis.com; report-uri https://www.example.com/wp-content/themes/grand-sunrise/csp.php",
        "referrer": "",
        "script-sample": "\n\t( function() {\n\t\tvar skipLinkTarget = \u2026",
        "source-file": "https://www.example.com/",
        "status-code": 200,
        "violated-directive": "script-src-elem"

    }

Von Interesse ist im zweiten JSON vor allem der Wert des script-sample Schlüssels. Darin sind die ersten 40 Zeichen des Inline-Skripts, event handlers oder Stils, die den Verstoss verursacht haben, ersichtlich. Verstösse, die aus externen Dateien stammen, werden nicht in den Bericht aufgenommen.

Dieser Schlüssel existiert jedoch nur, wenn in den script-src oder style-src Direktiven der Wert report-sample vorkommt.

Der Server muss so eingerichtet sein, dass er Berichte mit dem angegebenen JSON-Format und Inhaltstyp empfangen kann. Dieser kann die eingehenden Berichte dann so speichern oder verarbeiten, wie es den Anforderungen am besten entspricht.

Testen der Policy

Nebst den schon in modernen Webbrowsern eingebauten Features lassen sich im Web etliche Werkzeuge und Validatoren finden, mit deren Hilfe man eine CSP von Grund auf generieren oder auf syntaktische Korrektheit überprüfen lassen kann.

Anbei ein paar nützliche Seiten:

• https://csp-evaluator.withgoogle.com/
• https://report-uri.com/home/analyse
• https://report-uri.com/home/generate

Weitere sicherheitsrelevante HTTP-Header

Mit einer CSP ist die Arbeit aber noch nicht getan. Es gibt eine Fülle weiterer sicherheitsrelevanter HTTP-Header, mit denen eine Webseite gehärtet werden kann. Untenstehend ein kleiner Ausschnitt:

• Strict-Transport-Security: Erzwingt die Nutzung von HTTPS für eine Bestimmte Dauer.
• X-Frame-Options: Verhindert das Einbetten der Seite in ein iFrame. Die Verwendung dieses Headers wird generell nicht mehr empfohlen; stattdessen sollte die CSP-Direktive frame-ancestors bevorzugt werden.
• Referrer-Policy: Teilt dem Browser mit, welche Referrer-Informationen gesendet werden dürfen.
• Access-Control-Allow-Origin: Gibt an, welche Domains auf gewisse Ressourcen – bspw. Skripte – zugreifen dürfen.

Der Beitrag CSP – kurz & gut erschien zuerst auf MvA Internet Services.

Basis

AmazonBot|Bytespider|Bytedance|fidget-spinner-bot|EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|seocompany|LieBaoFast|SEOkicks|Uptimebot|Cliqzbot|ssearch_bot|domaincrawler|spot|DigExt|Sogou|MegaIndex\.ru|majestic12|80legs|SISTRIX|HTTrack|Semrush|MJ12|Ezooms|CCBot|TalkTalk|BLEXBot|Atomic_Email_Hunter/4\.0|atSpider/1\.0|autoemailspider|bwh3_user_agent|China Local Browse 2\.6|ContactBot/0\.2|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrowse 1\.4d|Demo Bot DOT 16b|Demo Bot Z 16b|DSurf15a 01|DSurf15a 71|DSurf15a 81|DSurf15a VA|EBrowse 1\.4b|Educate Search VxB|EmailSiphon|EmailSpider|EmailWolf 1\.00|ESurf15a 15|ExtractorPro|Franklin Locator 1\.8|FSurf15a 01|Full Web Bot 0416B|Full Web Bot 0516B|Full Web Bot 2816B|Guestbook Auto Submitter|Industry Program 1\.0\.x|ISC Systems iRc Search 2\.1|IUPUI Research Bot v 1\.9a|LARBIN-EXPERIMENTAL \(efp@gmx\.net\)|LetsCrawl\.com/1\.0 \+http\://letscrawl\.com/|Lincoln State Web Browser|LMQueueBot/0\.2|LWP\:\:Simple/5\.803|Mac Finder 1\.0\.xx|MFC Foundation Class Library 4\.0|Microsoft URL Control - 6\.00\.8xxx|Missauga Locate 1\.0\.0|Missigua Locator 1\.9|Missouri College Browse|Mizzu Labs 2\.2|Mo College 1\.9|MVAClient|Mozilla/2\.0 \(compatible; NEWT ActiveX; Win32\)|Mozilla/3\.0 \(compatible; Indy Library\)|Mozilla/3\.0 \(compatible; scan4mail \(advanced version\) http\://www\.peterspages\.net/?scan4mail\)|Mozilla/4\.0 \(compatible; Advanced Email Extractor v2\.xx\)|Mozilla/4\.0 \(compatible; Iplexx Spider/1\.0 http\://www\.iplexx\.at\)|Mozilla/4\.0 \(compatible; MSIE 5\.0; Windows NT; DigExt; DTS Agent|Mozilla/4\.0 efp@gmx\.net|Mozilla/5\.0 \(Version\: xxxx Type\:xx\)|NameOfAgent \(CMS Spider\)|NASA Search 1\.0|Nsauditor/1\.x|PBrowse 1\.4b|PEval 1\.4b|Poirot|Port Huron Labs|Production Bot 0116B|Production Bot 2016B|Production Bot DOT 3016B|Program Shareware 1\.0\.2|PSurf15a 11|PSurf15a 51|PSurf15a VA|psycheclone|RSurf15a 41|RSurf15a 51|RSurf15a 81|searchbot admin@google\.com|ShablastBot 1\.0|snap\.com beta crawler v0|Snapbot/1\.0|Snapbot/1\.0 \(Snap Shots, \+http\://www\.snap\.com\)|sogou develop spider|Sogou Orion spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sogou spider|Sogou web spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sohu agent|SSurf15a 11 |TSurf15a 11|Under the Rainbow 2\.2|User-Agent\: Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1\)|VadixBot|WebVulnCrawl\.unknown/1\.0 libwww-perl/5\.803|Wells Search II|WEP Search 00

Erweitert

EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|(?:Mozilla/\d+\.\d+ )?Jorgee|ClaudeBot|Barkrowler|thesis-research-bot|Not-A.Brand/99|1Noonbot|1on1searchBot|3D_SEARCH|3DE_SEARCH2|3GSE|50.nu|192.comAgent|360Spider|A6-Indexer|AASP|ABACHOBot|Abonti|abot|AbotEmailSearch|Aboundex|AboutUsBot|AccMonitor\ Compliance|accoona|AChulkov.NET\ page\ walker|Acme.Spider|AcoonBot|acquia-crawler|ActiveTouristBot|Acunetix|Ad\ Muncher|AdamM|adbeat_bot|adminshop.com|Advanced\ Email|AESOP_com_SpiderMan|AESpider|AF\ Knowledge\ Now\ Verity|aggregator:Vocus|ah-ha.com|AIBOT|aiHitBot|aipbot|AISIID|AITCSRobot|AlexfDownload|Alexibot|AlkalineBOT|All\ Acronyms|Amfibibot|AmPmPPC.com|AMZNKAssocBot|Anemone|Anonymous|Anonymouse.org|AnotherBot|AnswerBot|AnswerBus|AnswerChase\ PROve|AntBot|antibot-|AntiSantyWorm|Antro.Net|AONDE-Spider|Aport|Aqua_Products|AraBot|Arachmo|Arachnophilia|aria\ eQualizer|aria2|arianna.libero.it|Arikus_Spider|Art-Online.com|ArtavisBot|Artera|ASpider|ASPSeek|asterias|AstroFind|athenusbot|AtlocalBot|Atomic_Email_Hunter|attach|attrakt|attributor|Attributor.comBot|augurfind|AURESYS|AutoBaron|autoemailspider|autowebdir|AVSearch-|axfeedsbot|Axonize-bot|Ayna|b2w|BackDoorBot|BackRub|BackStreet\ Browser|BackWeb|Baiduspider-video|Bandit|BatchFTP|baypup|BDFetch|BecomeBot|BecomeJPBot|BeetleBot|Bender|besserscheitern-crawl|betaBot|Big\ Brother|Big\ Data|Bigado.com|BigCliqueBot|Bigfoot|BIGLOTRON|Bilbo|BilgiBetaBot|BilgiBot|binlar|bintellibot|bitlybot|BitvoUserAgent|bixocrawler|Bizbot003|BizBot04|BizBot04\ kirk.overleaf.com|Black.Hole|Black\ Hole|Blackbird|BlackWidow|bladder\ fusion|Blaiz-Bee|BLEXBot|Blinkx|BlitzBOT|Blog\ Conversation\ Project|BlogMyWay|BlogPulseLive|BlogRefsBot|BlogScope|Blogslive|BloobyBot|BlowFish|BLT|bnf.fr_bot|BoaConstrictor|BoardReader-Image-Fetcher|BOI_crawl_00|BOIA-Scan-Agent|BOIA.ORG-Scan-Agent|boitho.com-dc|Bookmark\ Buddy|bosug|Bot\ Apoena|BotALot|BotRightHere|Botswana|bottybot|BpBot|BRAINTIME_SEARCH|BrowserEmulator|BrowserMob|BruinBot|BSearchR&D|BSpider|btbot|Btsearch|Buddy|Buibui|BuildCMS|BuiltBotTough|Bullseye|bumblebee|BunnySlippers|BuscadorClarin|Butterfly|BuyHawaiiBot|BuzzBot|byindia|BySpider|byteserver|bzBot|c\ r\ a\ w\ l\ 3\ r|CacheBlaster|CACTVS\ Chemistry|Caddbot|Cafi|Camcrawler|CamelStampede|Canon-WebRecord|Canon-WebRecordPro|CareerBot|casper|cataguru|CatchBot|CazoodleBot|CCBot|CCGCrawl|ccubee|CD-Preload|CE-Preload|Cegbfeieh|Cerberian\ Drtrs|CERT\ FigleafBot|cfetch|Chameleon|ChangeDetection|Charlotte|Check&Get|Checkbot|Checklinks|checkprivacy|CheeseBot|ChemieDE-NodeBot|CherryPicker|CherryPickerElite|CherryPickerSE|Chilkat|ChinaClaw|CipinetBot|cis455crawler|citeseerxbot|cizilla.com|ClariaBot|clshttp|Clushbot|cmsworldmap|coccoc|CollapsarWEB|Collector|combine|conceptbot|ConnectSearch|conpilot|ContentSmartz|ContextAd|contype|cookieNET|CoolBot†|CoolCheck|Copernic|Copier|CopyRightCheck|core-project|cosmos|Covario-IDS|Cowbot-|Cowdog|crabbyBot|crawl|Crawl_Application|crawl.UserAgent|CrawlConvera|crawler|crawler_for_infomine|CRAWLER-ALTSE.VUNET.ORG-Lynx|crawler-upgrade-config|crawler.kpricorn.org|crawler@|crawler4j|crawler43.ejupiter.com|Crawly|CreativeCommons|Crescent|Crescent\ Internet\ ToolPak\ HTTP\ OLE\ Control|cs-crawler|CSHttpClient|Cuasarbot|culsearch|Custo|Cutbot|cvaulev|Cyberdog|CyberNavi_WebGet|CyberSpyder|CydralSpider|D1GArabicEngine|DataCha0s|DataFountains|DataparkSearch|DataSpearSpiderBot|DataSpider|Dattatec.com|Dattatec.com-Sitios-Top|Daumoa|DAUMOA-video|DAUMOA-web|Declumbot|Deepindex|deepnet|DeepTrawl|dejan|del.icio.us-thumbnails|DelvuBot|Deweb|DiaGem|Diamond|DiamondBot|diavol|DiBot|didaxusbot|DigExt|Digger|DiGi-RSSBot|DigitalArchivesBot|DigOut4U|DIIbot|Dillo|Dir_Snatch.exe|DISCo|DISCo\ Pump|discobot|DISCoFinder|Distilled-Reputation-Monitor|Dit|DittoSpyder|DjangoTraineeBot|DKIMRepBot|DoCoMo|DOF-Verify|domaincrawler|DomainScan|DomainWatcher|dotbot|DotSpotsBot|Dow\ Jonesbot|Download\ Demon|Downloader|DOY|dragonfly|Drip|drone|DTAAgent|dtSearchSpider|dumbot|Dwaar|Dwaarbot|DXSeeker|EAH|EasouSpider|EasyDL|ebingbong|EC2LinkFinder|eCairn-Grabber|eCatch|eChooseBot|ecxi|EdisterBot|EduGovSearch|egothor|eidetica.com|EirGrabber|ElisaBot|EllerdaleBot|EMail\ Exractor|EmailCollector|EmailLeach|EmailSiphon|EmailWolf|EMPAS_ROBOT|EnaBot|endeca|EnigmaBot|Enswer\ Neuro|EntityCubeBot|EroCrawler|eStyleSearch|eSyndiCat|Eurosoft-Bot|Evaal|Eventware|Everest-Vulcan|Exabot|Exabot-Images|Exabot-Test|Exabot-XXX|ExaBotTest|ExactSearch|exactseek.com|exooba|Exploder|explorersearch|extract|Extractor|ExtractorPro|EyeNetIE|ez-robot|Ezooms|factbot|FairAd\ Client|falcon|Falconsbot|fast-search-engine|FAST\ Data\ Document|FAST\ ESP|fastbot|fastbot.de|FatBot|Favcollector|Faviconizer|FDM|FedContractorBot|feedfinder|FelixIDE|fembot|fetch_ici|fgcrawler|FHscan|fido|Filangy|FileHound|FindAnISP.com_ISP_Finder|findlinks|FindWeb|Firebat|Fish-Search-Robot|Flaming\ AttackBot|Flamingo_SearchEngine|FlashCapture|FlashGet|flicky|FlickySearchBot|flunky|focused_crawler|FollowSite|Foobot|Fooooo_Web_Video_Crawl|Fopper|FormulaFinderBot|Forschungsportal|fr_crawler|Francis|Freecrawl|FreshDownload|freshlinks.exe|FriendFeedBot|frodo.at|froGgle|FrontPage|Froola|FU-NBI|full_breadth_crawler|FunnelBack|FunWebProducts|FurlBot|g00g1e|G10-Bot|Gaisbot|GalaxyBot|gazz|gcreep|generate_infomine_category_classifiers|genevabot|genieBot|GenieBotRD_SmallCrawl|Genieo|Geomaxenginebot|geometabot|GeonaBot|GeoVisu|GermCrawler|GetHTMLContents|Getleft|GetRight|GetSmart|GetURL.rexx|GetWeb!|Giant|GigablastOpenSource|Gigabot|Girafabot|GleameBot|gnome-vfs|Go-Ahead-Got-It|Go!Zilla|GoForIt.com|GOFORITBOT|gold|Golem|GoodJelly|Gordon-College-Google-Mini|goroam|GoSeebot|gotit|Govbot|GPU\ p2p|grab|Grabber|GrabNet|Grafula|grapeFX|grapeshot|GrapeshotCrawler|grbot|GreenYogi\ [ZSEBOT]|Gromit|GroupMe|GroupHigh|grub|grub-client|Grubclient-|GrubNG|GruBot|GSLFbot|GT::WWW|Gulliver|GulperBot|GurujiBot|GVC|GVC\ BUSINESS|gvcbot.com|HappyFunBot|harvest|HarvestMan|Hatena\ Antenna|Hawler|Hazel's\ Ferret\ hopper|hcat|hclsreport-crawler|HD\ nutch\ agent|Header_Test_Client|healia|Helix|hijbul-heritrix-crawler|HiScan|HiSoftware\ AccMonitor|HiSoftware\ AccVerify|hitcrawler_|hivaBot|hloader|HMSEbot|HMView|hoge|holmes|HomePageSearch|Hooblybot-Image|HooWWWer|Hostcrawler|HSFT\ -\ Link|HSFT\ -\ LVU|HSlide|ht:|htdig|HTMLParser|HTTP::Lite|httplib|HTTrack|Huaweisymantecspider|hul-wax|humanlinks|HyperEstraier|Hyperix|ia_archiver|IAArchiver-|ibuena|iCab|ICDS-Ingestion|ichiro|iCopyright\ Conductor|id-search|IDBot|IEAutoDiscovery|IECheck|iHWebChecker|IIITBOT|iim_405|IlseBot|IlTrovatore|Iltrovatore-Setaccio|ImageBot|imagefortress|ImagesHereImagesThereImagesEverywhere|ImageVisu|imds_monitor|imo-google-robot-intelink|IncyWincy|Industry\ Cortexcrawler|indylabs_marius|InelaBot|Inet32\ Ctrl|inetbot|InfoLink|INFOMINE|infomine.ucr.edu|InfoNaviRobot|Informant|Infoseek|InfoTekies|InfoUSABot|INGRID|Inktomi|InsightsCollector|InsightsWorksBot|InspireBot|InsumaScout|Intelix|InterGET|Internet\ Ninja|InternetLinkAgent|Interseek|IOI|ip-web-crawler.com|IPAdd|Ipselonbot|Iria|IRLbot|Iron33|Isara|iSearch|iSiloX|IsraeliSearch|IstellaBot|its-learning|IU_CSCI_B659_class_crawler|iVia|iVia\ Page\ Fetcher|JadynAve|JadynAveBot|jakarta|Jbot|JemmaTheTourist|JennyBot|Jetbot|JetCar|Jim|JoBo|JobSpider_BA|JOC|JoeDog|JoyScapeBot|JSpyda|JubiiRobot|jumpstation|Junut|JustView|Jyxobot|K.S.Bot|KakcleBot|kalooga|KaloogaBot|kanagawa|KATATUDO-Spider|Katipo|kbeta1|Kenjin.Spider|KeywenBot|Keyword.Density|Keyword\ Density|kinjabot|KIT-Fireball|Kitenga-crawler-bot|KiwiStatus|kmbot-|kmccrew|Knight|KnowItAll|Knowledge.com|Knowledge\ Engine|KoepaBot|Koninklijke|KrOWLer|KSbot|kuloko-bot|kulturarw3|KummHttp|Kurzor|Kyluka|L.webis|LabelGrab|Labhoo|labourunions411|lachesis|Lament|LamerExterminator|LapozzBot|larbin|LARBIN-EXPERIMENTAL|LBot|LBBROWSER|LeapTag|LeechFTP|LeechGet|LetsCrawl.com|LexiBot|LexxeBot|lftp|libcrawl|libiViaCore|libWeb|likse|LinkAlarm|linkbot|LinkCheck\ by\ Siteimprove.com|linkdexbot|linkdex.com|LinkextractorPro|LinkLint|linklooker|Linkman|LinkScan|LinksCrawler|LinksManager.com_bot|LinkSweeper|linkwalker|LiteFinder|LitlrBot|Little\ Grabber\ at\ Skanktale.com|Livelapbot|LM\ Harvester|LMQueueBot|LNSpiderguy|LoadTimeBot|LocalcomBot|locust|LolongBot|LookBot|Lsearch|lssbot|LWP|lwp-request|lwp-trivial|LWP::Simple|Lycos_Spider|Lydia\ Entity|LynnBot|Lytranslate|Mag-Net|Magnet|magpie-crawler|Magus|Mail.Ru|Mail.Ru_Bot|MAINSEEK_BOT|Mammoth|MarkWatch|MaSagool|masidani_bot_|Mass|Mata.Hari|Mata\ Hari|matentzn\ at\ cs\ dot\ man\ dot\ ac\ dot\ uk|maxamine.com--robot|maxamine.com-robot|maxomobot|Maxthon$|McBot|MediaFox|medrabbit|Megite|MemacBot|Memo|MendeleyBot|Mercator-|mercuryboard_user_agent_sql_injection.nasl|MerzScope|metacarta|Metager2|metager2-verification-bot|MetaGloss|METAGOPHER|metal|metaquerier.cs.uiuc.edu|Metaspinner|MetaURI|MetaURI\ API|MFC_Tear_Sample|MFcrawler|MFHttpScan|Microsoft.URL|MIIxpc|miner|mini-robot|minibot|miniRank|Mirror|Missigua\ Locator|Mister.PiX|Mister\ PiX|Miva|MJ12bot|mnoGoSearch|mod_accessibility|moduna.com|moget|MojeekBot|MOMspider|MonkeyCrawl|MOSES|Motor|mowserbot|MQbot|MSE360|MSFrontPage|MSIECrawler|MSIndianWebcrawl|MSMOBOT|msnbot-products|MSNPTC|MSRBOT|MT-Soft|MultiText|My_Little_SearchEngine_Project|my-heritrix-crawler|MyApp|MYCOMPANYBOT|mycrawler|MyEngines-US-Bot|MyFamilyBot|Myra|nabot|nabot_|Najdi.si|Nambu|NAMEPROTECT|NatchCVS|naver|naverbookmarkcrawler|NaverBot|Navroad|NearSite|NEC-MeshExplorer|NeoScioCrawler|NerdByNature.Bot|NerdyBot|Nerima-crawl-|nestReader|Net::Trackback|NetAnts|NetCarta\ CyberPilot\ Pro|Netcraft|NetID.com|NetMechanic|Netprospector|NetResearchServer|NetScoop|NetSeer|NetShift=|NetSongBot|Netsparker|NetSpider|NetSrcherP|NetZip|NetZip-Downloader|NewMedhunt|news|News_Search_App|NewsGatherer|Newsgroupreporter|NewsTroveBot|NextGenSearchBot|nextthing.org|NHSEWalker|nicebot|NICErsPRO|niki-bot|NimbleCrawler|nimbus-1|ninetowns|Ninja|NjuiceBot|NLese|Nogate|Nomad-V2.x|NoteworthyBot|NPbot|NPBot-|NRCan\ intranet|NSDL_Search_Bot|nu_tch-princeton|nuggetize.com|nutch|nutch1|NutchCVS|NutchOrg|NWSpider|Nymesis|nys-crawler|ObjectsSearch|oBot|Obvius\ external\ linkcheck|Occam|Ocelli|Octopus|ODP\ entries|Offline.Explorer|Offline\ Explorer|Offline\ Navigator|OGspider|OmiExplorer_Bot|OmniExplorer_Bot|omnifind|OmniWeb|OnetSzukaj|online\ link\ validator|OOZBOT|Openbot|Openfind|Openfind\ data|OpenHoseBot|OpenIntelligenceData|OpenISearch|OpenSearchServer_Bot|OpiDig|optidiscover|OrangeBot|ORISBot|ornl_crawler_1|ORNL_Mercury|osis-project.jp|OutfoxBot|OutfoxMelonBot|OWLER-BOT|Owlin|owsBot|ozelot|P3P\ Client|page_verifier|PageBitesHyperBot|Pagebull|PageDown|PageFetcher|PageGrabber|PagePeeker|PageRank\ Monitor|pamsnbot.htm|Panopy|panscient.com|Pansophica|Papa\ Foto|PaperLiBot|parasite|parsijoo|Pathtraq|Pattern|Patwebbot|pavuk|PaxleFramework|PBBOT|pcBrowser|pd-crawler|Pcore-HTTP|penthesila|PeoplePal|perform_crawl|PerMan|PGP-KA|PHPCrawl|PhpDig|PicoSearch|pipBot|pipeLiner|Pita|pixfinder|PiyushBot|planetwork|PleaseCrawl|Plucker|Plukkie|Plumtree|Pockey|Pockey-GetHTML|PoCoHTTP|pogodak.ba|Pogodak.co.yu|Poirot|polybot|Pompos|Poodle\ predictor|PopScreenBot|PostPost|PrivacyFinder|ProjectWF-java-test-crawler|ProPowerBot|ProWebWalker|psbot|psbot-page|PSS-Bot|psycheclone|pub-crawler|pucl|pulseBot\ \(pulse|Pump|purebot|PWeBot|pycurl|Python-urllib|pythonic-crawler|PythonWikipediaBot|q1|QEAVis\ agent|QFKBot|qualidade|Qualidator.com|QuepasaCreep|QueryN.Metasearch|QueryN\ Metasearch|quest.durato|Quintura-Crw|QunarBot|Qweery_robot.txt_CheckBot|QweeryBot|r2iBot|R6_CommentReader|R6_FeedFetcher|R6_VoteReader|RaBot|Radian6|radian6_linkcheck|RAMPyBot|RankurBot|RcStartBot|RealDownload|Reaper|REBI-shoveler|Recorder|RedBot|RedCarpet|ReGet|RepoMonkey|RepoMonkey\ Bait|Riddler|RIIGHTBOT|RiseNetBot|RiverglassScanner|RoboPal|Robosourcer|robotek|Robozilla|rogerBot|Rome\ Client|Rondello|Rotondo|Roverbot|RPT-HTTPClient|rtgibot|RufusBot|Runnk\ online\ rss\ reader|SafetyNet|s~stremor-crawler|S2Bot|SafariBookmarkChecker|SaladSpoon|Sapienti|SBIder|SBL-BOT|SCFCrawler|Scich|ScientificCommons.org|ScollSpider|ScooperBot|Scooter|ScoutJet|ScrapeBox|Scrapy|SCrawlTest|Scrubby|scSpider|Scumbot|SeaMonkey$|Search-Channel|Search-Engine-Studio|search.KumKie.com|search.updated.com|search.usgs.gov|Search\ Publisher|Searcharoo.NET|SearchBlox|searchbot|searchengine|searchhippo.com|SearchIt-Bot|searchmarking|searchmarks|searchmee_v|SearchmetricsBot|searchmining|SearchnowBot_v1|searchpreview|SearchSpider.com|SearQuBot|Seekbot|Seeker.lookseek.com|SeeqBot|seeqpod-vertical-crawler|Selflinkchecker|Semager|semanticdiscovery|Semantifire1|semisearch|Senrigan|SEOENGWorldBot|ShablastBot|ShadowWebAnalyzer|Shareaza|Shelob|sherlock|ShopWiki|ShowLinks|ShowyouBot|siclab|silk|Siphon|SiteArchive|SiteCheck-sitecrawl|sitecheck.internetseer.com|SiteFinder|SiteGuardBot|SiteOrbiter|SiteSnagger|SiteSucker|SiteSweeper|SiteXpert|SkimBot|SkimWordsBot|SkreemRBot|skygrid|Skywalker|Sleipnir|slow-crawler|SlySearch|smart-crawler|SmartDownload|Smarte|smartwit.com|Snake|Snapbot|SnapPreviewBot|Snappy|snookit|Snooper|Snoopy|SocialSearcher|SocSciBot|SOFT411\ Directory|sogou|sohu-search|sohu\ agent|Sokitomi|Solbot|sootle|Sosospider|Space\ Bison|Space\ Fung|SpaceBison|SpankBot|spanner|Spatineo\ Monitor\ Controller|special_archiver|SpeedySpider|Sphider|Sphider2|spider|Spider.TerraNautic.net|SpiderEngine|SpiderKU|SpiderMan|Spinn3r|Spinne|sportcrew-Bot|spyder3.microsys.com|sqlmap|Squid-Prefetch|SquidClamAV_Redirector|Sqworm|SrevBot|sslbot|SSM\ Agent|StackRambler|StarDownloader|statbot|statcrawler|statedept-crawler|Steeler|STEGMANN-Bot|stero|Stripper|Stumbler|suchclip|sucker|SumeetBot|SumitBot|SummizeBot|SummizeFeedReader|SuperBot|superbot.com|SuperHTTP|SuperLumin|SuperPagesBot|Supybot|SURF|Surfbot|SurfControl|SurveyBot|suzuran|SWEBot|swish-e|SygolBot|SynapticWalker|Syntryx\ ANT\ Scout\ Chassis\ Pheromone|SystemSearch-robot|Szukacz|T-H-U-N-D-E-R-S-T-O-N-E|Tailrank|tAkeOut|TAMU_CRAWLER|TapuzBot|Tarantula|targetblaster.com|TargetYourNews.com|TAUSDataBot|taxinomiabot|Tecomi|TeezirBot|Teleport|Teleport\ Pro|TeleportPro|Telesoft|Teradex\ Mapper|TERAGRAM_CRAWLER|TerrawizBot|testbot|testing\ of|TextBot|thatrobotsite.com|The.Intraformant|The\ Dyslexalizer|The\ Intraformant|TheNomad|Theophrastus|theusefulbot|TheUsefulbot_|ThumbBot|thumbshots-de-bot|tigerbot|TightTwatBot|TinEye|Titan|to-dress_ru_bot_|to-night-Bot|toCrawl|Topicalizer|topicblogs|Toplistbot|TopServer\ PHP|topyx-crawler|Touche|TourlentaScanner|TPSystem|TRAAZI|TranSGeniKBot|travel-search|TravelBot|TravelLazerBot|Treezy|TREX|TridentSpider|Trovator|True_Robot|tScholarsBot|TsWebBot|TulipChain|turingos|turnit|TurnitinBot|TutorGigBot|TweetedTimes|TweetmemeBot|TwengaBot|TwengaBot-Discover|Twiceler|Twikle|twinuffbot|Twisted\ PageGetter|Twitturls|Twitturly|TygoBot|TygoProwler|Typhoeus|U.S.\ Government\ Printing\ Office|uberbot|ucb-nutch|UCSD-Crawler|UdmSearch|UFAM-crawler-|Ultraseek|UnChaos|unchaos_crawler_|UnisterBot|UniversalSearch|UnwindFetchor|UofTDB_experiment|URI::Fetch|url_gather|URL-Checker|URL\ Control|URLAppendBot|URLBlaze|urlchecker|urlck|UrlDispatcher|urllib|URLSpiderPro|URLy.Warning|USAF\ AFKN\|usasearch|USS-Cosmix|USyd-NLP-Spider|Vacobot|Vacuum|VadixBot|Vagabondo|Validator|Valkyrie|vBSEO|VCI|Vegi\ bot|VerbstarBot|VeriCiteCrawler|Verifactrola|Verity-URL-Gateway|vermut|versus|versus.integis.ch|viasarchivinginformation.html|vikspider|VIP|VIPr|virus-detector|VisBot|Vishal\ For\ CLIA|VisWeb|vlad|vlsearch|VMBot|VocusBot|VoidEYE|VoilaBot|Vortex|voyager|voyager-hc|voyager-partner-deep|VSE|vspider|W3C_Unicorn|W3C-WebCon|w3m|w3search|wacbot|wastrix|WatzBot|wauuu\ engine|Wavefire|Waypath|Wazzup|Wazzup1.0.4800|wbdbot|web-agent|Web-Sniffer|Web.Image.Collector|Web\ Magnet|webalta|WebaltBot|WebAuto|webbandit|webbot|webbul-bot|WebCapture|webcheck|Webclipping.com|webcollage|WebCopier|WebCopy|WebCorp|webcrawl.net|webcrawler|WebDownloader\ for|Webdup|WebEMailExtrac|WebEMailExtrac.*|WebEnhancer|WebFerret|webfetch|WebFetcher|WebGather|WebGo\ IS|webGobbler|WebImages|Webinator-search2.fasthealth.com|Webinator-WBI|WebIndex|WebIndexer|weblayers|WebLeacher|WeblexBot|WebLinker|webLyzard|WebmasterCoffee|WebmasterWorld|WebmasterWorldForumBot|WebMiner|WebMoose|WeBot|WebPix|WebReaper|WebRipper|WebSauger|Webscan|websearchbench|WebSite|websitemirror|WebSpear|websphinx.test|WebSpider|Webster|Webster.Pro|Webster\ Pro|WebStripper|WebTrafficExpress|WebTrends\ Link\ Analyzer|webvac|webwalk|WebWalker|Webwasher|WebWatch|WebWhacker|WebXM|WebZip|Weddings.info|wenbin|WEPA|WeRelateBot|Whacker|whisper|Widow|WikiaBot|Wikio|wikiwix-bot-|WinHTTP\ Example|WIRE|wired-digital-newsbot|WISEbot|WISENutbot|wish-la|wish-project|wisponbot|WMCAI-robot|wminer|WMSBot|woriobot|worldshop|WorQmada|Wotbox|wume_crawler|WWW-Mechanize|www.freeloader.com.|WWW\ Collector|WWWOFFLE|wwwrobot|wwwster|WWWWanderer|wwwxref|Wysigot|X-clawler|Xaldon|Xenu|Xenu's|Xerka\ MetaBot|XGET|xirq|XmarksFetch|xqrobot|Y!J|Y!TunnelPro|yacy.net|yacybot|yarienavoir.net|Yasaklibot|yBot|YebolBot|yellowJacket|yes|YesupBot|Yeti|YioopBot|YisouSpider|yolinkBot|yoogliFetchAgent|yoono|Yoriwa|YottaCars_Bot|you-dir|Z-Add\ Link|zagrebin|Zao|zedzo.digest|zedzo.validate|zermelo|Zeus|Zeus\ Link\ Scout|zibber-v|zimeno|Zing-BottaBot|ZipppBot|zmeu|ZoomSpider|ZuiBot|ZumBot|Zyborg|Zyte

Erweitert – v2

almaden|Anarchie|ASPSeek|attach|autoemailspider|BackWeb|Bandit|BatchFTP|BlackWidow|Bot\ mailto:craftbot@yahoo.com|Buddy|bumblebee|CherryPicker|ChinaClaw|CICC|Collector|Copier|Crescent|Custo|DA|DIIbot|DISCo|DISCo\ Pump|Download\ Demon|Download\ Wonder|Downloader|Drip|DSurf15a|eCatch|EasyDL/2.99|EirGrabber|EmailCollector|EmailSiphon|EmailWolf|Express\ WebPictures|ExtractorPro|EyeNetIE|FileHound|FlashGet|GetRight|GetSmart|GetWeb!|gigabaz|Go\!Zilla|Go!Zilla|Go-Ahead-Got-It|gotit|Grabber|GrabNet|Grafula|grub-client|HMView|HTTrack|httpdown|ia_archiver|Image\ Stripper|Image\ Sucker|Indy*Library|Indy\ Library|InterGET|InternetLinkagent|Internet\ Ninja|InternetSeer.com|Iria|JBH*agent|JetCar|JOC\ Web\ Spider|JustView|larbin|LeechFTP|LexiBot|lftp|Link*Sleuth|likse|Link|LinkWalker|Mag-Net|Magnet|Mass\ Downloader|Memo|Microsoft.URL|MIDown\ tool|Mirror|Mister\ PiX|Mozilla.*Indy|Mozilla.*NEWT|Mozilla*MSIECrawler|MS\ FrontPage*|MSFrontPage|MSIECrawler|MSProxy|Navroad|NearSite|NetAnts|NetMechanic|NetSpider|Net\ Vampire|NetZIP|NICErsPRO|Ninja|Octopus|Offline\ Explorer|Offline\ Navigator|Openfind|PageGrabber|Papa\ Foto|pavuk|pcBrowser|Ping|PingALink|Pockey|psbot|Pump|QRVA|RealDownload|Reaper|Recorder|ReGet|Scooter|Seeker|Siphon|sitecheck.internetseer.com|SiteSnagger|SlySearch|SmartDownload|Snake|SpaceBison|sproose|Stripper|Sucker|SuperBot|SuperHTTP|Surfbot|Szukacz|tAkeOut|Teleport\ Pro|URLSpiderPro|Vacuum|VoidEYE|Web\ Image\ Collector|Web\ Sucker|WebAuto|[Ww]eb[Bb]andit|webcollage|WebCopier|Web\ Downloader|WebEMailExtrac.*|WebFetch|WebGo\ IS|WebHook|WebLeacher|WebMiner|WebMirror|WebReaper|WebSauger|Website|Website\ eXtractor|Website\ Quester|Webster|WebStripper|WebWhacker|WebZIP|Wget|Whacker|Widow|WWWOFFLE|x-Tractor|Xaldon\ WebSpider|Zeus.*Webster

Der Beitrag fail2ban – apache-badbots erschien zuerst auf MvA Internet Services.

Mittels Suche Verzeichnisdienste ausführen.

Entsperren (mit Admin-Passwort).

LDAPv3 anwählen und danach den Editier-Knopf (Bleistift)

Optionen einblenden. Danach vorhandene Einträge löschen (wenn die Liste nicht leer ist!).

Danach Neu … wählen.

Angaben ergänzen und danach Fortfahren. Mit Admin-Passwort bestätigen.

• directory.truepartners.private

Bearbeiten … anwählen.

Danach Suche & Pfade anwählen.

Beim Menupunkt Zugriff auf diesen LDAPv3-Server über: die Einstellung OpenDirectory auswählen.

Suchbereich-Suffix ergänzen mit:

• dc=directory,dc=truepartners,dc=private

In der Liste Datensatztypen- und Attribute zu Users navigieren und aufklappen.

Danach zu dem Eintrag NFSHomeDirectory navigieren und anwählen.

Das Attribut homeDirectory doppelklicken.

Das Attribut ändern in:

• #/Users/$uid$

Zweimal mit OK bestätigen und das Admin-Passwort eingeben.

Im Editor prüfen.

Der Beitrag macOS mit LDAP verbinden erschien zuerst auf MvA Internet Services.

Download & Installation

Der Download des Installers (Windows 64-bit MSI installer) geschieht unter openvpn.net – OpenVPN Community Software, beziehungsweise den Community Downloads. Nach dem Laden kann das Setup ausgeführt werden. Nachfolgend erklären wir die wichtigsten Punkte des Setups.

Unter Customize wählen wir das OpenVPN GUI nicht aus, dafür den OpenVPN Service und auch die EasyRSA 3 Certificate Management Scripts. Danach kann OpenVPN installiert werden.

Vorbereitungen

Für eine funktionierende Server- und Client-Umgebung benötigen wir eine Anzahl Zertifikate, welche wir mittels diesen Schritten im folgenden Artikel erstellen:

• OpenVPN Easy-RSA3 Zertifikate erstellen (OpenVPN Version 2.5)

Danach sollten wir die notwendigen Zertifikate bereitgestellt haben.

Konfiguration Server

OpenVPN ist in unserem Beispiel unter C:\Program Files\OpenVPN\ installiert. Auf die zuvor erstellten Server-Zertifikate und Keys greifen wir direkt zu (C:\easy-rsa). Diese Zertifikate und Keys können natürlich auch an einem anderen Ort im System abgelegt werden.

Unser server.ovpn für eine Roadwarrior-Konfiguration sieht in etwa folgendermassen aus (ein Backslash muss jeweils mit einem weiterem Backslash escaped werden) – das Configfile legen wir unter C:\Program Files\OpenVPN\config-auto ab.

Achtung: Konfigurationen im Verzeichnis config-auto werden vom OpenVPN-Windows-Dienst automatisch geladen. Konfigurationen im Verzeichnis config hingegen nicht.

server.ovpn

#################################################
# OpenVPN (MvA-Networks Conf)
# VPN Server Configuration
#
# Copyright 2006-2021 (01.07.2021) www.mva.ch
# MvA Internet Services GmbH
#################################################
local 192.168.1.100
port 1194
proto udp
dev tun

#----------------------------------------------
#Zertifikate
#----------------------------------------------
dh "C:\\easy-rsa\\pki\\dh.pem"
ca "C:\\easy-rsa\\pki\\ca.crt"
cert "C:\\easy-rsa\\pki\\issued\\Server.crt"
key "C:\\easy-rsa\\pki\\private\\Server.key"

#----------------------------------------------
#Server-Setup
#----------------------------------------------
server 10.19.15.0 255.255.255.0
ifconfig-pool-persist "C:\\Program Files\\OpenVPN\\ipp.txt"
client-to-client

#----------------------------------------------
#Client-Settings (inkl Special Dir) Files - OPTIONAL
#----------------------------------------------
#client-config-dir "C:\\Program Files\\OpenVPN\\ccd" 
#push "route 192.168.1.0 255.255.255.0"
push "dhcp-option DNS 192.168.1.10"
push "dhcp-option DOMAIN meinedomain.meinefirma.local"

#----------------------------------------------
#Defaults
#----------------------------------------------
keepalive 10 120
persist-key
persist-tun
allow-compression yes
cipher AES-256-GCM
data-ciphers-fallback AES-256-CBC

#----------------------------------------------
# Logging
# ----------------------------------------------
status "C:\\Program Files\\OpenVPN\\log\\openvpn-status.log"
log "C:\\Program Files\\OpenVPN\\log\\openvpn.log"
log-append "C:\\Program Files\\OpenVPN\\log\\openvpn.log"
verb 3

Im obigen Fall gehen wir davon aus,

• dass der Server in einem internen LAN: 192.168.1.0/24 steht und der Client auf alle Hosts in dem Lan Zugriff haben wird (als Bridge).
• dass der Server selbst die interne IP-Adresse 192.168.1.100 hat.
• Zudem weisen wir dem Client den internen DNS Server 192.168.1.10 zu.
• Wir weisen den Clients den internen Domainnamen meinedomain.meinefirma.local zu.

Die IP-Adressrange 10.19.15.0, welche wir in der obigen Konfiguration angegeben haben, gilt als Tunnel-Transportnetzwerk, sollte sich wesentlich von der internen Server-IP-Umgebung unterscheiden und gilt nur für die Client-Server-VPN-Verbindungen. Diese IP-Adressrange kann frei gewählt werden. Hierzu bitte auch unseren Artikel zu Routing und RAS beachten.

Zusammenfassung:

• Netzwerk: 192.168.1.0
• IP des Servers: 192.168.1.100
• DNS-Server: 192.168.1.10

Nach der erfolgreichen Implementation der Konfiguration kann OpenVPN via Services in der Windows-Systemumgebung gestartet werden. Dazu geben wir in der Konsole Folgendes ein:

net start OpenVPNServie

Windows-Firewall

Damit Clients von aussen eine Verbindung zum Server aufbauen können, sollte in der Windows-Firewall die eingehende Verbindung udp 1194 (in unserem Beispiel server.ovpn oben) geöffnet werden. Wir nennen diese Regel OpenVPN.

Konfiguration Clients

Mit demselben Installer, welchen wir auch für die Server-Installation verwenden, installieren wir die Clients. Einziger Unterschied: Die Auswahl der Komponenten muss nicht angepasst werden, wir wählen die Standard-Installation (Install Now).

Keys und Konfiguration verteilen

Nach erfolgreicher Installation kopieren wir die oben vorbereiteten Client Keys:

ca.crt
Client01.crt
Client01.key

ins dafür vorgesehene Verzeichnis auf dem Client, beispielsweise C:\Program Files\OpenVPN\config.

Danach erstellen wir eine Config im selben Verzeichnis (Bsp. client.ovpn), wobei x.x.x.x der externen IP (des Routers, wenn Portforwarding vorhanden) des VPN Servers entspricht. Das Verbose tag (verb) kann nach erfolgreichen Tests auf 1 oder 0 gesetzt werden, damit nicht sämtliche Informationen den Benutzer verwirren, wenn das VPN startet.

##############################################
# MvA-Networks Connect. OpenVPN ClientScript #
##############################################

client
dev tun
proto udp
remote xxx.xxx.xxx.xxx 1194

# Einstellungen
resolv-retry infinite
nobind
persist-key
persist-tun
cipher AES-256-CBC
verb 3

# Zertifikate
ca "C:\\Program Files\\OpenVPN\\config\\ca.crt"
cert "C:\\Program Files\\OpenVPN\\config\\Client01.crt"
key "C:\\Program Files\\OpenVPN\\config\\Client01.key"

OpenVPN GUI starten

Wir starten die VPN-Verbindung aus der Taskliste mit Klick aufs Icon und verbinden.

Erreichbarkeit Server

Der OpenVPN Client hat erfolgreich verbunden. Die Transport-IP-Adresse, in unserem Fall die 10.19.15.1 (oder ähnlich) ist vom Client erreichbar und Pingbar. Nur die 192.168.1.100, also die IP des Servers, wird nicht erreicht und kann auch nicht angepingt werden. Die Firewall des Servers ist testweise inaktiv.

Hierzu haben wir einen separaten Artikel zum Thema Erreichbarkeit (OpenVPN: Windows Server zum Antworten bringen) des Servers bereitgestellt.

Der Beitrag OpenVPN unter Windows Server 2019 und Windows 10 (OpenVPN Version 2.5) erschien zuerst auf MvA Internet Services.

Vorbereitungen

Damit die Zertifika-Erstellung korrekt funktioniert, müssen wir das Verzeichnis easy-rsa in einem Pfad haben, welcher keine Leerzeichen enthält. Momentan ist dies bei uns in C:\Program Files\OpenVPN\easy-rsa. Daher verschieben wir dies nach C:\easy-rsa.

Als erstes benötigen wir noch kein CMD, sondern können dies auch mittels Explorer erledigen. Wir wechseln ins Verzeichnis easy-rsa (C:\easy-rsa) und benennen folgende Datei um:

vars.example in vars (ohne Endung)

Danach wird das vars editiert (mittels einem gängigen Texteditor) und wir passen folgende Zeilen unseren Bedürfnissen an (# am Anfang wird entfernt). Meistens werden diese Angaben auf eine Person oder eine Firma gezielt angegeben. Generell ist man aber komplett frei.

Achtung: Diese Informationen sollten keine Sonderzeichen beinhalten. Ansonsten gibt es bei der Generierung der Keys Fehler.

set_var EASYRSA_REQ_COUNTRY     "CH"
set_var EASYRSA_REQ_PROVINCE    "ZH"
set_var EASYRSA_REQ_CITY        "Zuerich"
set_var EASYRSA_REQ_ORG         "MeineFirma AG"
set_var EASYRSA_REQ_EMAIL       "support@meinefirmag.ch"
set_var EASYRSA_REQ_OU          "IT Networking

Die weiteren Optionen im vars-File können nach eigenem Ermessen angepasst werden. Erwähnenswert sind:

set_var EASYRSA_KEY_SIZE 2048 (Eventuell auf 4096 ändern)

Einmaliges Setup (init-pki)

Nach der ersten Konfiguration der einzelnen Dateien (wie oben beschrieben) setzen wir die Umgebung und bereinigen (einmalig) unseren Zertifikatsspeicher. Dazustarten wir das Batch-File: EasyRSA-Start.bat. Sämtliche Befehle, welche im weiteren Teil dieses Artikels beschrieben sind, stellen sich aus folgenden Teilen zusammen:

easyrsa [Befehlsname]

Wir führen easyrsa init-pki aus. Dieses bereinigt unseren Zertifikatsspeicher und führt erste Voreinstellungen durch. Achtung: Dies überschreibt sämtliche zuvor erstellten Zertifikate!

Zertifikate erstellen

Nun beginnen wir mit der Erstellung der einzelnen Keys. Sämtliche nachfolgenden Arbeiten erledigen wir alle in der offenen Konsole. Folgende Keys werden in diesem Abschnitt erstellt:

CA (build-ca)
DH (gen-dh)
CRL (gen-crl), für mögliches Revoken der Zertifikate

Server-Zertifikat-Request
Client-Zertifikat(e)-Request
Server-Zertifikat-Signierung
Client-Zertifikat(e)-Signierung

CA, DH & CRL

Das Erstellen von CA, DH und CRL Keys via Konsole ist eine einmalige Angelegenheit. Dazu starten wir das Batch-File: EasyRSA-Start.bat.

CA

Wir generieren den CA Key mittels easyrsa build-ca (mit den Eigenschaften, welche wir mittels vars angegeben haben), indem wir einfach mit Enter bestätigen.

• Das Passwort (Enter New CA Key Passphrase) merken wir uns, dies ist für die Erstellung der weiteren Zertifikate notwendig und kann frei gewählt werden.
• Der Common Name kann frei gewählt werden: In unserem Fall wählen wir den Servernamen.
• Der Common Name darf keine Sonderzeichen enthalten.

DH

Als nächstes erstellen wir den DH Key mittels easyrsa gen-dh. Achtung: Bei einer Schlüssellänge von 4096 kann das Generieren der DH-Parametern mehr als eine Stunde andauern. Dies je nach Systemleistung.

CRL

Wir generieren die CRL-Revoke-Möglichkeit mit easyrsa gen-crl. Das verlangte Passwort ist jenes, welches wir unter build-ca gesetzt haben.

Server-Zertifikat

Nun generieren wir den Private Server Key mittels den beiden Befehlen:

easyrsa gen-req Server nopass 
easyrsa sign-req server Server

• Der Common Name kann frei gewählt werden: In unserem Fall wählen wir den Servernamen.
• Den Sign-Request müssen wir mit yes bestätigen.
• Zum Signieren (sign-req) wird das unter DH eingegebene Passwort verlangt.

Client-Zertifikat(e)

Request

Nun generieren wir den Client-Key mittels

easyrsa gen-req Client01 nopass

• Wir geben beim „Common Name“ den Clientnamen (in unserem Fall bleibt der so, also keine Eingabe. Kann frei gewählt werden) an, um später mehrere Clients im Logfile des Servers unterscheiden zu können.
• Der Common Name darf keine Sonderzeichen enthalten.

Signieren

Nun generieren wir das Client-Cert mittels

easyrsa sign-req client Client01

• Client01 in unserem Befehl muss mit dem Request-Namen oben übereinstimmen.
• Den Sign-Request müssen wir mit yes bestätigen.
• Zum Signieren (sign-req) wird das unter DH eingegebene Passwort verlangt.

Zusammenfassung Zertifikate

Nun sind die notwendigen Keys erstellt. Bei einer Client-Installation sind immer folgende Keys notwendig:

ca.crt (C:\easy-rsa\pki\)
Client01.crt (C:\easy-rsa\pki\issued)
Client01.key (C:\easy-rsa\pki\private\)

Die restlichen Keys sind privat und werden den Clients nicht mitgegeben.

OpenVPN 2.5 Installation

Weiter installieren wir den Server und konfigurieren die Clients mittels folgendem Artikel:

• OpenVPN unter Windows Server 2019 und Windows 10 (OpenVPN Version 2.5)

Der Beitrag OpenVPN Easy-RSA3 Zertifikate erstellen (OpenVPN Version 2.5) erschien zuerst auf MvA Internet Services.

Lösung

Voraussetzung ist eine aktive VPN-Verbindung.

Öffne den Kalender und klicke auf Kalender, dann auf Einstellungen …

Erstens, klicke auf Accounts.

Dann entferne den bestehenden Kalender, indem du den TP Kalender anwählst und dann das – (Minuszeichen) drückst.

Klicke danach auch das + (Pluszeichen)

Wähle Anderer CalDAV-Account … und klicke auf Fortfahren.

Wähle den Accounttyp Manuell aus. Danach gibst du folgende Informationen ein und klickst anschliessend auf Anmelden.

• Benutzername: intern
• Passwort: [im E-Mail]
• Servername: server01.truepartners.private

Beim anschliessenden Hinweis aufs Zertifikat klickst du Fortfahren.

Danach bestätigst du dies mit Eingabe deines Passwortes (mit welchem du dich am Mac angemeldet hast) und klickst Einstellungen aktualisieren.

Aufgrund der Datenmenge braucht der Kalender einen Moment, bis er erscheint.

Der Beitrag TP: Kalender neu verbinden erschien zuerst auf MvA Internet Services.

Voraussetzung ist eine verbundene VPN-Verbindung.

Klicke als erstes auf den Desktop, dann auf Gehe zu und anschliessend auf Mit Server verbinden …

Im folgenden Feld, gib unter Serveradresse folgendes ein und klicke auf Verbinden.

smb://store01

Im Folgenden Fenster klicke auf Verbinden.

Nun müssen die Zugangsdaten zum neuen Server angegeben werden. Diese entsprechen deinem Büro Benutzername und Passwort, um am Mac im Büro anzumelden.

Gib unter Name dein Büro-Name ein (bsp: rrueger), unter Passwort das Büro-Passwort und klicke auf Verbinden.

Nun kannst du die neuen Datenablagen auswählen. In den meisten Fällen genügt die Wahl von Daten und Office.

Tipp: Um BEIDES anzuwählen, klicke erst auf Daten, danach halte die Befehlstaste und klicke auf Office, um beides anzuwählen.

Klicke danach auf OK.

Die beiden Datenablagen sind nun verbunden und stellen die gewohnte Ansicht der Daten zur Verfügung.

Der Beitrag TP: Neue Datenablage verbinden erschien zuerst auf MvA Internet Services.

Klicken Sie auf den Start-Knopf und geben Sie „Standard“ ein. Wählen Sie Einstellungen für Standard-Apps.

Eine Einstellungs-Seite öffnet sich. Scrollen Sie bis zum Titel Webbrowser.

Wenn Sie Webbrowser anwählen, können Sie den Standard-Webbrowser systemweit festlegen (App auswählen).

Der Beitrag Standard-Browser in Windows 10 ändern erschien zuerst auf MvA Internet Services.

Öffnen Sie die macOS Kalender-App und klicken Sie in der Menuleiste auf Kalender und dann auf Einstellungen.

In dein Einstellungen wählen Sie unter Standardkalender…

… Ihren bevorzugtan Kalender aus.

Nach der Wahl des Standardkalenders wird ein neuer Kalendereinztrag automatisch in diesen Standardkalender abgelegt. Schliessen Sie die Einstellungen.

Der Beitrag Standardkalender in macOS setzen erschien zuerst auf MvA Internet Services.

Die falsche Darstellung von Schriften in sämtlichen Browsern auf Windows 10 (Chrome, Firefox, Edge, Opera, etc) kann auf eine korrupte Schriftart zurück zu führen sein. In diesem fall muss die Schrift gefunden und deinstalliert werden.

Falsche Schrift finden

Wir analysieren die Webseite mittels Browser Developer- (Entwickler-) Toools und finden den Namen der falsch angezeigten Schriftart.

Schrift aus dem System entfernen

Nachdem wir die Schrift gefunden und identifiziert haben, werden wir diese eine aus dem System entfernen (Deinstallieren). Hierzu rufen wir die Einstellungen in Windows 10 auf und gehen zu Personalisierung, da wählen wir Schriftarten.

Bei den Schriftarten suchen wir unter Verfügbare Schriften diese, korrupte Schrift und wählen diese an.

Nach dem Anwählen klicken wir Deinstallieren.

Windows Update

Um die deinstallierte, nun fehlende Schrift auf dem System wieder zu installieren, wählen wir in den Einstellungen den Menupunkt Update und Sicherheit an, und prüfen auf verfügbare Updates unter Windows Update.

Der Beitrag Windows 10 – Browser zeigt falsche Schrift an erschien zuerst auf MvA Internet Services.