# ==============================================
# Webseite: https://www.aufgetischt.net
# ==============================================

Sitemap: https://www.aufgetischt.net/sitemap_index.xml
Sitemap: https://www.aufgetischt.net/post-sitemap.xml
Sitemap: https://www.aufgetischt.net/page-sitemap.xml

# ==============================================
# Folgende Seiten sollen nicht indexiert werden:
# ==============================================

User-agent: *
Disallow:
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/load-styles.php
Disallow: /wp-content/uploads/downloads/

# ===============================
# Google und andere Service Bots:
# ===============================

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# digg mirror
User-agent: duggmirror
Disallow: /

# disallow archiving site
User-agent: ia_archiver
Disallow: /

# ===========================
# Bekannte Bots komplett aus:
# ===========================

User-agent: exabot
User-agent: gigabot
User-agent: ia_archiver
User-agent: baiduspider
User-agent: nutch
User-agent: cityreview
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /