TP31: SoT-Frage beantwortet + cf-sync.py; Uebergabe nach User-Korrekturen

SoT: CF und Caddy werden NICHT synchron gehalten - die Doppelpflege faellt
mit Schritt 5/6 weg. Heute stehen 19 Ingress-Regeln und 16 Caddy-Sites
nebeneinander und stimmen fachlich ueberein; im Zielbild haelt CF nur noch
eine Catch-all auf 10.40.20.40. Danach: Caddyfile = Name->Origin,
CF = welcher Name ist oeffentlich (4), AGH = Name->IP intern.
Nebeneffekt: die 12 internen Namen brauchen keinen oeffentlichen DNS mehr.

caddy/cf-sync.py (read-only, Exit 1 bei Drift) findet im ersten Lauf sieben
Abweichungen, alle auf CF-Seite: grafana noch im Ingress, nautobot und
gateway-dw als CNAME ohne Ingress (Quelle der 302), drei *.bf-CNAMEs auf den
zerstoerten NPM, dazu die Wildcard-Access-App, die alles maskiert.

Uebergabe korrigiert nach User-Einwand und Gegenmessung:
- Rewrites sind veraltet, nicht wertlos - Hosts leben auf VLAN20 weiter,
  also Ziele umbiegen statt Namen loeschen.
- Die Redundanz existiert doch, reziprok ueber die Standorte: FM antwortet
  auf 10.101.0.16/.17 (DS415+) - und beide liefern fuer nas.bf die tote
  VLAN1-Adresse. Ein Rewrite-Satz nur im neuen BF-Paar erzeugt
  standortabhaengig verschiedene Antworten.
- Vorratsregel auf .16 wird gestrichen statt erweitert (User-Entscheid).
- Cave: emsenhuber.net ist die Domain, bf.lan nur der DHCP-Suffix.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

caddy/cf-sync.py

@@ -0,0 +1,149 @@
+#!/usr/bin/env python3
+"""TP31 — Cloudflare gegen caddy/Caddyfile stellen (READ-ONLY).
+
+Beantwortet genau eine Frage: wo weichen CF-Ingress, CF-DNS und Access von dem ab,
+was der Caddyfile sagt? Schreibt nichts. Exit 1, wenn Drift gefunden wird.
+
+Token: CF_API_TOKEN + CF_ACCOUNT_ID aus ~/.secrets/credentials.env — erscheint nie im Output.
+
+    python3 caddy/cf-sync.py            # Bericht
+    python3 caddy/cf-sync.py --quiet    # nur Drift-Zeilen (fuer cron/CI)
+"""
+import json
+import os
+import re
+import sys
+import urllib.request
+
+ZONE = "emsenhuber.net"
+CADDY_IP = "10.40.20.40"
+HERE = os.path.dirname(os.path.abspath(__file__))
+QUIET = "--quiet" in sys.argv
+
+
+def secrets():
+    env = {}
+    with open(os.path.expanduser("~/.secrets/credentials.env")) as fh:
+        for line in fh:
+            line = line.strip()
+            if line.startswith("#") or "=" not in line:
+                continue
+            k, v = line.split("=", 1)
+            env[k.strip()] = v.strip().strip("'\"")
+    return env
+
+
+ENV = secrets()
+TOK, ACCT = ENV.get("CF_API_TOKEN"), ENV.get("CF_ACCOUNT_ID")
+if not TOK or not ACCT:
+    sys.exit("CF_API_TOKEN/CF_ACCOUNT_ID fehlen in ~/.secrets/credentials.env")
+
+
+def api(path):
+    req = urllib.request.Request(
+        "https://api.cloudflare.com/client/v4" + path,
+        headers={"Authorization": "Bearer " + TOK},
+    )
+    with urllib.request.urlopen(req, timeout=30) as r:
+        return json.load(r)
+
+
+def caddy_sites():
+    sites, site = {}, None
+    with open(os.path.join(HERE, "Caddyfile"), encoding="utf-8") as fh:
+        for line in fh:
+            m = re.match(r"^([a-z0-9.-]+\.%s)\s*\{" % re.escape(ZONE), line)
+            if m:
+                site = m.group(1)
+                continue
+            if site:
+                m2 = re.search(r"reverse_proxy\s+(\S+)", line)
+                if m2:
+                    sites[site] = m2.group(1)
+                    site = None
+    return sites
+
+
+def main():
+    caddy = caddy_sites()
+    tunnels, ingress = {}, {}
+    for t in api(f"/accounts/{ACCT}/cfd_tunnel?is_deleted=false&per_page=50")["result"]:
+        res = api(f"/accounts/{ACCT}/cfd_tunnel/{t['id']}/configurations").get("result") or {}
+        rules = (res.get("config") or {}).get("ingress") or []
+        tunnels[t["id"]] = {"name": t["name"], "conns": len(t.get("connections") or [])}
+        for r in rules:
+            if r.get("hostname"):
+                ingress[r["hostname"]] = (t["name"], r.get("service", ""))
+    # Nur die BF-Tunnel gehoeren gegen den Caddyfile geprueft. fm.* und terpene-db
+    # sind andere Standorte/Projekte -- sie stehen berechtigt NICHT in caddy/Caddyfile.
+    fremd = {h: v for h, v in ingress.items() if not v[0].startswith("bf-")}
+    ingress = {h: v for h, v in ingress.items() if v[0].startswith("bf-")}
+
+    zid = api(f"/zones?name={ZONE}")["result"][0]["id"]
+    dns = {}
+    for r in api(f"/zones/{zid}/dns_records?per_page=500")["result"]:
+        if r["type"] == "CNAME":
+            dns[r["name"]] = r["content"]
+
+    try:
+        apps = {a.get("domain", ""): a.get("name", "") for a in api(f"/accounts/{ACCT}/access/apps?per_page=100")["result"]}
+    except Exception as exc:                                   # Token ohne Access:Read
+        apps = {}
+        if not QUIET:
+            print(f"(Access-Apps nicht lesbar: {type(exc).__name__} — Token-Scope)")
+
+    drift = []
+
+    # 1) Ingress gegen Caddyfile
+    for host, (tun, svc) in sorted(ingress.items()):
+        if svc.startswith("ssh://"):
+            continue
+        if host not in caddy:
+            drift.append(f"NUR-CF     {host:<32} {tun}: {svc}  (in Caddy nicht vorhanden)")
+        elif caddy[host] != svc:
+            drift.append(f"ABWEICHEND {host:<32} CF={svc}  Caddy={caddy[host]}")
+    for host, svc in sorted(caddy.items()):
+        if host not in ingress:
+            drift.append(f"NUR-CADDY  {host:<32} {svc}  (kein CF-Ingress — intern oder bewusst)")
+
+    # 2) CNAMEs, die auf einen Tunnel zeigen, aber keine Ingress-Regel mehr haben
+    for name, content in sorted(dns.items()):
+        if not content.endswith(".cfargotunnel.com"):
+            continue
+        tid = content.split(".")[0]
+        if name not in ingress and name not in fremd:
+            tn = tunnels.get(tid, {}).get("name", tid[:8])
+            drift.append(f"DNS-LEICHE {name:<32} CNAME -> {tn}, aber keine Ingress-Regel (Catch-all 404)")
+
+    # 3) CNAMEs auf Namen, die es nicht mehr gibt
+    for name, content in sorted(dns.items()):
+        if content.endswith(ZONE) and not content.endswith(".cfargotunnel.com"):
+            if content not in dns and content not in caddy:
+                drift.append(f"DNS-ZIEL   {name:<32} CNAME -> {content} (Ziel existiert nicht)")
+
+    if not QUIET:
+        print(f"Tunnel: " + ", ".join(f"{t['name']}({t['conns']} conns)" for t in tunnels.values()))
+        if fremd:
+            print("Fremde Standorte/Projekte (nicht geprueft): "
+                  + ", ".join(sorted(f"{h} [{v[0]}]" for h, v in fremd.items())))
+        print(f"Caddy-Sites: {len(caddy)} · CF-Ingress-Hosts (bf-*): {len(ingress)} · CNAMEs: {len(dns)}"
+              + (f" · Access-Apps: {len(apps)}" if apps else ""))
+        print()
+        for host in sorted(apps):
+            base = host.split("/")[0]
+            if base.startswith("*."):        # Wildcard-App deckt alles ab, kein Drift
+                continue
+            if base not in caddy and base.endswith(ZONE):
+                drift.append(f"ACCESS     {host:<32} Access-App ohne Caddy-Site ({apps[host]})")
+
+    if drift:
+        print(f"⚠️  {len(drift)} Abweichung(en):")
+        for d in drift:
+            print("   " + d)
+        return 1
+    print("✅ CF und Caddyfile sind deckungsgleich.")
+    return 0
+
+
+if __name__ == "__main__":
+    sys.exit(main())

docs/handoff-20260825-agh-dns-cutover.md

@@ -39,20 +39,26 @@ Auflösung selbst das Kaputte ist. **Nicht ans Ende einer langen Sitzung legen**
 
 ## 🔴 Was den Plan ändert — drei Funde vom 2026-08-25 (spät), alle live erhoben
 
-### 1. Der Bestands-AdGuard ist ein **Archiv, keine Vorlage**
+### 1. Die Rewrites sind **veraltet, nicht wertlos** — Ziele umbiegen statt löschen
+> 🔴 **Korrektur (User, 2026-08-26):** „manche hosts leben auf vlan 20 weiter" — die erste Fassung
+> hat die `10.40.41.x`-Einträge pauschal als tot bezeichnet. Falsch ist das **Ziel**, nicht der
+> **Name**: `nas`, `macmini`, `appletv`, `tv`, `mfc` gibt es weiter, sie sind nur umgezogen
+> (NAS `10.40.20.10`, macmini `10.40.20.167`, Brother MFC `10.40.10.6` — der steht auf **VLAN10**).
+> ⇒ **Jeder Name einzeln bewerten: umbiegen, wenn der Host lebt; streichen, wenn nicht.**
 `adguard_bf1` (`10.40.20.16`, Docker in LXC 400) läuft seit 7 Tagen und hält **24 Rewrites** — davon
 ist der überwiegende Teil **tot**:
 
-| Klasse | Anzahl | Beispiel | Warum tot |
+| Klasse | Anzahl | Beispiel | Was damit zu tun ist |
 |---|---|---|---|
-| Ziel im **toten VLAN1** | 8 | `nas.bf…→10.40.41.10`, `mfc.bf…→10.40.41.4`, `macmini.bf…→10.40.41.167` | VLAN1 ist seit 2026-08-18 leer (TP19) |
+| Ziel im toten VLAN1, **Host lebt** | 8 | `nas.bf…→10.40.41.10`, `mfc.bf…→10.40.41.4`, `macmini.bf…→10.40.41.167` | **umbiegen** auf die VLAN20/VLAN10-Adresse |
-| Ziel **`nginx-bf.emsenhuber.net`** | 9 | `portainer`, `z2m25`, `nodered`, `grafana`, `vw`, `speedtest`, … | der NPM (LXC **128**) ist **heute** zerstört worden |
+| Ziel **`nginx-bf.emsenhuber.net`** | 9 | `portainer`, `z2m25`, `nodered`, `grafana`, `vw`, `speedtest`, … | Ziel ersetzen durch **`10.40.20.40`** — Caddy tritt an die Stelle des NPM (LXC 128 ist zerstört) |
-| **FritzBox-Reste** | 2 | `*.myfritz.net → 100.72.62.31` / `10.40.41.254` | FB6660 seit 2026-07-01 ausgebaut |
+| **FritzBox-Reste** | 2 | `*.myfritz.net → 100.72.62.31` / `10.40.41.254` | streichen (FB6660 seit 2026-07-01 ausgebaut) |
-| FM-Standort | 3 | `nas.fm…→10.101.0.10` | anderer Standort, hier nicht anfassen |
+| FM-Standort | 3 | `nas.fm…→10.101.0.10` | dort gepflegt, s. Fund 2 |
 
-⇒ **Übernehmen: `upstream_dns`, `bootstrap_dns`, Filterlisten. NICHT die Rewrites.**
+⇒ **Übernehmen: `upstream_dns`, `bootstrap_dns`, Filterlisten.**
-Die 16 Rewrites werden **aus `caddy/Caddyfile` neu erzeugt** (jeder Site-Name → `10.40.20.40`).
+Die 16 Service-Rewrites entstehen **neu aus `caddy/Caddyfile`** (jeder Site-Name → `10.40.20.40`).
-Die Altlasten oben sind eine **eigene, bewusste Entscheidung je Name** — nicht mitschleppen.
+Die Host-Rewrites oben werden **einzeln entschieden** — nicht blind mitschleppen, aber auch nicht
+pauschal wegwerfen.
 
 Was dort **richtig** steht und mitmuss:
 ```
@@ -61,15 +67,42 @@ upstream_dns:
   - '[/bf.lan/]10.40.20.1'
   - '[/40.10.in-addr.arpa/]10.40.20.1'
 ```
-🔑 Die zweite Zeile ist **nicht optional**: der Core vergibt `domain=bf.lan` und legt aus jeder Lease
+> ⚠️ **Cave (User, 2026-08-26): `emsenhuber.net` ist unsere Domain, nicht `bf.lan`.**
+> `bf.lan` ist nur der **DHCP-interne Suffix**, den der Core heute vergibt (`domain=bf.lan` +
+> `add-dns-entries-suffix=lan`) — er hat keine Namensautorität. **Offene Entscheidung für diese
+> Session:** so lassen oder auf `bf.emsenhuber.net` heben (dann zieht der conditional upstream mit
+> und die Lease-Namen liegen unter der echten Domain). Nicht nebenbei umstellen — es betrifft jeden
+> Lease-Namen.
+
+🔑 Der conditional upstream ist **nicht optional**: der Core vergibt `domain=bf.lan` und legt aus jeder Lease
 einen `*.lan`-Eintrag an (`add-dns-entries-suffix=lan`). Ohne diesen conditional upstream sterben
 **alle** Lease-Namen. Ebenso bleibt **mDNS Sache des Core** (`mdns-repeat-ifaces` = vlan10/20/30/40/90).
 
-### 2. `10.40.20.17` ist **nicht** „bf2"
+### 2. Die Redundanz **gibt es** — wechselseitig standortübergreifend (und sie ist überall stale)
-Dort läuft **`adguard_fm2`** — die zweite Instanz des **FM**-Standorts, hier nur mitgehostet. Sie
+> 🔴 **Korrektur (User, 2026-08-26):** „die redundanz gab es schon! und zwar wechselseitig
-beantwortet `gitea.emsenhuber.net` mit **`10.40.41.123`**, also ebenfalls ins tote VLAN1.
+> standortübergreifend. bei fm klarerweise auf ds415+ gehostet."
-⇒ **Nicht als Vorlage, nicht als „vorhandene Redundanz" verbuchen.** BF hat heute **einen** AGH.
+
-(Dass FM stale Rewrites hat, ist ein eigener Punkt — nicht in dieser Session.)
+**Live gegengeprüft (2026-08-26, `nslookup` über den WG-Tunnel):**
+
+| Instanz | wo | antwortet auf 53 | `nas.bf.emsenhuber.net` → |
+|---|---|---|---|
+| `adguard_bf1` | BF, Docker in LXC 400 (`10.40.20.16`) | ✅ | BF-Rewrite, VLAN1-Ziel |
+| `adguard_fm2` | **BF** (`10.40.20.17`), für FM | ✅ | — |
+| FM-Resolver 1 | **FM**, DS415+ (`10.101.0.16`) | ✅ | **`10.40.41.10`** |
+| FM-Resolver 2 | **FM**, DS415+ (`10.101.0.17`) | ✅ | **`10.40.41.10`** |
+
+⇒ Das Muster ist **reziprok**: jeder Standort hostet auch eine Instanz des anderen, spiegelbildlich
+auf `.16`/`.17`. (`10.101.0.10` — die FM-NAS selbst — antwortet **nicht** auf 53.)
+
+🔑 **Die Konsequenz ist größer als „ein Paar bauen":** die BF-Namen liegen in **vier** Resolvern an
+**zwei** Standorten, und **beide FM-Instanzen antworten heute mit der toten VLAN1-Adresse**. Ein
+Rewrite-Satz, den nur das neue BF-Paar kennt, erzeugt **standortabhängig verschiedene Antworten** für
+denselben Namen. Zum Auftrag gehört deshalb eine Festlegung:
+- **entweder** den Rewrite-Satz als *eine* Quelle definieren und auf alle Instanzen ausrollen,
+- **oder** — wartungsärmer und konsistent mit der SoT-Antwort für CF/Caddy (s. TP31) — festlegen, dass
+  **FM die BF-Namen nicht mehr selbst beantwortet**, sondern per conditional upstream nach BF fragt.
+- ⚠️ **Nicht in dieser Session mitfixen, aber notieren:** FM zeigt auf tote Ziele. Das braucht ein
+  eigenes Fenster und den DS415+-Zugang.
 
 ### 3. Die Firewall-Vorratsregeln zeigen auf die **falsche** IP
 TP5 Etappe 2 hat vorgesorgt, aber hart auf den heutigen Container:
@@ -82,8 +115,10 @@ TP5-E2: LAN->AGH dns-tcp  accept tcp dst-address=10.40.20.16 dst-port=53
 **`forward`-Fluss über VLAN-Grenzen** — und die Firewall ist seit 2026-08-18 deny-by-default.
 Ohne passende Regeln verlieren **IOT, MEDIA, UNTRUSTED, GUEST und MGMT** schlagartig die Auflösung,
 während VLAN20 (wo der Resolver steht) unauffällig weiterläuft.
-⇒ **Die beiden Regeln auf die neuen AGH-Adressen erweitern, bevor irgendein DHCP angefasst wird** —
+✅ **Entscheid (User, 2026-08-26): die Vorratsregel auf `10.40.20.16` wird GESTRICHEN** — „`.16` war
-und zwar **über Nautobot Golden Config**, nicht ad hoc: Core-Config ist GC-only.
+historisch, passt aber nicht mehr ins System." Also **nicht erweitern, sondern ersetzen**: die zwei
+alten Zeilen raus, zwei neue auf das Paar `10.40.20.36/.37` rein — **über Nautobot Golden Config**,
+nicht ad hoc (Core-Config ist GC-only), und **bevor** irgendein DHCP angefasst wird.
 
 ## Der Auftrag
 

docs/teilprojekte.md

@@ -1509,6 +1509,43 @@ Der `http:`-Block ist eingetragen (`use_x_forwarded_for: true` + `trusted_proxie
 ⚠️ **Preis, offen benannt:** mit Split-Horizon greift **Access innerhalb des Netzes nicht mehr**; dort
 tragen TP5-Segmentierung und die App-eigene Auth.
 
+#### 🧭 Wo liegt die Source of Truth? — beantwortet 2026-08-26
+> **User-Frage:** „schaffen wir es mit überschaubarem aufwand cf und caddy synchron zu halten? wo
+> liegt die sot?"
+
+**Antwort: gar nicht synchron halten — die Doppelpflege fällt mit Schritt 5/6 von selbst weg.**
+Heute steht dieselbe Zuordnung *Name → Origin* an **zwei** Orten: im CF-Ingress (19 Regeln über drei
+bf-Tunnel) und im `caddy/Caddyfile` (16 Sites). Der Vergleich am 08-26 zeigt: **sie stimmen fachlich
+überein** — jeder gemeinsame Name zeigt auf **dasselbe** Origin. Es gibt also nichts zu versöhnen,
+nur etwas abzuschaffen.
+
+Im Zielbild hat der Tunnel `bf-public` **eine einzige Catch-all-Regel auf `10.40.20.40`**. Damit hält
+Cloudflare **keine** Host→Origin-Zuordnung mehr, und die SoT ist eindeutig:
+
+| Was | SoT | wo gepflegt |
+|---|---|---|
+| Name → Origin (alle Dienste) | **`caddy/Caddyfile`** (Git) | dieses Repo |
+| Welcher Name ist öffentlich | **CNAME + Access-App** (4 Namen) | Cloudflare |
+| Name → IP **intern** | **AdGuard-Rewrites** (TP23 Stufe 2) | AGH-Paar |
+
+⇒ Zu pflegen bleiben **vier** öffentliche Namen statt neunzehn Ingress-Regeln. Und die zwölf internen
+Namen brauchen dann **gar keinen öffentlichen DNS-Eintrag mehr** — heute ist z. B. `pve.emsenhuber.net`
+öffentlich auflösbar (hinter Access), danach ist es von außen schlicht unbekannt. **Das ist ein
+Sicherheitsgewinn, kein Nebeneffekt.**
+
+🛠️ **Werkzeug dafür: [`caddy/cf-sync.py`](../caddy/cf-sync.py)** — read-only, liest CF-Ingress, Zonen-DNS
+und Access-Apps und stellt sie gegen den Caddyfile; Exit 1 bei Drift (cron-/CI-tauglich). Erster Lauf
+2026-08-26 fand **7 echte Abweichungen**, alle in Cloudflare, keine in Caddy:
+- **`grafana` steht noch im Ingress** (`bf-nas → 10.40.20.109:3000`) — ein Origin, das es nie gab.
+- **`nautobot` hat noch seinen CNAME**, aber seit TP16.3 keine Ingress-Regel ⇒ läuft in die Catch-all;
+  **das** ist die Quelle des 302, das man leicht für „lebt noch" hält. Dasselbe bei `gateway-dw`.
+- **Drei `*.bf`-CNAMEs zeigen auf `nginx.bf`** — den heute zerstörten NPM (`phpmyadmin`, `speedtest`,
+  `z2m25`).
+- Eine **Wildcard-Access-App `*.emsenhuber.net`** deckt die ganze Zone ab — sie ist der Grund, warum
+  jeder FQDN ein sauberes 302 liefert, auch wenn dahinter nichts läuft.
+🔑 **Merkregel daraus:** *ein Eintrag ohne Gegenstück ist unsichtbar, solange etwas davor antwortet.*
+Der Drift-Check muss deshalb **beide** Richtungen prüfen — Ingress ohne Site **und** CNAME ohne Ingress.
+
 #### HA-Ausblick (nicht Teil der Umsetzung)
 **Es bleibt bei Caddy** — zustandslos bis auf den Zertifikatsspeicher, identisches Caddyfile je Instanz,
 versionierbar; NPM hätte eine Datenbank, die man mitreplizieren müsste.