Generative - LLM Umsetzungsplan #99

New issue

Open

opened 2026-05-07 22:06:12 +02:00 by thomasknaus · 0 comments

thomasknaus commented

2026-05-07 22:06:12 +02:00

(Migrated from github.com)

Ziel: Implementiere ein LLM‑basiertes Coaching für Race Engineering, bei dem Roh‑UDP‑Daten lokal bleiben. Nur pseudonymisierte, vom Client erzeugte Session‑Summaries oder Embeddings dürfen in die Cloud. Zielmodell: Mistral 7B self‑hosted auf Hetzner (GPU ≥16 GB) oder ein gleichwertiges, kommerziell nutzbares Open‑Source‑Modell. Minimale Desktop‑Änderungen, asynchrone Kommunikation, Rust Backend, Postgres, pgvector.

Aufgabe: Erstelle einen umsetzbaren Implementierungsplan mit folgenden Ausgaben:

Phase‑weise Roadmap (Phase, Tasks, Dateien/Endpunkte, Aufwand in Tagen, Abhängigkeiten)
Hetzner Deployment‑Recipe (Server‑Specs, Docker Compose oder K8s Manifest, Start/Stop Befehle, Autoscale/idle shutdown Hinweise)
Edge Minimal Changes Spec (Rust‑Snippets: UDP→FeatureExtractor→SessionSummary; HMAC hashing user_id; local deletion on session end)
Cloud Ingest API Spec (TLS, JWT, endpoint Pfade, Postgres Schema inkl. pgvector, sample SQL)
RAG Pipeline Spec (Retriever logic, per‑simulation namespace, prompt template für racing coaching, safety filters)
Monitoring und Security Checklist (metrics, logs, audit, RBAC, retention rules)
CI/QA Checks (unit tests, integration tests, cargo audit, container scan Trivy)
2‑Wochen MVP Backlog mit Tasks, Priorität, Akzeptanzkriterien und Aufwandsschätzung

Kontext und Constraints:

Rohdaten: bleiben lokal, dürfen niemals in die Cloud. Desktop löscht Rohdaten nach Session‑Ende.
Cloud erlaubt: nur pseudonymisierte session summaries, embeddings, derived metrics.
Privacy: store only HMAC(user_id, server_key) as identifier; admin sees only hashed id and aggregated metrics.
No cross‑mixing: per‑simulation namespaces; allow cross‑simulation only explizit für compatible metrics.
Latency: Sekundengenau akzeptabel; asynchron ist OK.
Stack: Rust backend, Postgres, pgvector (oder Milvus), Redis queue optional.
Model: prefer Mistral 7B self‑hosted; if not feasible, propose one alternative open model and cost comparison for Hetzner.
Audio: reuse existing Whisper/Qwen/Kokoro pipeline for STT and feedback capture.
Scale unknown: design for single‑node first, instrument metrics for scaling.

Erwartete Detailliertheit:

Konkrete Befehle (git, docker, systemctl, kubectl) und Beispiel‑YAMLs/Manifeste.
Rust Code‑Snippets (UDP listener → feature extraction → session summary; HMAC hashing; local deletion).
Prompt Templates für RAG‑Coaching mit required evidence fields (lap time delta, tyre temps, brake points).
Security snippets (HMAC generation, server key rotation, TLS cert renewal).
Acceptance Tests: End‑to‑end Testfälle (upload, retrieval, coaching response contains numeric evidence).
Aufwandsschätzung pro Task in Entwickler‑Tagen.

Lieferformat:

Kurze Zusammenfassung (3–5 Sätze)
Roadmap Tabelle (Phase, Task, Dateien/Endpunkte, Aufwand, Risiko)
Hetzner Deployment Abschnitt (Specs, Docker/K8s, Befehle)
Edge Spec Abschnitt (Rust Snippets, API calls)
Cloud Ingest und RAG Abschnitt (SQL, prompt templates)
Monitoring, Security, CI Checkliste
2‑Wochen MVP Backlog mit Akzeptanzkriterien
Optional: Kostenabschätzung für Hetzner GPU Betrieb pro Monat

Wichtig: Wenn ein Schritt Downtime verursachen kann, beschreibe Canary/Staging Rollout. Wenn ein vorgeschlagener Modell‑Server mehr als 16 GB GPU benötigt, nenne Alternativen (quantized model, CPU fallback) und die Auswirkungen auf Latenz/Qualität.

Ende des Prompts.

System: Du bist ein erfahrener DevOps‑/ML‑Engineer und Rust‑Backend‑Architekt. Antworte präzise, strukturiert und handlungsorientiert. Priorisiere Datenschutz, Production‑Readiness und minimale Änderungen an der Desktop‑App. Erzeuge konkrete Artefakte: Rust‑Edge‑Snippets, API‑Spec, Docker/K8s Manifeste, Hetzner Deployment‑Recipe, CI‑Checks, Monitoring‑Konfigurationen, und ein 2‑Wochen MVP‑Sprint‑Backlog mit Aufwandsschätzungen. Ziel: Implementiere ein LLM‑basiertes Coaching für Race Engineering, bei dem **Roh‑UDP‑Daten lokal bleiben**. Nur pseudonymisierte, vom Client erzeugte Session‑Summaries oder Embeddings dürfen in die Cloud. Zielmodell: **Mistral 7B self‑hosted** auf Hetzner (GPU ≥16 GB) oder ein gleichwertiges, kommerziell nutzbares Open‑Source‑Modell. Minimale Desktop‑Änderungen, asynchrone Kommunikation, Rust Backend, Postgres, pgvector. Aufgabe: Erstelle einen umsetzbaren Implementierungsplan mit folgenden Ausgaben: 1. **Phase‑weise Roadmap** (Phase, Tasks, Dateien/Endpunkte, Aufwand in Tagen, Abhängigkeiten) 2. **Hetzner Deployment‑Recipe** (Server‑Specs, Docker Compose oder K8s Manifest, Start/Stop Befehle, Autoscale/idle shutdown Hinweise) 3. **Edge Minimal Changes Spec** (Rust‑Snippets: UDP→FeatureExtractor→SessionSummary; HMAC hashing user_id; local deletion on session end) 4. **Cloud Ingest API Spec** (TLS, JWT, endpoint Pfade, Postgres Schema inkl. pgvector, sample SQL) 5. **RAG Pipeline Spec** (Retriever logic, per‑simulation namespace, prompt template für racing coaching, safety filters) 6. **Monitoring und Security Checklist** (metrics, logs, audit, RBAC, retention rules) 7. **CI/QA Checks** (unit tests, integration tests, cargo audit, container scan Trivy) 8. **2‑Wochen MVP Backlog** mit Tasks, Priorität, Akzeptanzkriterien und Aufwandsschätzung Kontext und Constraints: - **Rohdaten**: bleiben lokal, dürfen niemals in die Cloud. Desktop löscht Rohdaten nach Session‑Ende. - **Cloud erlaubt**: nur pseudonymisierte session summaries, embeddings, derived metrics. - **Privacy**: store only HMAC(user_id, server_key) as identifier; admin sees only hashed id and aggregated metrics. - **No cross‑mixing**: per‑simulation namespaces; allow cross‑simulation only explizit für compatible metrics. - **Latency**: Sekundengenau akzeptabel; asynchron ist OK. - **Stack**: Rust backend, Postgres, pgvector (oder Milvus), Redis queue optional. - **Model**: prefer Mistral 7B self‑hosted; if not feasible, propose one alternative open model and cost comparison for Hetzner. - **Audio**: reuse existing Whisper/Qwen/Kokoro pipeline for STT and feedback capture. - **Scale unknown**: design for single‑node first, instrument metrics for scaling. Erwartete Detailliertheit: - **Konkrete Befehle** (git, docker, systemctl, kubectl) und Beispiel‑YAMLs/Manifeste. - **Rust Code‑Snippets** (UDP listener → feature extraction → session summary; HMAC hashing; local deletion). - **Prompt Templates** für RAG‑Coaching mit required evidence fields (lap time delta, tyre temps, brake points). - **Security snippets** (HMAC generation, server key rotation, TLS cert renewal). - **Acceptance Tests**: End‑to‑end Testfälle (upload, retrieval, coaching response contains numeric evidence). - **Aufwandsschätzung** pro Task in Entwickler‑Tagen. Lieferformat: - Kurze Zusammenfassung (3–5 Sätze) - Roadmap Tabelle (Phase, Task, Dateien/Endpunkte, Aufwand, Risiko) - Hetzner Deployment Abschnitt (Specs, Docker/K8s, Befehle) - Edge Spec Abschnitt (Rust Snippets, API calls) - Cloud Ingest und RAG Abschnitt (SQL, prompt templates) - Monitoring, Security, CI Checkliste - 2‑Wochen MVP Backlog mit Akzeptanzkriterien - Optional: Kostenabschätzung für Hetzner GPU Betrieb pro Monat Wichtig: Wenn ein Schritt Downtime verursachen kann, beschreibe Canary/Staging Rollout. Wenn ein vorgeschlagener Modell‑Server mehr als 16 GB GPU benötigt, nenne Alternativen (quantized model, CPU fallback) und die Auswirkungen auf Latenz/Qualität. Ende des Prompts.