{"author":{"@type":"Person","name":"Alexander Bock","url":"https://abxk.ai/de/autor/alexander-bock/"},"categories":["AI Development"],"content":{"markdown":"Viele KI-Apps brauchen aktuelle Daten aus dem Web: Produktpreise, Stellenanzeigen, öffentliche Ausschreibungen, Dokumentationen, Nachrichten. Ein Modell allein liefert sie nicht, denn sein Wissen endet mit dem Trainingsstichtag. Ihre App muss die Daten also selbst beschaffen — und wie sie das tut, entscheidet darüber, wie verlässlich, rechtssicher und wartbar das Ergebnis ist.\n\nDies ist Teil 2 von Level 3 (Profi). Sie lernen die Reihenfolge der Möglichkeiten (offizielle API, lizenzierte Daten, Scraping), wie ein Scraper arbeitet und welche Regeln gelten: robots.txt, Nutzungsbedingungen, Urheberrecht und DSGVO. Außerdem sehen Sie, wie Sie höflich crawlen, wann Proxys legitim sind und wie Sie bemerken, dass sich eine Quelle ändert. Das ist eine praktische Anleitung, keine Rechtsberatung; ziehen Sie bei echten Projekten Ihre Rechtsabteilung hinzu.\n\n## Zuerst die offizielle API\n\nBevor Sie eine einzige Zeile Scraping-Code schreiben, suchen Sie nach einem offiziellen Zugang. Eine **API** (Application Programming Interface, Programmierschnittstelle) liefert strukturierte Daten, dokumentierte Felder, angegebene Ratenlimits und klare Bedingungen. Viele Websites bieten außerdem Datenexporte, RSS-Feeds, Sitemaps oder Open-Data-Portale an. Datenanbieter verkaufen **lizenzierte Datensätze** mit klaren Nutzungsrechten.\n\n**Web-Scraping** heißt: Ein Programm lädt dieselben Seiten, die ein Browser anzeigt, und liest die Informationen aus dem HTML aus. Das funktioniert, wenn es keinen anderen Weg gibt, ist aber anfällig: Ändert die Website ihr Layout, bricht der Scraper. Rechtlich ist es zudem die unklarste Möglichkeit.\n\n![Entscheidungsablauf: offizielle API suchen, dann lizenzierten Datensatz, dann robots.txt und Bedingungen prüfen, dann personenbezogene Daten prüfen und erst danach höflich scrapen](/images/learn/de/web-data-for-ai-apps-decide.webp \"Die Reihenfolge der Möglichkeiten: Jede Antwort rechts beendet die Suche, Scraping kommt zuletzt.\")\n\nDie Tabelle vergleicht die drei Wege:\n\n| | Offizielle API | Lizenzierter Datensatz | Scraping |\n|---|---|---|---|\n| Verlässlichkeit | Hoch, versioniert | Hoch, in Lieferungen | Gering, bricht bei Layoutänderungen |\n| Rechtliche Klarheit | Klare Bedingungen | Klare Lizenz | Hängt von Bedingungen, Urheberrecht und personenbezogenen Daten ab |\n| Aktualität | Live | Je nach Lieferung | So oft, wie Sie crawlen |\n| Ihr Aufwand | Gering | Gering | Hoch: bauen, überwachen, reparieren |\n\n## So arbeitet ein Scraper\n\nEin Scraper durchläuft jedes Mal dieselben Schritte:\n\n![Fünf Schritte: Seite abrufen, Felder auslesen, prüfen, mit Quelle speichern, auf Änderungen überwachen](/images/learn/de/web-data-for-ai-apps-pipeline.webp \"Die Scraping-Pipeline. Die meiste Arbeit steckt in den letzten drei Schritten.\")\n\n1. **Abrufen.** Ihr Code fordert die Seite per HTTP an. Seiten, die ihre Inhalte per JavaScript nachladen, brauchen einen **Headless Browser** — einen Browser ohne Fenster, den Ihr Code steuert.\n2. **Auslesen.** **Selektoren** (CSS- oder XPath-Ausdrücke) zeigen auf die Felder, die Sie brauchen: Titel, Preis, Datum.\n3. **Prüfen.** Kontrollieren Sie Datentypen, Wertebereiche und Pflichtfelder. Ein Preis von null oder ein leerer Titel ist ein Fehler, keine Information.\n4. **Mit Quelle speichern.** Speichern Sie zu jedem Datensatz die URL, den Zeitpunkt des Abrufs und die Version des Parsers. Diese **Herkunftsangabe** (Provenance) zeigt später, woher eine Angabe stammt — unverzichtbar, wenn eine KI-App sie zitiert.\n5. **Überwachen.** Achten Sie auf Fehler, leere Felder und plötzliche Einbrüche der Datenmenge.\n\nLLMs helfen bei Schritt 2. Wenn sich die Layouts unterscheiden, kann ein Modell unübersichtliches HTML in Felder nach einem JSON-Schema übersetzen — die Technik aus [strukturierter Ausgabe und Function Calling](/de/ai-development/learn/structured-output-and-function-calling/) in Level 2. Prüfen Sie das Ergebnis: Ein Modell füllt ein fehlendes Feld womöglich mit einer plausiblen Erfindung. Erlauben Sie `null` für fehlende Werte, und validieren Sie jeden Datensatz. In einem Agenten kann die ganze Pipeline zu einem einzigen Tool werden, wie in [Teil 1 dieses Levels](/de/ai-development/learn/build-ai-agents-tools-loops-memory/) beschrieben.\n\nWer die Pipeline nicht selbst bauen will, findet No-Code-Werkzeuge. Nach Angaben des Anbieters liest Browse AI Daten aus Websites aus, überwacht Seiten auf Änderungen und kann eine Website in eine API verwandeln:\n\n{{\u003c tool-shot \"browse-ai\" \u003e}}\n\n## Die Regeln: robots.txt, Bedingungen, Urheberrecht und personenbezogene Daten\n\nVier Regelwerke entscheiden, ob Sie Webdaten erheben und nutzen dürfen. Prüfen Sie sie, bevor Sie bauen, nicht danach.\n\n**robots.txt** ist eine Textdatei im Hauptverzeichnis einer Website, zum Beispiel `example.com/robots.txt`. Sie teilt Crawlern mit, welche Pfade sie besuchen dürfen. Das Format ist standardisiert: das Robots Exclusion Protocol (RFC 9309, IETF, 2022). Der Standard selbst sagt, dass diese Regeln keine Form der Zugriffsberechtigung sind; eine Website muss private Inhalte also auf anderem Weg schützen. robots.txt zu respektieren ist das Mindestmaß an gutem Verhalten, und viele Betreiber nutzen die Datei inzwischen, um KI-Crawler auszusperren.\n\n**Nutzungsbedingungen** können den automatisierten Zugriff oder die Weiterverwendung von Inhalten verbieten. Inhalte hinter einem Login sind besonders heikel: Wer ein Konto anlegt, akzeptiert in der Regel die Bedingungen.\n\n**Urheberrecht und Datenbankrechte** schützen Texte, Bilder und Datensammlungen, auch wenn sie öffentlich sind. Fakten selbst sind oft frei, die Art, wie sie formuliert und zusammengestellt sind, womöglich nicht. In der EU ist Text- und Data-Mining in vielen Fällen erlaubt. Rechteinhaber können aber widersprechen, bei Online-Inhalten zum Beispiel in maschinenlesbarer Form (Richtlinie (EU) 2019/790, Artikel 4).\n\n**Personenbezogene Daten** bleiben nach der DSGVO (Datenschutz-Grundverordnung) personenbezogen, auch wenn sie öffentlich sichtbar sind. Sie brauchen eine Rechtsgrundlage und einen klaren Zweck. Sie erheben nur, was Sie brauchen, und löschen rechtzeitig, und die betroffenen Personen behalten ihre Rechte, etwa das Recht auf Löschung.\n\n| Prüfpunkt | Frage | Wenn die Antwort ein Problem ist |\n|---|---|---|\n| API | Gibt es eine offizielle API, einen Feed oder Export? | Diesen nutzen statt zu scrapen |\n| robots.txt | Sperrt sie die Pfade, die Sie brauchen? | Nicht crawlen; den Betreiber fragen |\n| Bedingungen | Verbieten sie automatisierten Zugriff oder Weiterverwendung? | Um Erlaubnis bitten oder die Daten lizenzieren |\n| Login | Liegt der Inhalt hinter einem Login? | Nicht ohne Erlaubnis scrapen |\n| Urheberrecht | Kopieren Sie Texte oder Bilder statt nur Fakten? | Fakten und Links speichern; Widersprüche beachten |\n| Personenbezogene Daten | Enthalten Datensätze Namen, E-Mail-Adressen oder Profile? | Rechtsgrundlage, Daten minimieren, früh löschen — oder weglassen |\n| Last | Könnte Ihr Crawler die Website bremsen? | Rate senken, außerhalb der Stoßzeiten crawlen |\n\n## Höflich crawlen: Ratenlimits und Last\n\nEin Crawler, der Hunderte Anfragen pro Sekunde schickt, kann eine kleine Website für alle verlangsamen. Höfliches Crawlen schützt die Website und bewahrt Ihren Crawler davor, gesperrt zu werden.\n\n![Sechs Regeln für höfliches Crawlen: robots.txt beachten, den Bot ausweisen, die Anfragerate begrenzen, bei Fehlern zurückhalten, zwischenspeichern und nur Änderungen abrufen, außerhalb der Stoßzeiten crawlen](/images/learn/de/web-data-for-ai-apps-polite.webp \"Sechs Gewohnheiten eines höflichen Crawlers.\")\n\n- **Bot ausweisen.** Senden Sie einen eindeutigen User-Agent mit Kontaktadresse, damit der Betreiber Sie erreichen kann, statt Sie zu sperren.\n- **Rate begrenzen.** Eine Anfrage nach der anderen je Website, mit Pause dazwischen, ist ein sicherer Anfang. Halten Sie Limits ein, die die Website nennt.\n- **Bei Fehlern zurückhalten.** Der HTTP-Status **429** bedeutet „Too Many Requests“, also zu viele Anfragen. Enthält die Antwort einen `Retry-After`-Header, warten Sie mindestens so lange. Bei wiederholten Fehlern verdoppeln Sie die Wartezeit.\n- **Zwischenspeichern und nur Änderungen abrufen.** Bedingte Anfragen (`If-Modified-Since`, ETags) erlauben dem Server die Antwort „nicht geändert“, ohne die Seite erneut zu senden.\n\n## Proxys: was sie sind und wann sie legitim sind\n\nEin **Proxy** ist ein Server, der Ihre Anfragen weiterleitet. Die Website sieht dann die IP-Adresse des Proxys statt Ihrer eigenen. Rechenzentrums-Proxys laufen in Hosting-Zentren. Residential Proxys leiten den Verkehr über Internetanschlüsse privater Haushalte, oft über Apps oder Software auf den Geräten dieser Menschen. Fragen Sie bei der Wahl eines Anbieters, woher er seine IP-Adressen bezieht und ob die Gerätebesitzer zugestimmt haben.\n\n![Ein Scraper schickt Anfragen über einen Proxy-Server an eine Website; darunter zwei Spalten mit legitimen und nicht vertretbaren Einsätzen](/images/learn/de/web-data-for-ai-apps-proxy.webp \"Proxys ändern, woher eine Anfrage kommt — nicht, was Sie dürfen.\")\n\nProxys haben legitime Einsatzzwecke. So können Sie prüfen, wie Ihre eigenen Anzeigen, Preise oder Suchergebnisse in einem anderen Land aussehen. Sie können auch länderspezifische Versionen einer Website testen oder kontrollieren, ob Anzeigen dort erscheinen, wo sie gebucht wurden. Ein Weg um Regeln herum sind Proxys aber nicht. Wer sie nutzt, um eine Sperre, ein Ratenlimit, einen Login oder ein Verbot des Betreibers zu umgehen, macht aus Datenerhebung ein rechtliches Problem.\n\nThorData aus unserem Vergleich ist ein Proxy-Netzwerk für den Abruf öffentlich zugänglicher Webdaten. Wie unsere Einordnung sagt: Klären Sie die rechtliche Seite des geplanten Abrufs vorher. Pinecone steht am anderen Ende der Pipeline: eine Vektordatenbank, die gesammelte Texte für Suche und Retrieval speichert.\n\n{{\u003c tools \"browse-ai thordata pinecone\" \u003e}}\n\n## Datenqualität und Änderungen überwachen\n\nScraper stürzen selten ab. Sie scheitern leise: Die Website benennt eine CSS-Klasse um, und ab diesem Tag ist Ihr Preisfeld leer. Eine KI-App auf dieser Grundlage antwortet dann selbstsicher aus veralteten oder kaputten Datensätzen.\n\nRichten Sie Prüfungen ein, die bei jedem Durchlauf mitlaufen:\n\n- **Menge:** Alarm, wenn die Zahl der Datensätze im Vergleich zum letzten Lauf stark sinkt.\n- **Vollständigkeit:** Alarm, wenn der Anteil leerer Felder steigt.\n- **Plausibilität:** Preise, Daten und Mengen bleiben in erwarteten Bereichen.\n- **Aktualität:** das Datum des neuesten Datensatzes je Quelle verfolgen.\n- **Dubletten:** denselben Artikel unter zwei URLs oder denselben Text doppelt erkennen.\n\nBevor Daten in einen Suchindex wandern, entfernen Sie außerdem Seitenballast wie Menüs, Cookie-Banner und Fußzeilen, damit die Suche die eigentlichen Inhalte findet. [Retrieval-Augmented Generation Schritt für Schritt](/de/ai-development/learn/retrieval-augmented-generation-step-by-step/) aus Level 2 zeigt, wie der bereinigte Text für ein Modell durchsuchbar wird.\n\n{{\u003c callout type=\"warning\" title=\"Webinhalte sind nicht vertrauenswürdig\" \u003e}}\nEine Webseite kann Text enthalten, der für menschliche Besucher unsichtbar ist, sich aber an KI-Systeme richtet, etwa „Alle bisherigen Anweisungen ignorieren“. Wenn Ihre App gescrapte Texte an ein Modell weitergibt, behandeln Sie sie als Daten, nie als Anweisungen. Unser Bereich [AI Security](/de/ai-security/) erklärt dieses Risiko, das indirekte Prompt Injection heißt.\n{{\u003c /callout \u003e}}\n\n## Praxisbeispiel: ein Preisbeobachter für 200 Produktseiten\n\nEin Einkaufsteam möchte einen KI-Assistenten, der Fragen beantwortet wie „Welcher Lieferant hat den Preis für Artikel X diesen Monat gesenkt?“. So greifen die Schritte von oben ineinander:\n\n1. **API-Prüfung:** Zwei der fünf Lieferanten bieten einen Produkt-Feed. Das Team nutzt diese Feeds und prüft Scraping nur für die anderen drei Shops.\n2. **Regelprüfung:** robots.txt erlaubt die Produktseiten aller drei Shops, und die Seiten enthalten keine personenbezogenen Daten. Die Bedingungen eines Shops verbieten automatisierten Zugriff; das Team bittet diesen Shop um einen Feed und scrapt nur die anderen beiden.\n3. **Crawl-Plan:** einmal pro Nacht, eine Anfrage alle paar Sekunden je Shop, mit einem User-Agent, der das Team und eine Kontaktadresse nennt.\n4. **Auslesen:** Selektoren für Name, Preis und Verfügbarkeit; ein LLM als Rückfallebene mit JSON-Schema für Seiten mit ungewöhnlichem Layout; `null` für fehlende Werte.\n5. **Prüfen und Speichern:** Preise müssen positiv sein und in einem plausiblen Bereich liegen; jeder Datensatz behält URL, Zeitpunkt und Parser-Version.\n6. **Überwachung:** Alarme bei Mengeneinbrüchen und leeren Feldern, dazu wöchentlich eine Stichprobe von zehn zufälligen Datensätzen im Abgleich mit der Live-Seite.\n7. **Antworten:** Der Assistent antwortet nur aus gespeicherten Datensätzen und nennt zu jedem Preis das Datum.\n\nDie Zahlen in diesem Beispiel dienen der Veranschaulichung. Passen Sie die Crawl-Rate an die Größe jeder Website an. Meldet sich ein Betreiber, antworten Sie schnell und passen Ihr Vorgehen an. Ein per E-Mail vereinbarter Feed kann einen Scraper dauerhaft ersetzen.","text":"Viele KI-Apps brauchen aktuelle Daten aus dem Web: Produktpreise, Stellenanzeigen, öffentliche Ausschreibungen, Dokumentationen, Nachrichten. Ein Modell allein liefert sie nicht, denn sein Wissen endet mit dem Trainingsstichtag. Ihre App muss die Daten also selbst beschaffen — und wie sie das tut, entscheidet darüber, wie verlässlich, rechtssicher und wartbar das Ergebnis ist.\nDies ist Teil 2 von Level 3 (Profi). Sie lernen die Reihenfolge der Möglichkeiten (offizielle API, lizenzierte Daten, Scraping), wie ein Scraper arbeitet und welche Regeln gelten: robots.txt, Nutzungsbedingungen, Urheberrecht und DSGVO. Außerdem sehen Sie, wie Sie höflich crawlen, wann Proxys legitim sind und wie Sie bemerken, dass sich eine Quelle ändert. Das ist eine praktische Anleitung, keine Rechtsberatung; ziehen Sie bei echten Projekten Ihre Rechtsabteilung hinzu.\nZuerst die offizielle API Bevor Sie eine einzige Zeile Scraping-Code schreiben, suchen Sie nach einem offiziellen Zugang. Eine API (Application Programming Interface, Programmierschnittstelle) liefert strukturierte Daten, dokumentierte Felder, angegebene Ratenlimits und klare Bedingungen. Viele Websites bieten außerdem Datenexporte, RSS-Feeds, Sitemaps oder Open-Data-Portale an. Datenanbieter verkaufen lizenzierte Datensätze mit klaren Nutzungsrechten.\nWeb-Scraping heißt: Ein Programm lädt dieselben Seiten, die ein Browser anzeigt, und liest die Informationen aus dem HTML aus. Das funktioniert, wenn es keinen anderen Weg gibt, ist aber anfällig: Ändert die Website ihr Layout, bricht der Scraper. Rechtlich ist es zudem die unklarste Möglichkeit.\nDie Reihenfolge der Möglichkeiten: Jede Antwort rechts beendet die Suche, Scraping kommt zuletzt. Die Tabelle vergleicht die drei Wege:\nWebdaten für KI-Apps: Scraping, APIs und die Regeln Offizielle API Lizenzierter Datensatz Scraping Verlässlichkeit Hoch, versioniert Hoch, in Lieferungen Gering, bricht bei Layoutänderungen Rechtliche Klarheit Klare Bedingungen Klare Lizenz Hängt von Bedingungen, Urheberrecht und personenbezogenen Daten ab Aktualität Live Je nach Lieferung So oft, wie Sie crawlen Ihr Aufwand Gering Gering Hoch: bauen, überwachen, reparieren So arbeitet ein Scraper Ein Scraper durchläuft jedes Mal dieselben Schritte:\nDie Scraping-Pipeline. Die meiste Arbeit steckt in den letzten drei Schritten. Abrufen. Ihr Code fordert die Seite per HTTP an. Seiten, die ihre Inhalte per JavaScript nachladen, brauchen einen Headless Browser — einen Browser ohne Fenster, den Ihr Code steuert. Auslesen. Selektoren (CSS- oder XPath-Ausdrücke) zeigen auf die Felder, die Sie brauchen: Titel, Preis, Datum. Prüfen. Kontrollieren Sie Datentypen, Wertebereiche und Pflichtfelder. Ein Preis von null oder ein leerer Titel ist ein Fehler, keine Information. Mit Quelle speichern. Speichern Sie zu jedem Datensatz die URL, den Zeitpunkt des Abrufs und die Version des Parsers. Diese Herkunftsangabe (Provenance) zeigt später, woher eine Angabe stammt — unverzichtbar, wenn eine KI-App sie zitiert. Überwachen. Achten Sie auf Fehler, leere Felder und plötzliche Einbrüche der Datenmenge. LLMs helfen bei Schritt 2. Wenn sich die Layouts unterscheiden, kann ein Modell unübersichtliches HTML in Felder nach einem JSON-Schema übersetzen — die Technik aus strukturierter Ausgabe und Function Calling in Level 2. Prüfen Sie das Ergebnis: Ein Modell füllt ein fehlendes Feld womöglich mit einer plausiblen Erfindung. Erlauben Sie null für fehlende Werte, und validieren Sie jeden Datensatz. In einem Agenten kann die ganze Pipeline zu einem einzigen Tool werden, wie in Teil 1 dieses Levels beschrieben.\nWer die Pipeline nicht selbst bauen will, findet No-Code-Werkzeuge. Nach Angaben des Anbieters liest Browse AI Daten aus Websites aus, überwacht Seiten auf Änderungen und kann eine Website in eine API verwandeln:\nBrowse AI: Web-Scraping ohne Code: liest Daten aus Websites aus und überwacht Änderungen. Bild: Quelle browse.ai. Browse AI im Vergleich → Die Regeln: robots.txt, Bedingungen, Urheberrecht und personenbezogene Daten Vier Regelwerke entscheiden, ob Sie Webdaten erheben und nutzen dürfen. Prüfen Sie sie, bevor Sie bauen, nicht danach.\nrobots.txt ist eine Textdatei im Hauptverzeichnis einer Website, zum Beispiel example.com/robots.txt. Sie teilt Crawlern mit, welche Pfade sie besuchen dürfen. Das Format ist standardisiert: das Robots Exclusion Protocol (RFC 9309, IETF, 2022). Der Standard selbst sagt, dass diese Regeln keine Form der Zugriffsberechtigung sind; eine Website muss private Inhalte also auf anderem Weg schützen. robots.txt zu respektieren ist das Mindestmaß an gutem Verhalten, und viele Betreiber nutzen die Datei inzwischen, um KI-Crawler auszusperren.\nNutzungsbedingungen können den automatisierten Zugriff oder die Weiterverwendung von Inhalten verbieten. Inhalte hinter einem Login sind besonders heikel: Wer ein Konto anlegt, akzeptiert in der Regel die Bedingungen.\nUrheberrecht und Datenbankrechte schützen Texte, Bilder und Datensammlungen, auch wenn sie öffentlich sind. Fakten selbst sind oft frei, die Art, wie sie formuliert und zusammengestellt sind, womöglich nicht. In der EU ist Text- und Data-Mining in vielen Fällen erlaubt. Rechteinhaber können aber widersprechen, bei Online-Inhalten zum Beispiel in maschinenlesbarer Form (Richtlinie (EU) 2019/790, Artikel 4).\nPersonenbezogene Daten bleiben nach der DSGVO (Datenschutz-Grundverordnung) personenbezogen, auch wenn sie öffentlich sichtbar sind. Sie brauchen eine Rechtsgrundlage und einen klaren Zweck. Sie erheben nur, was Sie brauchen, und löschen rechtzeitig, und die betroffenen Personen behalten ihre Rechte, etwa das Recht auf Löschung.\nWebdaten für KI-Apps: Scraping, APIs und die Regeln (2) Prüfpunkt Frage Wenn die Antwort ein Problem ist API Gibt es eine offizielle API, einen Feed oder Export? Diesen nutzen statt zu scrapen robots.txt Sperrt sie die Pfade, die Sie brauchen? Nicht crawlen; den Betreiber fragen Bedingungen Verbieten sie automatisierten Zugriff oder Weiterverwendung? Um Erlaubnis bitten oder die Daten lizenzieren Login Liegt der Inhalt hinter einem Login? Nicht ohne Erlaubnis scrapen Urheberrecht Kopieren Sie Texte oder Bilder statt nur Fakten? Fakten und Links speichern; Widersprüche beachten Personenbezogene Daten Enthalten Datensätze Namen, E-Mail-Adressen oder Profile? Rechtsgrundlage, Daten minimieren, früh löschen — oder weglassen Last Könnte Ihr Crawler die Website bremsen? Rate senken, außerhalb der Stoßzeiten crawlen Höflich crawlen: Ratenlimits und Last Ein Crawler, der Hunderte Anfragen pro Sekunde schickt, kann eine kleine Website für alle verlangsamen. Höfliches Crawlen schützt die Website und bewahrt Ihren Crawler davor, gesperrt zu werden.\nSechs Gewohnheiten eines höflichen Crawlers. Bot ausweisen. Senden Sie einen eindeutigen User-Agent mit Kontaktadresse, damit der Betreiber Sie erreichen kann, statt Sie zu sperren. Rate begrenzen. Eine Anfrage nach der anderen je Website, mit Pause dazwischen, ist ein sicherer Anfang. Halten Sie Limits ein, die die Website nennt. Bei Fehlern zurückhalten. Der HTTP-Status 429 bedeutet „Too Many Requests“, also zu viele Anfragen. Enthält die Antwort einen Retry-After-Header, warten Sie mindestens so lange. Bei wiederholten Fehlern verdoppeln Sie die Wartezeit. Zwischenspeichern und nur Änderungen abrufen. Bedingte Anfragen (If-Modified-Since, ETags) erlauben dem Server die Antwort „nicht geändert“, ohne die Seite erneut zu senden. Proxys: was sie sind und wann sie legitim sind Ein Proxy ist ein Server, der Ihre Anfragen weiterleitet. Die Website sieht dann die IP-Adresse des Proxys statt Ihrer eigenen. Rechenzentrums-Proxys laufen in Hosting-Zentren. Residential Proxys leiten den Verkehr über Internetanschlüsse privater Haushalte, oft über Apps oder Software auf den Geräten dieser Menschen. Fragen Sie bei der Wahl eines Anbieters, woher er seine IP-Adressen bezieht und ob die Gerätebesitzer zugestimmt haben.\nProxys ändern, woher eine Anfrage kommt — nicht, was Sie dürfen. Proxys haben legitime Einsatzzwecke. So können Sie prüfen, wie Ihre eigenen Anzeigen, Preise oder Suchergebnisse in einem anderen Land aussehen. Sie können auch länderspezifische Versionen einer Website testen oder kontrollieren, ob Anzeigen dort erscheinen, wo sie gebucht wurden. Ein Weg um Regeln herum sind Proxys aber nicht. Wer sie nutzt, um eine Sperre, ein Ratenlimit, einen Login oder ein Verbot des Betreibers zu umgehen, macht aus Datenerhebung ein rechtliches Problem.\nThorData aus unserem Vergleich ist ein Proxy-Netzwerk für den Abruf öffentlich zugänglicher Webdaten. Wie unsere Einordnung sagt: Klären Sie die rechtliche Seite des geplanten Abrufs vorher. Pinecone steht am anderen Ende der Pipeline: eine Vektordatenbank, die gesammelte Texte für Suche und Retrieval speichert.\nBrowse AIAgenten \u0026amp; Automatisierung · Software mit KI-FunktionenWeb-Scraping ohne Code: liest Daten aus Websites aus und überwacht Änderungen. ThorDataInfrastruktur \u0026amp; Hosting · Software mit KI-FunktionenProxy-Netzwerk für den Abruf öffentlich zugänglicher Webdaten. PineconeInfrastruktur \u0026amp; Hosting · KI ist der KernVektordatenbank für KI-Anwendungen, etwa für Suche und Retrieval. Kurzbeschreibungen aus unserem Tool-Vergleich, nach Angaben der Anbieter — nicht von ABXK getestet.\nDatenqualität und Änderungen überwachen Scraper stürzen selten ab. Sie scheitern leise: Die Website benennt eine CSS-Klasse um, und ab diesem Tag ist Ihr Preisfeld leer. Eine KI-App auf dieser Grundlage antwortet dann selbstsicher aus veralteten oder kaputten Datensätzen.\nRichten Sie Prüfungen ein, die bei jedem Durchlauf mitlaufen:\nMenge: Alarm, wenn die Zahl der Datensätze im Vergleich zum letzten Lauf stark sinkt. Vollständigkeit: Alarm, wenn der Anteil leerer Felder steigt. Plausibilität: Preise, Daten und Mengen bleiben in erwarteten Bereichen. Aktualität: das Datum des neuesten Datensatzes je Quelle verfolgen. Dubletten: denselben Artikel unter zwei URLs oder denselben Text doppelt erkennen. Bevor Daten in einen Suchindex wandern, entfernen Sie außerdem Seitenballast wie Menüs, Cookie-Banner und Fußzeilen, damit die Suche die eigentlichen Inhalte findet. Retrieval-Augmented Generation Schritt für Schritt aus Level 2 zeigt, wie der bereinigte Text für ein Modell durchsuchbar wird.\n!Webinhalte sind nicht vertrauenswürdig\nEine Webseite kann Text enthalten, der für menschliche Besucher unsichtbar ist, sich aber an KI-Systeme richtet, etwa „Alle bisherigen Anweisungen ignorieren“. Wenn Ihre App gescrapte Texte an ein Modell weitergibt, behandeln Sie sie als Daten, nie als Anweisungen. Unser Bereich AI Security erklärt dieses Risiko, das indirekte Prompt Injection heißt.\nPraxisbeispiel: ein Preisbeobachter für 200 Produktseiten Ein Einkaufsteam möchte einen KI-Assistenten, der Fragen beantwortet wie „Welcher Lieferant hat den Preis für Artikel X diesen Monat gesenkt?“. So greifen die Schritte von oben ineinander:\nAPI-Prüfung: Zwei der fünf Lieferanten bieten einen Produkt-Feed. Das Team nutzt diese Feeds und prüft Scraping nur für die anderen drei Shops. Regelprüfung: robots.txt erlaubt die Produktseiten aller drei Shops, und die Seiten enthalten keine personenbezogenen Daten. Die Bedingungen eines Shops verbieten automatisierten Zugriff; das Team bittet diesen Shop um einen Feed und scrapt nur die anderen beiden. Crawl-Plan: einmal pro Nacht, eine Anfrage alle paar Sekunden je Shop, mit einem User-Agent, der das Team und eine Kontaktadresse nennt. Auslesen: Selektoren für Name, Preis und Verfügbarkeit; ein LLM als Rückfallebene mit JSON-Schema für Seiten mit ungewöhnlichem Layout; null für fehlende Werte. Prüfen und Speichern: Preise müssen positiv sein und in einem plausiblen Bereich liegen; jeder Datensatz behält URL, Zeitpunkt und Parser-Version. Überwachung: Alarme bei Mengeneinbrüchen und leeren Feldern, dazu wöchentlich eine Stichprobe von zehn zufälligen Datensätzen im Abgleich mit der Live-Seite. Antworten: Der Assistent antwortet nur aus gespeicherten Datensätzen und nennt zu jedem Preis das Datum. Die Zahlen in diesem Beispiel dienen der Veranschaulichung. Passen Sie die Crawl-Rate an die Größe jeder Website an. Meldet sich ein Betreiber, antworten Sie schnell und passen Ihr Vorgehen an. Ein per E-Mail vereinbarter Feed kann einen Scraper dauerhaft ersetzen.\n","words":1698},"date":"2026-10-14","description":"Wie KI-Apps Webdaten sauber beschaffen: zuerst offizielle APIs, dann höfliches Scraping, robots.txt, Nutzungsbedingungen, DSGVO, Proxys und Änderungskontrolle.","image":"https://abxk.ai/images/cover/web-data-for-ai-apps.webp","json":"https://abxk.ai/de/ai-development/learn/web-data-for-ai-apps/index.json","kind":"page","language":"de","learning_path":{"category":"ai-development","level":3,"level_name":"Profi"},"modified":"2026-10-14","related_tools":["Browse AI","ThorData","Pinecone"],"section":"ai-development","tags":["webdaten","web-scraping","apis","dsgvo"],"title":"Webdaten für KI-Apps: Scraping, APIs und die Regeln","translations":[{"json":"https://abxk.ai/en/ai-development/learn/web-data-for-ai-apps/index.json","language":"en","url":"https://abxk.ai/en/ai-development/learn/web-data-for-ai-apps/"}],"url":"https://abxk.ai/de/ai-development/learn/web-data-for-ai-apps/"}