Von einer Seite zu einem strukturierten Feld: eine LLM-Datenpipeline

Was muss entschieden sein, bevor ein Parser die Seite berührt?

Entität und Felder werden entschieden, bevor jemand eine Vorlage ansieht. Ein Produkt kann eine Kennung, einen Namen, einen Preis, eine Währung, eine Verfügbarkeitsflagge, einen Verkäufer, eine Region, eine Quell-URL und eine Beobachtungszeit brauchen. Ein Hinweis kann eine Behörde, ein Wirksamkeitsdatum und einen Status brauchen. Steht ein Feld nicht auf dieser Liste, erfindet der Parser es nicht. Die Liste ist auch die Minimierungsregel. Personennamen, Kontokennungen und Freitextgeschichten bleiben draußen, sofern ein geprüfter Zweck sie nicht dort hingestellt hat. Die Liste bleibt die Grenze.

Der Kanal wird im selben Durchgang entschieden. Bietet der Verlag eine API oder eine lizenzierte Datei mit diesen Feldern, wird sie genutzt. Seitenparsing ist der Restweg für Material, das rechtmäßig nur als gerenderte Seite vorliegt. Eine Domain hinzuzufügen ist ein Governance-Ereignis, mit einer verantwortlichen Person und einem Prüftermin. MetaEdge kann die Anfrage routen und die Antwort zurückgeben, die die Vorlage erlaubt. Die Vorlage wird nicht großzügiger, weil eine Demo eine weitere Spalte braucht. Der Umfang bleibt der bereits freigegebene Umfang.

Das Scheitern wird vor dem Erfolg entschieden. Ein fehlender Preis ist nicht null. Ein ungeparstes Datum ist nicht heute. Eine Seite, die eine Challenge liefert, ist kein leerer Katalog. Jedes dieser Ergebnisse braucht einen Status, auf den das nachgelagerte System verzweigen kann. Teams, die nur das glückliche JSON spezifizieren, werden zusehen, wie ein Modell die Lücken mit flüssigen Vorgaben füllt. Nullen, Enums und Stoppbedingungen werden zuerst ins Schema geschrieben. Der glückliche Pfad ist keine Spezifikation und ersetzt die Nullfälle nicht.

Worin unterscheidet sich Extraktion von Zusammenfassung?

Extraktion kopiert einen Wert, der auf der Seite steht, in einen typisierten Slot. Zusammenfassung schreibt einen neuen Satz über die Seite. Die erste lässt sich gegen die Quellzeichenkette prüfen. Die zweite nicht, außer durch eine weitere Lesung. Für Preise, Daten, Kennungen und Status ist Extraktion die richtige Aufgabe. Eine Zusammenfassung darf einen Hinweis erklären, nachdem die Felder existieren. Sie ist ein schlechter Ort, um den Preis zu verstecken. Ist der einzige Artefakt ein Absatz, wird das nächste System den Absatz parsen, und das ist ein schlechterer Parser als der, den man übersprungen hat.

Die Belegspanne bleibt erhalten. Für jedes extrahierte Feld wird die Rohteilzeichenkette gespeichert und, wenn vorhanden, ein stabiler Zeiger in die Seite. Eine Prüfung kann dann sehen, dass 19,90 zu 19.90 EUR wurde und nicht zu 1990. Ohne die Spanne wird ein Streit zur Geschmacksfrage. Mit der Spanne wird er zu einem Diff. Das ist gewöhnliches Data Engineering, und es ist auch der Weg, auf dem ein Agentenzitat ehrlich bleibt. Das Modell zitiert das Feld. Das Feld zeigt auf die Spanne. Die Spanne zeigt auf URL und Zeit.

Bitten Sie ein Modell nicht, in einem Aufruf zu extrahieren und zusammenzufassen, wenn Sie eine Zahl brauchen, mit der gerechnet wird. Der verlockende Weg ist ein Prompt, der Prosa plus ein JSON-Blob liefert. Der Blob driftet dann, wann immer der Prompt driftet. Deterministische Parser gehören auf Felder mit einer Grammatik, und ein Modell wird nur genutzt, wo die Seite Sprache und kein Wert ist. Wird ein Modell genutzt, wird seine Ausgabe gegen das Schema validiert und der Datensatz bei Fehlschlag abgelehnt. Ein hübsches Objekt, das nicht validiert, ist kein Datensatz.

Welche Normalisierungen stoppen stille Fehler über Märkte hinweg?

Zahlen, Daten und Geld sind der Ort stiller Fehler. Ein Komma kann ein Dezimalzeichen oder ein Tausendertrennzeichen sein. Ein Datum der Form 10/06/2026 ist nicht in jedem Locale derselbe Tag. Ein Preis kann in einem Land Steuer enthalten und in einem anderen nicht. Normalisiert wird erst, wenn das Locale der Seite bekannt ist, und die Originalzeichenkette steht neben dem kanonischen Wert. Lässt sich das nicht sagen, bleibt das Feld unbekannt. Eine Dezimalstelle in Menge zu raten wird jedes nachgelagerte Diagramm darauf trainieren, einer Fiktion zu vertrauen.

Einheiten und Kennungen brauchen dieselbe Disziplin. Eine Sechserpackung ist nicht dasselbe Angebot wie eine einzelne Einheit zu einem ähnlichen Preis. Eine Verkäufer-SKU ist keine globale Produktkennung. Farben und Größen, die über Sprachen hinweg ähnlich aussehen, können verschiedene Varianten sein. Entity Resolution soll eine Zusammenführung ablehnen, wenn der Schlüssel schwach ist. Die Kosten einer verpassten Zusammenführung sind eine doppelte Zeile. Die Kosten einer falschen Zusammenführung sind eine Preisserie, die zwei Produkte vergleicht und den Unterschied eine Marktbewegung nennt. Die Ablehnung schützt die Serie.

Die Region bleibt durch die Normalisierung auf dem Datensatz. Eine Residential- oder Datacenter-Route kann nötig gewesen sein, um die lokale Seite zu sehen, aber die Route ist nicht die Währung. Beides wird geschrieben. MetaEdge kann die Anfrage in die Geografie legen, die die Vorlage nennt, und die Antwort zurückgeben. Der Parser muss trotzdem festhalten, was die Seite zeigte. Ein normalisierter Eurowert ohne Region und ohne Steuerflagge ist nicht bereit für einen Assistenten, der Angebote über Grenzen hinweg vergleicht. Die Steuerflagge bleibt am Wert.

Wo soll ein Sprachmodell sitzen, und wo soll es draußen bleiben?

Ein Modell ist nützlich, wenn die Seite Prosa ist: ein Störungshinweis, ein Richtlinienabsatz, eine Produktbeschreibung, die in eine kleine Labelmenge einzuordnen ist. Es erhält den relevanten Text, eine geschlossene Labelmenge und ein Schema. Es soll sich enthalten, wenn der Text ein Label nicht trägt. Ein Modell ist ein schlechter Rechner und eine schlechte Uhr. Es soll keine Steuer addieren, keine Währungen umrechnen und nicht entscheiden, dass eine undatierte Seite aktuell ist. Das sind Funktionen mit Tests. Sie stehen außerhalb des Prompts.

Das Modell bleibt vom Fetch fern. Es wählt keine Domains, Routen oder Raten. Eine Planungsschleife, die den Crawler bearbeiten kann, wird den Umfang erweitern, sobald ein Feld leer ist. Das Fetch-Werkzeug nimmt einen Quellenschlüssel von der Allowlist und liefert Bytes plus einen Status. Die Parse-Stufe ist getrennt. MetaEdge routet und erfasst innerhalb des Umfangs, den es erhält. Das Sprachmodell sieht Felder, nicht das Recht, die Erfassung zu erweitern. Diese Trennung ist der Unterschied zwischen einer Pipeline und einem ungeprüften Browser.

Bewerten Sie das Modell am Feld, nicht an der Flüssigkeit. Sampeln Sie Seiten, auf denen die Vorlage sich änderte, auf denen der Wert fehlt und auf denen zwei Locales dieselbe Zahl verschieden formatieren. Bewerten Sie exakte Übereinstimmung bei Kennungen und eine aufgeschriebene Toleranz bei Preisen. Ein hoher Wert auf einer Zusammenfassungsrubrik kann einen systematischen Dezimalfehler verbergen. Veröffentlichen Sie die Fehlerfälle neben den Erfolgsfällen. Der NEST-Plan und ein späterer GPU-Plan benoten diesen Test nicht. Die Fixtures tun es. Der Test bleibt wiederholbar.

Wie bleibt die Rohbeobachtung neben dem abgeleiteten Feld?

Zwei Schichten werden gespeichert. Die Rohschicht hält URL, Abrufzeit, Status, einen Hash des Körpers und eine Probe oder einen Zeiger unter einer kurzen Aufbewahrung. Die abgeleitete Schicht hält die typisierten Felder, die Parser-Version und die Rohteilzeichenkette jedes Feldes. Sie teilen eine Dokumentkennung. Ändert sich ein Parser, kann aus der Rohprobe neu verarbeitet werden, ohne zu behaupten, der neue Parse sei das, was letzten Monat beobachtet wurde. Fragt eine Rechtsabteilung, was behalten wurde, kann man auf die Aufbewahrungsregel zeigen statt auf einen Eimer, der ohne Regel wuchs.

Hashes machen Drift sichtbar. Ändert sich der Körper-Hash und die Felder nicht, kann der Parser blind für eine Vorlagenbewegung sein. Ändern sich die Felder und der Hash nicht, hat jemand nachgelagert editiert. Auf beides wird alarmiert. Eine Pipeline, die nur HTTP 200 beobachtet, bleibt grün, während Preise leer zurückkommen. Feldvollständigkeit, Schemaverletzungen und plötzliche Wertsprünge gehören auf dasselbe Dashboard wie die Latenz. MetaEdge kann die Antwort und die Route zurückgeben. Ihr Validator entscheidet, ob aus dieser Antwort ein Datensatz wurde. Sonst bleibt sie eine Antwort.

Löschung muss beide Schichten kreuzen. Verlässt eine Quelle die Allowlist, gehen Rohprobe und abgeleitete Felder mit, und auch Indexeinträge, die ein Agent noch zitieren könnte. Eine Dokumentkennung macht die Suche möglich. Trainingsmanifeste, die auf die Kennung zeigten, lassen sich ohne diese Beispiele neu bauen. Das ist nicht die Behauptung, ein bereits trainiertes Modell vergesse. Es ist die Kontrolle, die den nächsten Lauf hindert, die Aufnahme zu wiederholen. Herkunft, die sich nicht abfragen lässt, ist ein Absatz in einer Richtlinie, keine Pipeline.

Wie sieht ein Produktionsdatensatz aus, wenn er den Abruf erreicht?

Ein Produktionsdatensatz ist klein und ausdrücklich. Er trägt den Entitätsschlüssel, die typisierten Felder, das Locale, die Region der Anfrage, den Routentyp, die Quell-URL, die Beobachtungszeit, die Parser-Version und einen Status. Optionaler Erklärungstext sitzt in einem eigenen Feld, als Text markiert. Der Abruf kann nach Alter und Status filtern, bevor das Modell etwas sieht. Ein Agentenwerkzeug gibt dieses Objekt zurück, keine Seite. Ist ein Pflichtfeld null, sagt der Status warum, und der Agent darf es nicht füllen. Null bleibt null und trägt einen Grund.

Derselbe Datensatz kann mehr als einen Speicher speisen, wenn das Zwecketikett mitreist. Ein lebendiger Index für RAG hält aktuelle Zeilen. Eine statische Momentaufnahme für die Evaluation friert eine Version ein. Eine Trainingsmischung nimmt nur Zeilen, deren Zweck und Rechteprüfung es erlauben. Die Tabelle zu kopieren, weil sie sauber ist, ist der Weg, auf dem eine Preisserie zu Trainingsdaten wird, die niemand freigegeben hat. MetaEdge kann die strukturierte Nutzlast liefern. Das Register des Kunden entscheidet, durch welche Tür sie geht. Der Zweck reist mit.

Die Probe der Pipeline ist eine Frage, die ein Mensch prüfen kann. Welche Seite, beobachtet wann, über welche Route, hat diesen Preis erzeugt, und welcher Parser hat die Zeichenkette in eine Zahl verwandelt? Kann das System antworten, kann ein Assistent es zitieren und ein Trainingslauf es absichtlich einschließen oder ausschließen. Kann es nicht, fasst das Modell eine Seite zusammen, die niemand rekonstruieren kann. Strukturierte Felder sind der Weg, auf dem Webdaten inspizierbar bleiben. Sie sind nicht die Behauptung, jede Seite im Web dürfe genommen werden.

FAQ