Da una pagina a un campo strutturato: una pipeline di dati per LLM

Che cosa va deciso prima che un parser tocchi la pagina?

Si decidono l'entità e i campi prima di guardare un template. Un prodotto può aver bisogno di un identificatore, un nome, un prezzo, una valuta, un flag di disponibilità, un venditore, una regione, un URL sorgente e un istante di osservazione. Un avviso può aver bisogno di un'autorità, una data di efficacia e uno stato. Se un campo non è in quella lista, il parser non lo inventa. La lista è anche la regola di minimizzazione. Nomi personali, id di account e storie in testo libero restano fuori salvo uno scopo rivisto che li abbia messi lì.

Il canale si decide nello stesso passaggio. Se l'editore offre un'API o un file con licenza con quei campi, si usa quello. Il parse della pagina è il percorso residuale per materiale lecitamente disponibile solo come pagina resa. Aggiungere un dominio è un evento di governance, con un responsabile e una data di revisione. MetaEdge può instradare la richiesta e restituire la risposta che il modello consente. Il modello non diventa più permissivo perché una demo ha bisogno di un'altra colonna.

Il fallimento si decide prima del successo. Un prezzo mancante non è zero. Una data non parsata non è oggi. Una pagina che restituisce una challenge non è un catalogo vuoto. Ciascuno di questi esiti ha bisogno di uno stato su cui il sistema a valle può ramificare. I team che specificano solo il JSON felice vedranno un modello riempire i vuoti con default fluenti. Si scrivono prima nello schema i null, gli enum e le condizioni di stop. Il percorso felice non basta.

In che cosa l'estrazione differisce dal riassunto?

L'estrazione copia un valore che è sulla pagina in uno slot tipizzato. Il riassunto scrive una frase nuova sulla pagina. La prima si può controllare contro la stringa sorgente. Il secondo no, se non con un'altra lettura. Per prezzi, date, identificatori e stati, l'estrazione è il lavoro giusto. Un riassunto può spiegare un avviso dopo che i campi esistono. È un cattivo posto per nascondere il prezzo. Se l'unico artefatto è un paragrafo, il sistema successivo farà il parse del paragrafo, ed è un parser peggiore di quello che avete saltato.

Si tiene lo span di evidenza. Per ogni campo estratto si conserva la sottostringa grezza e, quando c'è, un puntatore stabile nella pagina. Un revisore può allora vedere che 19,90 è diventato 19.90 EUR e non 1990. Senza lo span, una contestazione diventa una questione di gusto. Con lo span, diventa un diff. È ingegneria dei dati ordinaria, ed è anche il modo in cui una citazione di agente resta onesta. Il modello cita il campo. Il campo punta allo span. Lo span punta all'URL e all'orario.

Non si chiede a un modello di estrarre e riassumere in una sola chiamata se serve un numero su cui calcolare. Il percorso attraente è un prompt che restituisce prosa più un blob JSON. Il blob poi deriva ogni volta che deriva il prompt. I parser deterministici stanno sui campi che hanno una grammatica, e un modello si usa solo dove la pagina è lingua e non un valore. Quando si usa un modello, si valida l'output contro lo schema e si rifiuta il record se fallisce. Un oggetto bello che non valida non è un record.

Quali normalizzazioni fermano errori silenziosi tra mercati?

Numeri, date e denaro sono dove vivono gli errori silenziosi. Una virgola può essere un separatore decimale o delle migliaia. Una data scritta 10/06/2026 non è lo stesso giorno in ogni locale. Un prezzo può includere l'imposta in un paese ed escluderla in un altro. Si normalizza solo dopo aver conosciuto il locale della pagina, e si conserva la stringa originale accanto al valore canonico. Se non si può dire, il campo resta sconosciuto. Indovinare la posizione decimale in volume allenerà ogni grafico a valle a fidarsi di una finzione.

Unità e identificatori chiedono la stessa disciplina. Una confezione da sei non è la stessa offerta di un'unità singola a un prezzo simile. Uno sku del venditore non è un id prodotto globale. Colori e taglie che si somigliano tra lingue possono essere varianti diverse. La risoluzione di entità deve rifiutare una fusione quando la chiave è debole. Il costo di una fusione mancata è una riga duplicata. Il costo di una fusione sbagliata è una serie di prezzi che confronta due prodotti e chiama la differenza un movimento di mercato.

La regione resta sul record durante la normalizzazione. Un percorso residenziale o datacenter può essere servito per vedere la pagina locale, ma il percorso non è la valuta. Si scrivono entrambi. MetaEdge può collocare la richiesta nella geografia che il modello nomina e restituire la risposta. Il parser deve comunque registrare ciò che la pagina ha mostrato. Un valore in euro normalizzato senza regione e senza flag fiscale non è pronto per un assistente che confronta offerte attraverso i confini.

Dove deve stare un modello linguistico e dove deve restarne fuori?

Un modello è utile quando la pagina è prosa: un avviso di disservizio, un paragrafo di policy, una descrizione di prodotto da classificare in un piccolo insieme di etichette. Gli si dà il testo pertinente, un insieme chiuso di etichette e uno schema. Gli si chiede di astenersi quando il testo non sostiene un'etichetta. Un modello è un cattivo calcolatore e un cattivo orologio. Non deve aggiungere imposte, convertire valute o decidere che una pagina senza data è attuale. Quelle sono funzioni con test. Stanno fuori dal prompt.

Il modello resta fuori dal fetch. Non sceglie domini, percorsi o ritmi. Un ciclo di pianificazione che può modificare il crawler allargherà lo scopo appena un campo è vuoto. Lo strumento di fetch prende una chiave di fonte dall'allowlist e restituisce byte più uno stato. Lo stadio di parse è separato. MetaEdge instrada e raccoglie dentro lo scopo che riceve. Il modello linguistico vede campi, non il diritto di allargare la raccolta. Questa separazione è la differenza tra una pipeline e un browser non rivisto.

Si valuta il modello sul campo, non sulla fluidità. Si campionano pagine in cui il template è cambiato, in cui il valore manca e in cui due locali formattano lo stesso numero in modo diverso. Si misura l'esattezza sugli identificatori e una tolleranza scritta sui prezzi. Un punteggio alto su una rubrica di riassunto può nascondere un errore decimale sistematico. Si pubblicano i casi di fallimento accanto a quelli di successo. Il piano NEST e qualsiasi piano GPU successivo non valutano questo test. Lo fanno i casi di prova.

Come si tiene l'osservazione grezza accanto al campo derivato?

Si conservano due livelli. Il livello grezzo tiene l'URL, l'istante di fetch, lo stato, un hash del corpo e un campione o un puntatore con una conservazione breve. Il livello derivato tiene i campi tipizzati, la versione del parser e la sottostringa grezza di ogni campo. Condividono un id di documento. Quando un parser cambia, si può rielaborare dal campione grezzo senza fingere che il nuovo parse sia ciò che si è osservato il mese scorso. Quando un legale chiede che cosa avete tenuto, si può indicare la regola di conservazione invece di un bucket cresciuto senza una regola.

Gli hash rendono visibile la deriva. Se l'hash del corpo cambia e i campi no, il parser può essere cieco a un movimento di template. Se i campi cambiano e l'hash no, qualcuno ha modificato a valle. Si avvisa su entrambi. Una pipeline che guarda solo HTTP 200 resta verde mentre i prezzi tornano vuoti. Completezza dei campi, violazioni di schema e spostamenti improvvisi di valore stanno sulla stessa dashboard della latenza. MetaEdge può restituire la risposta e il percorso. Il vostro validatore decide se quella risposta è diventata un record.

La cancellazione deve attraversare entrambi i livelli. Se una fonte esce dall'allowlist, il campione grezzo e i campi derivati se ne vanno con lei, e anche le voci di indice che un agente potrebbe ancora citare. Un id di documento rende possibile la ricerca. I manifest di addestramento che puntavano all'id si possono ricostruire senza quegli esempi. Non è l'affermazione che un modello già addestrato dimentichi. È il controllo che impedisce alla prossima esecuzione di ripetere l'inclusione. Una provenienza che non si può interrogare è un paragrafo in una policy, non una pipeline.

Che aspetto ha un record di produzione quando arriva al recupero?

Un record di produzione è piccolo ed esplicito. Porta la chiave di entità, i campi tipizzati, il locale, la regione della richiesta, il tipo di percorso, l'URL sorgente, l'istante di osservazione, la versione del parser e uno stato. Il testo opzionale per la spiegazione sta in un campo separato, marcato come testo. Il recupero può filtrare su età e stato prima che il modello veda qualcosa. Uno strumento di agente restituisce questo oggetto, non una pagina. Se un campo obbligatorio è nullo, lo stato dice perché, e l'agente non è libero di riempirlo.

Lo stesso record può alimentare più di uno store se l'etichetta di scopo viaggia con lui. Un indice vivo per il RAG tiene le righe attuali. Un'istantanea statica per la valutazione congela una versione. Un mix di addestramento prende solo le righe il cui scopo e la cui revisione dei diritti lo consentono. Copiare la tabella perché è pulita è il modo in cui una serie di prezzi diventa dato di addestramento che nessuno ha approvato. MetaEdge può consegnare il payload strutturato. Il registro del cliente decide quale porta attraversa.

La prova della pipeline è una domanda che una persona può auditare. Quale pagina, osservata quando, attraverso quale percorso, ha prodotto questo prezzo, e quale parser ha trasformato la stringa in un numero? Se il sistema può rispondere, un assistente può citarlo e un'esecuzione di addestramento può includerlo o escluderlo di proposito. Se non può, il modello sta riassumendo una pagina che nessuno può ricostruire. I campi strutturati sono il modo in cui i dati web restano ispezionabili. Non sono l'affermazione che ogni pagina del web sia vostra da prendere.

FAQ