Preservare lo stile in Image to Prompt: cosa abbiamo cambiato e perché

Un soggetto fedele nello stile sbagliato

Le segnalazioni erano coerenti. Qualcuno carica un riferimento, ottiene un prompt, lo esegue, e il risultato è riconoscibilmente la stessa scena—stesso soggetto, stessa inquadratura, più o meno la stessa luce—ma non assomiglia alla propria immagine. La texture è più pulita. Il colore è più ricco. Qualcosa è stato smussato.

Quello schema è un indizio. Quando soggetto e composizione sopravvivono ma superficie e finitura no, il prompt sta descrivendo cosa c'è nell'inquadratura piuttosto che come l'inquadratura è stata realizzata. Sono compiti diversi, e il secondo è molto più facile da sbagliare.

Lo stile era una voce in un elenco di nove

La nostra istruzione al modello di visione chiedeva in precedenza di catturare ‘soggetto, ambientazione, composizione, obiettivo o inquadratura, illuminazione, palette, materiali, atmosfera e stile.’ Sembra una checklist accurata. In pratica è un modo per garantire che lo stile riceva un nono dell'attenzione.

Un elenco piatto invita a una copertura uniforme. Ma lo stile non è un attributo tra nove—decide come vengono resi gli altri otto. Ed è anche il più difficile da mettere in parole, il che lo rende la voce che ha più bisogno di indicazioni supplementari e, in un elenco come quello, la voce che ha meno probabilità di riceverne.

Dai allo stile un vocabolario, non un aggettivo

Chiedi a un modello linguistico di descrivere lo stile senza dirgli di cosa è fatto lo stile, e ricorrerà alle parole più vicine al concetto: ‘digital art,’ ‘highly detailed,’ ‘cinematic.’ Non sono descrizioni. Non portano quasi nessuna informazione sull'immagine specifica che ha davanti.

Peggio ancora, lasciano un vuoto, e il modello di immagine a valle riempie quel vuoto con la propria estetica predefinita—che è esattamente ciò che si stava cercando di sovrascrivere. La soluzione è nominare gli assi in cui lo stile si scompone realmente, così il modello ha qualcosa di concreto a cui fare riferimento.

• Mezzo e tecnica: fotografia su pellicola 35mm, gouache, rendering 3D, vettoriale piatto, disegno a china.
• Epoca o movimento artistico, che spesso porta più informazione di qualsiasi singolo aggettivo.
• Carattere della fotocamera: sensazione della lunghezza focale, profondità di campo, tipo di pellicola, o il motore di rendering che viene imitato.
• Tecnica del segno: spessore della linea, comportamento del pennello, qualità dei bordi, come si incontrano le superfici.
• Color grading e temperatura, considerati separatamente da quali colori compaiono.
• Grana, texture e finitura della superficie.
• Post-produzione: alone luminoso (halation), aberrazione cromatica, retino a mezzitoni, cel shading, forte compressione.

Non migliorare mai il riferimento

Questo punto ci ha sorpreso per quanto contasse. Ogni modello nella pipeline—quello che legge l'immagine e quello che genera a partire dal prompt—ha un bias di miglioramento. Di fronte a qualcosa di piatto, sottoesposto, illuminato in modo scadente o compresso, restituisce silenziosamente una versione migliore.

Ma l'imperfezione è uno stile. Una foto di festa con flash diretto, uno scatto da telefono bruciato dalla sovraesposizione, una scansione a bassa risoluzione con banding visibile: queste qualità sono di solito l'intera ragione per cui qualcuno ha salvato l'immagine. Quindi l'istruzione ora lo dice esplicitamente—se l'immagine è amatoriale, piatta, a bassa fedeltà o imperfetta, dillo chiaramente e mantienila.

Se scrivi i prompt a mano, questo è il miglioramento più facile a tua disposizione. Descrivi i difetti di proposito.

Le parole di qualità vuote non sono gratuite

‘Beautiful,’ ‘stunning,’ ‘masterpiece,’ ‘highly detailed,’ ‘8k,’ ‘award-winning.’ Sembrano innocue, come alzare una manopola del volume. Non lo sono. Un prompt ha un budget di attenzione finito, e ogni parola riempitiva ne sottrae una quota ai termini che descrivono davvero la tua immagine.

Tirano anche verso la media. ‘Award-winning’ non ha alcun significato visivo, quindi il modello lo risolve in qualunque cosa abbia imparato che un'immagine ‘award-winning’ debba sembrare—un'estetica forte e generica che si allontana dal tuo riferimento. La nostra istruzione ora vieta esplicitamente questo elenco.

Identifica lo stile prima di scrivere il prompt

Chiedere analisi e output in un unico passaggio permette al modello di trattare lo stile come uno spazio per un aggettivo da riempire con qualunque cosa capiti a portata di mano. L'istruzione ora si svolge in due fasi. Prima di scrivere qualsiasi cosa, il modello identifica il mezzo e la tecnica di produzione, poi risponde a una domanda specifica.

Nominare quella differenza è l'intero compito. Una volta che è stata nominata, il prompt viene scritto con mezzo e stile in apertura, prima del soggetto—perché è lì che ogni modello di destinazione li pesa maggiormente.

Ogni modello legge un prompt in modo diverso

Le nostre precedenti istruzioni per singolo modello regolavano il tono. Ai prompt per Midjourney veniva chiesto di essere ‘evocativi,’ a quelli per GPT Image di essere ‘diretti e letterali.’ Questo è un registro stilistico, e non è ciò che determina se uno stile sopravvive.

Ciò che lo determina è l'encoder testuale che il modello usa, dove nel prompt si collocano i termini di stile, e quali controlli nativi il modello espone. Questi sono elementi concreti, e differiscono più di quanto la maggior parte delle guide ai prompt ammetta.

• Nano Banana e GPT Image leggono prosa in linguaggio naturale. Dichiara il mezzo nella clausola iniziale, prima del soggetto.
• Flux usa un encoder T5, gestisce bene le frasi lunghe e ignora completamente la sintassi di pesatura come (term:1.2)—l'enfasi deve venire dalla scelta delle parole e dall'ordine delle parole.
• Midjourney pesa fortemente l'inizio del prompt, preferisce frasi dense separate da virgole, e non comprende la negazione scritta in prosa.
• Stable Diffusion legge i token CLIP in blocchi di 77 token e pesa l'inizio di ciascuno, quindi i tag di mezzo e stile vanno messi all'inizio piuttosto che alla fine.

Midjourney ha un parametro che combatte la tua descrizione

Questa è la cosa più utile in questo articolo, e non è affatto una tecnica di scrittura del prompt. Midjourney applica la propria estetica sopra il tuo prompt, governata da --stylize, che di default è impostato a 100. A quel valore, il modello è attivamente incoraggiato a far sì che l'immagine assomigli a Midjourney piuttosto che a ciò che hai chiesto.

Quindi, se stai convertendo un riferimento e l'output continua a tornare più levigato, più cinematografico e più art-directed rispetto alla tua fonte, nessuna quantità di descrizione lo risolverà. È il parametro a sovrascriverti.

Ogni prompt per Midjourney che generiamo ora termina con --style raw, che disattiva quell'estetica di casa, e un --stylize basso, intorno a 50. Le esclusioni sono espresse con --no piuttosto che in prosa, perché la negazione in prosa qui non funziona.

Per Stable Diffusion, metà del prompt è quello negativo

Gli utenti di Stable Diffusion si aspettano due blocchi: il prompt e il prompt negativo. La fedeltà allo stile dipende in gran parte dal secondo, perché è lì che si sopprime la deriva estetica predefinita che il modello applicherebbe altrimenti.

Generavamo solo il primo blocco, che è metà di un risultato completo. I prompt per Stable Diffusion generati ora iniziano con i tag di mezzo e stile, applicano la pesatura (term:1.2) con parsimonia a uno o due tag che definiscono l'aspetto, e includono un prompt negativo scritto appositamente per quella particolare immagine invece di un elenco standard copiato e incollato.

Quando il formato di output e il modello di destinazione sono in disaccordo

Lo strumento permette di scegliere un formato di output—un prompt generico, uno schema strutturato, JSON—e separatamente di scegliere un modello di destinazione. Queste due scelte possono contraddirsi a vicenda. ‘Restituisci solo JSON valido’ e ‘scrivi tag separati da virgole che terminano con parametri’ non possono essere entrambe soddisfatte.

In precedenza passavamo entrambe le istruzioni e lasciavamo che fosse il modello a risolvere la questione. Lo faceva, ma in modo diverso a ogni esecuzione. Questa incoerenza è invisibile come bug ma molto visibile come esperienza: la stessa immagine con le stesse impostazioni produce prompt di carattere sensibilmente diverso, il che si percepisce come una perdita casuale dello stile.

Ora la precedenza è esplicita. I formati liberi affidano l'intero output al modello di destinazione e ne applicano pienamente sintassi e parametri. I formati strutturati possiedono una propria forma, quindi il modello di destinazione contribuisce solo con il vocabolario e non emette parametri.

Leggere un'immagine è trascrizione, non composizione

Un piccolo cambiamento con un effetto sproporzionato: abbiamo abbassato la temperatura di campionamento per gli strumenti che leggono un'immagine. Scrivere un prompt a partire da un'idea approssimativa è un atto creativo e beneficia di un po' di libertà. Leggere un riferimento è più vicino alla trascrizione, e ogni grado di libertà lì è un grado di deriva rispetto a ciò che è realmente nell'inquadratura.

Text to Prompt ha mantenuto il proprio margine di libertà. Image to Prompt e il descrittore sono diventati sensibilmente più letterali.

Cosa portare a casa da tutto questo

La maggior parte di questi cambiamenti sono cose che puoi applicare manualmente, qualunque strumento tu stia usando.

• Nomina il mezzo per primo, prima del soggetto, in ogni prompt.
• Descrivi le imperfezioni deliberatamente, perché i modelli le rimuovono a meno che non venga detto loro di non farlo.
• Elimina i riempitivi di qualità; costano attenzione e tirano verso la media.
• Su Midjourney, ricorri a --style raw e a un --stylize basso prima di riscrivere ancora una volta il prompt.
• Su Stable Diffusion, tratta il prompt negativo come metà del lavoro.
• Poni prima la domanda identificativa: cosa fa sì che questa immagine sembri se stessa?