Zero-shot e few-shot: quando mostrare esempi all’AI
Due termini intimidatori per una domanda ordinaria: descrivi quello che vuoi, o lo mostri?
Una persona con cui lavoro ha passato venti minuti a scrivere istruzioni sul tono di voce per una serie di descrizioni prodotto. Calda ma non informale. Sicura senza esagerare. Concreta, specifica, mai entusiasta a vuoto. Tre paragrafi curati, e l'output continuava a non somigliare al brand.
Poi ha cancellato tutto e ha incollato due descrizioni scritte da lei, con una riga sola: "usa la voce di queste". Il tentativo successivo era abbastanza vicino da poter essere solo limato.
È tutto qui l'argomento. Zero-shot vuol dire che hai chiesto senza esempi. Few-shot vuol dire che ne hai inclusi una manciata. I nomi vengono dai paper di ricerca e fanno sembrare una scelta semplice una tecnica da studiare, cosa che non è.
Quello che vale la pena imparare è quando vince l'una e quando l'altra — e cosa insegnano gli esempi senza che tu voglia insegnarlo.
Il test: sai nominarlo, o sai solo riconoscerlo?
La descrizione funziona quando la cosa che vuoi ha un nome. Sotto le 100 parole. Formale. Una tabella con quattro colonne. Seconda persona. Sono tutti vincoli nominabili, e una volta nominati sono precisi: non serve nessun esempio, e un esempio occuperebbe solo spazio.
Gli esempi funzionano quando riconosci la cosa all'istante ma non sai dire cosa sia. Lo stile di casa. La differenza fra come scrivi tu e una scrittura che ti somiglia. Il modo particolare in cui il tuo team formatta una segnalazione di bug. Lo riconosci quando lo vedi, e ogni tentativo di scriverne la regola perde qualcosa per strada.
Quindi la domanda non è quale tecnica sia migliore. È se hai a che fare con qualcosa di nominabile. Se ti accorgi di stare scrivendo un terzo paragrafo di descrizione, fermati: è il segnale che la descrizione non è lo strumento giusto, non che ne serva di più.
Due o tre esempi, non otto
I rendimenti calano in fretta. Il primo esempio fa quasi tutto il lavoro: stabilisce la forma. Il secondo mostra cosa varia da un caso all'altro, che è la parte che un esempio solo non può trasmettere. Il terzo conferma lo schema.
Oltre quello stai soprattutto spendendo spazio e aggiungendo rischio. Una lunga catena di esempi comincia a diluire l'istruzione vera — lo stesso problema per cui i prompt lunghi falliscono — e rende più probabile che il modello copi caratteristiche di superficie che non ti interessavano.
Due esempi scelti bene battono sei esempi pigri. Se stai cercando il settimo, di solito il problema non è la quantità: è che i tuoi esempi sono troppo simili fra loro per mostrare cosa varia davvero.
Cosa insegnano i tuoi esempi senza volerlo
È la parte di cui nessuno ti avverte, ed è dove il few-shot va davvero storto.
Un modello prende l'intero esempio come schema, non solo la dimensione che avevi in mente tu. Mostra tre descrizioni prodotto che per caso sono tutte lunghe quattro frasi, e gli hai insegnato una lunghezza. Mostrane tre che aprono tutte con una domanda, e gli hai insegnato un'apertura. Mostrane tre prese dai prodotti più venduti, e potresti avergli insegnato una fascia di prezzo.
La regola pratica è far variare tutto tranne la cosa che stai dimostrando. Se gli esempi sono lì per mostrare la voce, falli di lunghezze diverse, strutture diverse, argomenti diversi. Tutto ciò che hanno in comune il modello lo leggerà come intenzionale.
Una trappola collegata: esempi della difficoltà sbagliata. Tre casi facili insegnano al modello che il compito è facile, e affronterà il tuo caso difficile con la stessa leggerezza. Includi apposta un esempio scomodo.
La terza opzione che nessuno nomina: mostrane uno sbagliato
Tutti mostrano esempi di quello che vogliono. Quasi nessuno mostra un esempio di quello che non vuole — ed è spesso la correzione più rapida.
Se l'output continua a scivolare in una direzione precisa, incolla la versione scivolata e etichettala: "questo è quello che non voglio, ed ecco perché". Un quasi-centro annotato con il motivo di solito rende più di tre esempi buoni, perché isola esattamente la dimensione che sta andando storta invece di sperare che il modello la deduca da quello che c'è.
Funziona particolarmente bene per i fallimenti difficili da descrivere: la versione tecnicamente corretta e chissà perché senza vita, quella che sembra un comunicato stampa. Nominarli in modo affidabile non si può. Indicarne uno sì.
Un avvertimento: etichettalo, e tienilo vicino. Un esempio sbagliato senza etichetta in mezzo a quelli buoni è solo un altro esempio, e il modello farà la media di tutti. "Non scrivere così, perché fa X" dev'essere esplicito, altrimenti hai insegnato il contrario di quello che intendevi.
Prima e dopo
La descrizione impegnata in un lavoro che non può fare:
Scrivi una descrizione prodotto nella voce del nostro brand: calda ma non informale, sicura senza esagerare, concreta e specifica, mai entusiasta a vuoto. Circa 60 parole.
La stessa richiesta con due esempi al posto delle istruzioni:
Qui sotto ci sono due descrizioni che abbiamo pubblicato. Usa la loro voce — non la loro struttura né la loro lunghezza, che variano di proposito. Scrivine una terza per il prodotto descritto sotto, circa 60 parole.
[esempio 1]
[esempio 2]
Nota cosa è rimasto: "circa 60 parole" è ancora una descrizione, perché la lunghezza è nominabile e un esempio è un pessimo modo per insegnarla. Anche l'inciso su struttura e lunghezza fa un lavoro vero: dice al modello quali caratteristiche condivise deve ignorare.
Mescolare i due approcci è normale. Nomina ciò che è nominabile, mostra ciò che non lo è.
Quando gli esempi fanno danno
Tre situazioni in cui la risposta onesta è lasciare fuori del tutto gli esempi, anche se di solito mostrare vince.
Vuoi varietà e hai mostrato un solco. Chiedere dieci idee dopo tre esempi ti dà dieci varianti di quei tre. Se l'obiettivo è l'ampiezza, descrivi il territorio e lascia fuori gli esempi.
Gli esempi sono vecchi. Un template con esempi dell'anno scorso continua a produrre il lavoro dell'anno scorso molto dopo che lo stile di casa si è spostato. La descrizione invecchia meglio della dimostrazione.
Portano dentro qualcosa che non vedi. Se i tuoi esempi vengono da un solo autore, una sola linea di prodotto o un solo trimestre, è quello che viene appreso — incluse le assunzioni che nessuno ha mai scritto. Vale la pena controllarlo prima che un template venga condiviso con un team.
In breve
Descrivi ciò che ha un nome, mostra ciò che non ce l'ha. Due o tre esempi sono tutto l'intervallo utile — e fa' variare tutto di loro tranne l'unica dimensione che stai cercando di dimostrare.
E quando ti ritrovi al terzo paragrafo di istruzioni sul tono di voce, quello è il segnale. Incolla due cose che saresti contento di ricevere e scrivi una riga sola.