4.1 Dlaczego twarze dryfują: mechanika

Ta część książki rozwiązuje jeden problem i to on decyduje, czy projekt w ogóle istnieje. Wszystko inne w biznesie wokół persony — kalendarz treści, lejek, produkt czatowy — zakłada, że istnieje twarz, która trwa.

Większość operatorów odbiera dryf jako zagadkę. Zmieniają jedno słowo i dostają inną osobę. Przypisują to „niestabilności" modelu, a potem próbują to naprawić, dodając kolejne słowa, co pogarsza sprawę. Mechanizm jest prostszy i gdy umiesz go nazwać, każda technika z rozdziałów 4.2–4.7 staje się naturalną odpowiedzią na niego.

Model nie pamięta twojej postaci

Model dyfuzyjny jest bezstanowy. Nie wie, że twoja persona istnieje. Każda generacja startuje z szumu i zmierza do twojego warunkowania — a wszystko, czego warunkowanie nie określa, rozstrzyga losowo.

To jest cała przyczyna dryfu. „Ta sama osoba" to nie pojęcie, które model trzyma między wywołaniami. To ograniczenie, które musisz narzucić przy każdej generacji, a o jakości tego narzucania są następne pięć rozdziałów.

Tekst to kanał o niskiej przepustowości dla twarzy

Teraz część ilościowa, bo ona wyjaśnia, dlaczego prompt engineering tego nie rozwiąże.

Ludzka twarz niesie ogromną liczbę rozróżnialnych cech: strukturę kości, stosunek rozstawu oczu do szerokości twarzy, wysokość i szerokość grzbietu nosa, rynienkę podnosową, kształt warg, wysunięcie brody, formę i osadzenie uszu, kształt linii włosów, łuk brwiowy, kształt zębów oraz fakturę skóry na poziomie porów. Dowolne dwie twarze różnią się w tysiącach mierzalnych wymiarów.

Prompt daje ci może cztery do ośmiu z nich. „Owalna twarz, brązowe oczy, ostra szczęka, jasna skóra" to opis, który spełnia bardzo duża liczba różnych osób — precyzja słów nie tworzy precyzji wyniku.

Dryfuje to, co zostaje. Wszystko, czego prompt nie określa, jest losowane. Zmieniasz jedno słowo i zmieniłeś rozkład warunkowy, który losuje nieokreślone wymiary od nowa, a to jest nowa osoba.

Wynikają z tego dwa tryby awarii i to jest ta sama awaria w różnych skalach:

Dryf promptu. Zmiana smiling na laughing nie jest dla modelu zamianą synonimów. Śmiech zmienia geometrię policzków, kształt oczu i położenie ust, więc rozstrzyga te obszary inaczej — a ponieważ tożsamość i ekspresja są splątane w przestrzeni latent, często rozstrzyga całą twarz trochę inaczej. studio na outdoor zmienia model oświetlenia, co zmienia renderowanie każdej powierzchni, a sampler czyta to również jako zmianę obiektu.

Dryf seeda. Zostaw wolny, a nieokreślone wymiary zostaną wylosowane hurtowo od nowa. To najczęstsza przyczyna komunikatu „model jest niestabilny", a to konfiguracja samego operatora.

Reguła widza: twarz nie jest przetwarzana jak ubranie

Oto asymetria, która mówi ci, gdzie wkładać wysiłek.

Percepcja człowieka przeznacza na twarze wyspecjalizowaną maszynerię. Badania nad percepcją twarzy są zgodne, że twarz jest przetwarzana jako konfiguracyjna całość, a zmiana w niej jest rejestrowana bardzo szybko — rzędu jednej piątej sekundy. [UNVERIFIED] Publiczność przewijająca feed nie analizuje twarzy twojej persony. Rozpoznaje ją albo nie, a osąd zapada przed namysłem.

Dla kurtki nie ma odpowiednika tej maszynerii. Niespójność stroju wybacza się godzinami, dniami albo na zawsze, zwłaszcza gdy postać daje na to ramę — zmianę stylu, nowy sezon, sesję zdjęciową. Niespójność twarzy takiej ramy nie ma. Czyta się jako inną osobę, a inna osoba to nie błąd ciągłości w fikcyjnej postaci. To zawalenie się premisy.

Zamknij twarz, zanim zamkniesz ciało.

Twarz to zmienna o wysokiej czułości i wysokim koszcie. Garderoba, plany, rekwizyty i stylizacja mają niską czułość i są tanie w zmianie. Gdy musisz iść na kompromis — a w prawdziwym pipeline'ie pójdziesz — idź na kompromis w stroju, nigdy w twarzy. Najpierw zablokuj tożsamość, a potem użyj pipeline'u z zablokowaną tożsamością do eksplorowania całej reszty. To także tańsza kolejność, bo zablokowana twarz pozwala ci eksplorować garderobę w jednym pipeline'ie, zamiast rozwiązywać tożsamość od nowa przy każdej nowej sesji.

Dryf się kumuluje i to czyni go groźnym

Dryf w wersji na pojedynczy asset jest irytujący. W wersji skumulowanej jest zabójczy.

Post 1 i post 2 różniące się nieznacznie są niewidoczne. Post 1 i post 200 różniące się nieznacznie, w tym samym kierunku, to inna osoba — a wtedy masz już 199 postów historii, które zakotwiczają konto w twarzy, której nie potrafisz już odtworzyć.

Trzy konsekwencje dla sposobu pracy:

Kanoniczny reference plate jest obowiązkowy. Jeden obraz, wybrany świadomie, który jest definicją twarzy persony. Każda generacja jest porównywana z nim, a każdy przyszły trening go używa. Rozdział 4.6 zamienia to porównanie w pomiar.
Zakotwicz na nowo, zamiast dryfować. Gdy generacja dryfuje, poprawną reakcją jest powrót do reference plate i zablokowanej konfiguracji, a nie poprawianie promptu, aż wygląda dobrze. Korekty na poziomie promptu same są zmianami tożsamości i kumulują się.
Tożsamość potrzebuje numeru wersji. Gdy trenujesz od nowa, twarz persony zmienia się nieznacznie, niezależnie od tego, czy tego chciałeś. Rejestr z rozdziału 4.6 zapisuje, która wersja wyprodukowała który asset. Rozdział 12.4 opisuje, dlaczego podmiana tożsamości w trakcie to decyzja, a nie naprawa.

Trzy skale dryfu i ich koszt

Pomaga rozdzielić dryf według tego, ile czasu potrzebuje, żeby się pojawić, bo każda skala ma inną naprawę.

Dryf na generację widać w jednej sesji: ten sam prompt, wolny seed, widocznie inna osoba. Naprawą jest warunkowanie tożsamości — drabinka z 4.2.

Dryf na sesję to ten sam prompt i te same ustawienia dające twarz, która przesuwa się przez godzinę pracy, gdy dostrajasz słowa w pogoni za kompozycją. Naprawą jest dyscyplina: zablokuj konfigurację tożsamości i zmieniaj jedną zmienną naraz względem stałego odniesienia, tak jak opisuje protokół z 3.5.

Dryf na kwartał jest tym groźnym, bo żadna pojedyncza generacja nie wygląda źle. Twarz migruje powoli, gdy twoja biblioteka promptów, wersja modelu bazowego i wagi adaptera zmieniają się pod spójnym workflow. Naprawą jest reference plate plus protokół pomiarowy z 4.6, uruchamiany zgodnie z harmonogramem, a nie wtedy, gdy coś wygląda podejrzanie.

Większość operatorów odkrywa dryf na kwartał tak, jak odkrywa każdy wolny wyciek: gdy obcy człowiek wskazuje dwa posty i pyta, czy to ta sama osoba.

Dryf to koszt, nie estetyczna skarga

Jeszcze jedna zmiana ramy przed technikami.

Każda dryfująca generacja to odrzucony asset. Odrzucenia są dominującym składnikiem formuły kosztu z rozdziału 0.4: operator, który potrzebuje ośmiu prób na jeden użyteczny obraz, płaci za post osiem razy. Dyscyplina tożsamości nie jest więc perfekcjonizmem. To największa pojedyncza dźwignia, jaką masz na , a techniki z tej części pokazują, jak ją pociągnąć.

Warto powiedzieć wprost wniosek poboczny: jeśli twój wskaźnik odrzuceń przekracza około trzy próby na opublikowany asset, problem jest w twojej metodzie tożsamości, a nie w słownictwie promptu.

Gdzie to się psuje

Dodawanie słów, żeby naprawić tożsamość. Więcej opisu zmienia twarz, zamiast ją przypinać. Kanał warunkowania jest za wąski, a więcej tekstu nie poszerza go.

Losowanie seedów od nowa, aż coś wygląda blisko. Losujesz, a nie rozwiązujesz, a następna generacja to inne losowanie.

Obwinianie modelu. Bezstanowość to nie błąd. To architektura, a każda metoda z 4.2 istnieje po to, żeby narzucić stan na system bezstanowy.

Zgoda na „wystarczająco blisko" w pierwszym tygodniu. Dryf na pojedynczym asecie kumuluje się w postać, której nie da się odtworzyć.

Traktowanie dryfu jako losowego. Jest systematyczny względem szablonu promptu. Niektóre twoje szablony dryfują znacznie mocniej niż inne, a wiedza o tym, które, jest darmową informacją.

Blokowanie garderoby przed twarzą. Droższa kolejność i ta, która daje efekt „innej osoby w tej samej kurtce".

Bramka

Czy masz kanoniczny reference plate i umiesz wskazać, który to plik?
Który z twoich szablonów promptu dryfuje najbardziej i czy wiesz dlaczego?
Czy twój seed jest w produkcji zablokowany, czy wolny — i czy to celowe?
Jaki jest twój stosunek prób do opublikowanych assetów?
Która wersja tożsamości jest obecnie opublikowana i gdzie jest to zapisane?

Co z tego zostaje

Mechanizm — bezstanowy model rozstrzygający wszystko, czego warunkowanie nie określa — ilościowy powód, dla którego tekst tego nie naprawi, asymetria percepcyjna, która czyni twarz jedyną zmienną wartą walki, reguła kolejności zamknij twarz, zanim zamkniesz ciało oraz problem kumulacji dryfu, który zamienia irytację na pojedynczym asecie w postać nie do odtworzenia. Rozdział 4.2 zamienia mechanizm w drabinkę metod.