5.1 System referencji: reference sheet i jego rola
Część IV dała tożsamość: wytrenowany adapter i plate. Część V zamienia ją w system produkcji, który daje dziesiątki spójnych kadrów na tydzień.
Pierwszym elementem jest Wersjonowana plansza twarzy i ciała persony, względem której ocenia się każde generowanie. — a najczęstszy błąd w tej części pracy to traktowanie go jako punktu startowego. Nim nie jest. Sheet jest wejściem do każdej generacji, na stałe. W momencie, gdy staje się rzeczą, której użyłeś raz, zaczyna się Powolna migracja twarzy od planszy referencyjnej, niewidoczna w jednej klatce, oczywista przez rok., a gdy go zauważysz, masz trzy tygodnie opublikowanego contentu z trzema lekko różnymi twarzami.
Co zawiera sheet
Siatka 3×3 z dziewięciu kadrów, wygenerowana z wytrenowanego adaptera i plate, w wysokiej rozdzielczości, na neutralnym tle, przy równym świetle i bez stylizacji:
| Kolumna A | Kolumna B | Kolumna C | |
|---|---|---|---|
| Rząd 1 | Zbliżenie średnie, neutralne | Plan średni | Plan ogólny |
| Rząd 2 | Cała sylwetka | Z góry | Z dołu |
| Rząd 3 | Profil lewy | Trzy czwarte w prawo | Tyłem, głowa odwrócona |
Dziewięć kadrów, jedna tożsamość. Potem drugi sheet dla ciała: ta sama osoba w tych samych niestylizowanych ubraniach w pełnej wysokości, przód i tył, tak aby referencja garderoby była oddzielona od referencji twarzy.
Cztery wymagania wobec samego sheeta:
Wysoka rozdzielczość, powyżej typowego wyjścia. Jeśli generujesz w 1024, sheet jest w 2048 albo wyżej. Sheet jest tym, do czego ciągną inne generacje, a miękka referencja daje miękkie wyniki.
Neutralne światło i brak stylizacji. Żadnych decyzji o makijażu, żadnych wyborów garderoby, żadnej lokacji. To warstwa z 5.3. Sheet z wpieczoną stylizacją wciąga tę stylizację do każdej generacji, a to problem zanieczyszczenia datasetu z 4.4, który wchodzi innymi drzwiami.
Walidacja wobec 4.6. Oceniaj sheet, zanim go użyjesz. Sheet zbudowany na checkpoincie, który nie przechodzi oceny, rozdziela porażkę po całym pipeline.
Wersjonowanie razem z checkpointem. Sheet v3 należy do Mały adapter niskiego rzędu, od kilkudziesięciu do dwustu megabajtów, który popycha bazę w stronę jednej twarzy. v3 na bazie X. Mieszanie ich to pułapka niezgodności bazy z 4.5.
Budowa sheeta: procedura
Sześć kroków, około dwóch godzin, i warto zrobić je na jednym posiedzeniu, żeby światło i stylizacja były spójne na wszystkich dziewięciu kadrach.
- Potwierdź Jeden zapisany stan modelu albo adaptera, identyfikowany hashem i zapisany jako provenance.. Najpierw oceń adapter w podstawowej baterii z 4.6. Sheet zbudowany na checkpoincie, który nie przechodzi oceny, rozdziela porażkę wszędzie.
- Zablokuj warunki. Jedno neutralne tło, jeden równy układ światła, brak stylizacji, żadnych decyzji o garderobie poza zwykłym ubraniem. Zapisz warunki — są częścią specyfikacji sheeta.
- Wygeneruj dziewięć. Każdy kadr z tego samego adaptera, w tych samych warunkach, w rozdzielczości powyżej wyjściowej. Nie przebieraj między sesjami; sheet złożony z różnych dni i różnych promptów ma niespójne światło.
- Odrzucaj i generuj ponownie, aż wszystkie dziewięć przejdzie. Każdy kadr, który w strukturze twarzy (4.6) wypada poniżej 4, jest generowany ponownie, a nie zostawiany. Sheet jest referencją, do której ciągnie wszystko inne; przeciętny kadr tutaj propaguje.
- Zbuduj sheet ciała osobno. Pełna wysokość, przód i tył, zwykłe ubranie, te same warunki. Proporcje ocenia się niezależnie (4.6) i potrzebują własnej referencji.
- Nazwij, wersjonuj i zarchiwizuj źródłowe prompty.
face-sheet-v3-loRA-v3-base-Xplus prompty, które go wyprodukowały. Jeśli kiedyś będziesz musiał odtworzyć sheet, odtwarzasz go z zapisu, a nie z pamięci.
Uruchom procedurę ponownie, gdy zmieni się wersja adaptera, i nie wcześniej. Sheet jest drogi w zbudowaniu i tani w utrzymaniu.
Dlaczego musi być stałym wejściem
Trzy mechanizmy, z których każdy usuwa pewną klasę dryfu.
Kotwiczy rozkład, nie średnią. Wytrenowany adapter zna już twarz, ale ma też szeroki rozkład wyjścia. Sheet zawęża, w którym miejscu tego rozkładu model ląduje. Bez niego każda generacja jest świeżą próbką; z nim każda generacja jest ciągnięta w stronę dziewięciu stałych punktów.
Naprawia to, czego tekst nie opisze. Prompt może powiedzieć „ta sama twarz" i to nic nie zmienia — nie ma słowa na konkretną osobę. Obraz referencyjny to jedyny mechanizm, który niesie konkret.
Czyni błąd sprawdzalnym. Z sheetem pytanie „czy to pasuje?" ma odpowiedź: połóż kadr obok sheeta. Bez niego porównujesz z pamięcią, a to błąd oceniania z 4.6.
Obraz referencyjny to stały node wejściowy, nie fragment tekstu promptu. Jeśli twój workflow wymaga ponownego wgrania referencji przy każdej generacji, to nie preferencja — to wada projektu, która da dryf w dniu, w którym zapomnisz. Wbuduj referencję w sam workflow (5.4).
Metoda z warunkowaniem referencją — uczciwa ocena
Istnieje szeroko rozpowszechnione podejście, które używa reference sheeta jako przykładu w kontekście dla ogólnego modelu obrazu: dostarczasz sheet jako wiedzę plus pisemny opis postaci i prosisz o nową scenę.
Co daje. Żadnego treningu, żadnego adaptera, do użycia w ciągu godziny. Dla persony, która musi istnieć już dziś, to najszybsza droga od zera do publikowalności, a rozdział 4.2 traktuje je jako pierwszy szczebel drabiny metod.
Co kosztuje. [UNVERIFIED] Podejście jest niespójne w sposób trudny do przewidzenia. Operatorzy raportują, że trzyma przez jakiś czas, a potem dryfuje — twarz zaczyna się przesuwać, szczególnie wokół oczu i szczęki, a dryf nie jest wyraźnie skorelowany z niczym w prompcie. Ma też skłonność do odtwarzania stylu reference sheeta, bo ogólny model traktuje dostarczone obrazy zarówno jako sygnał stylistyczny, jak i sygnał tożsamości.
Uczciwe ujęcie: metoda jest sensownym sposobem na start i słabym sposobem na kontynuację. Użyj jej, żeby sprawdzić, czy persona działa, zanim poświęcisz weekend na trening (4.7). Nie buduj na niej roku contentu, żeby potem odkryć dryf — bo wtedy masz dryf już opublikowany.
Jeśli jednak jej używasz, dwa środki zaradcze: trzymaj stylizację sheeta całkowicie neutralną, żeby nie było stylu do wycieku, i sprawdzaj tożsamość co tydzień, a nie co kwartał.
Jak sheet jest używany w generacji
Kolejność działań, zgodna z dwuwarstwową architekturą z 4.7:
- Warstwa tożsamości: adapter plus sheet jako warunkowanie referencją. Zamrożone ustawienia.
- Warstwa sceny: prompt opisuje lokację, garderobę, światło, akcję. Nigdy nie opisuje twarzy.
- Kompozycja: kadrowanie wybrane z reguł kita (2.5).
Reguła, która zapobiega większości awarii tożsamości: prompt opisuje wszystko poza osobą. W momencie, gdy prompt zawiera opis twarzy, konkurują dwa źródła tożsamości — referencja i tekst — a tekst wygrywa częściej, niż się spodziewasz. To ta sama zasada captioningu co w 4.5, zastosowana w czasie generacji.
Referencje ciała, garderoby i lokacji
Twarz to jedna warstwa referencji; są jeszcze trzy i należą do tego samego folderu z tą samą dyscypliną.
Referencja ciała. Sheet w pełnej wysokości, w niestylizowanym ubraniu, przód i tył. Spójność twarzy nie implikuje spójności ciała — proporcje dryfują niezależnie, dlatego 4.6 ocenia je osobno.
Referencja garderoby. Jeden obraz na strój, na personie, widok z przodu. Garderoba jest assetem wielokrotnego użytku, nie decyzją na post, a jej spójność nie jest zadaniem adaptera.
Referencja lokacji. Jeden czysty plate na powracającą lokację: kuchnia, ulica, kawiarnia, bez ludzi. Lokacje to najtańsza wygrana na spójności, jaką masz, bo lokację można wygenerować raz i używać latami, podczas gdy twarz trzeba utrzymywać.
Rozdział 5.3 buduje wszystkie trzy. Chodzi o to, że są referencjami w tym samym sensie co sheet — stałymi wejściami, wersjonowanymi i nieimprowizowanymi od nowa na każdy post.
Gdzie to się psuje
Użycie sheeta raz. Dryf staje się kwestią czasu.
Sheet ze wpieczoną stylizacją. Styl propaguje do każdej generacji.
Sheet w niskiej rozdzielczości. Wszystko poniżej dziedziczy miękkość.
Ręczne ponowne wgrywanie referencji. Zostanie zapomniane, a zapomniana generacja jest tą, która idzie do publikacji.
Opis twarzy w prompcie. Dwa konkurujące źródła tożsamości; wygrywa to niewłaściwe.
Brak referencji ciała lub garderoby. Spójność twarzy bez spójności proporcji — widownia to zauważa, nawet gdy nie umie tego nazwać.
Pomieszane wersje sheeta i checkpointu. Niezgodność jest subtelna i wygląda jak dryf.
Bramka
- Czy masz sheet twarzy 3×3, w rozdzielczości powyżej wyjściowej, przy neutralnym świetle, bez stylizacji?
- Czy jest oceniony wobec 4.6?
- Czy sheet jest stałym wejściem w workflow, a nie ręcznie wgranym plikiem?
- Czy referencje ciała, garderoby i lokacji istnieją jako osobne warstwy?
- Czy twój szablon promptu opisuje wszystko poza osobą?
- Czy sheet jest wersjonowany razem z checkpointem, do którego należy?
Z czym wychodzisz
Sheet twarzy 3×3 z czterema wymaganiami jakościowymi, osobny sheet ciała i dwie dalsze warstwy referencji, uzasadnienie mechanizmów, dlaczego sheet musi być stałym wejściem, a nie punktem startowym, uczciwą ocenę metody z warunkowaniem referencją — z tym, ile kosztuje i kiedy ją porzucić — oraz regułę operacyjną, która niesie większość tej części: opisuj wszystko poza osobą.