6.3 Spójność tożsamości w wideo: techniki zaawansowane

Rozdział 6.1 dał regułę: pięć sekund, jeden shot, bez gwałtownych zmian. Ten rozdział mówi, co zrobić, gdy shot, którego potrzebujesz, nie mieści się w tej regule.

Cztery techniki, w rosnącej kolejności nakładu: maska, kontrola pozy, subject binding i rezygnacja na rzecz stillów.

Maska: ogranicz to, co model może zmieniać

Rdzeń maskowanego image-to-video polega na tym, że większość dryfu tożsamości bierze się z tego, że model może na nowo decydować o rzeczach, o których nie musi decydować. Jeśli zamaskujesz regiony, w których zmiana jest dopuszczalna, a resztę zamrozisz, dryf ogranicza się do zamaskowanego obszaru.

Jak to działa. Dostarczasz keyframe plus maskę. Poza maską model dostaje oryginalne piksele jako ograniczenie; wewnątrz maski generuje ruch swobodnie. W workflow image-to-video z rodziny Wan istnieje do tego dedykowany node, a sam pomysł przenosi się na każdy model, który przyjmuje conditioning mask.

Praktyczna konfiguracja dla persony:

Ogólny kształt: regiony krytyczne dla tożsamości zamrażasz bezwzględnie, a ruch dopuszczasz w peryferyjnych. Klip, w którym ruszają się tylko włosy i tło, nadal jest klipem i zachowuje twarz bez zarzutu. To prawomocna estetyka, nie kompromis — znaczna część prawdziwego wideo portretowego wygląda dokładnie tak.

Maska jest rysowana na start frame i obowiązuje przez cały klip. Nie śledzi ruchu i to jest główne ograniczenie tej techniki: jeśli obiekt przesunie się znacząco, maska przestaje odpowiadać anatomii, a model produkuje szew albo zniekształconą kończynę.

Szczera ocena. [UNTESTED] Opublikowane relacje o tej technice w społecznościach operatorów opisują wyniki jako lepsze niż bez maski i nieidealne. Zgłaszane tryby awarii: widoczne przejście na granicach maski, gdy krawędź maski przecina teksturę; zamrożony region, który wygląda na zamrożony (twarz bez wyrazu, gdy włosy się ruszają, czyta się jako uncanny, a nie jako stabilna); trudność z każdą zmianą pozy. Maskę traktuj jako technikę, która podnosi dolny poziom i nie usuwa potrzeby QA.

Łańcuch conditioningu

Maska to jedno z wejść do większego conditioning setup. W workflow opartym na node'ach łańcuch wygląda mniej więcej tak:

CLIP Vision Loader ─→ CLIP Vision Encode ─┐
[upscaled keyframe] ───────────────────────┼─→ Wan Image-to-Video ─→ frames
[mask] ────────────────────────────────────┤
[motion prompt] ───────────────────────────┘

Trzy uwagi konfiguracyjne, które realnie wpływają na wynik.

Wyższa rozdzielczość startu poprawia retencję tożsamości. To krok przygotowania z 6.2 w ujęciu architektonicznym: więcej pikseli referencji to więcej tożsamości, na której model opiera conditioning. Jeśli twoje workflow ma ustawienie rozdzielczości dla conditioning input, podniesienie go jest zwykle największą dostępną dźwignią jakości.

Vision encoder i sampling path powinny zgadzać się co do referencji. Podanie jednej wersji keyframe'a do vision encodera, a inaczej przetworzonej wersji do ścieżki wideo, daje niespójny conditioning, który objawia się twarzą walczącą sama ze sobą.

Trzymaj motion prompt krótki, gdy conditioning jest ciężki. Przy masce, referencji i vision encoding razem rozbudowany prompt dokłada sprzeczne instrukcje. Podaj ruch i negatywy; nic więcej.

Kontrola pozy

Gdy potrzebny jest konkretny ruch — obrót, gest, krok — opisanie go tekstem jest zawodne. Kontrola pozy podaje go jako dane.

Jak to działa. Szkielet w stylu openpose, wyciągnięty z reference video albo narysowany ręcznie, wchodzi jako dodatkowy warunek. Model generuje ruch zgodny ze szkieletem, a conditioning obrazu trzyma tożsamość.

Kiedy to się opłaca. Demonstracje, gesty, które persona powtarza jako część swojej postaci, i każdy ruch, w którym treścią jest precyzyjny ruch, a nie dekoracja.

Tryb awarii. Poza i tożsamość to osobne warunki, a model musi spełnić oba. W praktyce pewniej spełnia pozę niż twarz, bo warunek pozy jest jednoznaczny przestrzennie. Pozy dalekie od pozy keyframe'a — stojący keyframe prowadzony szkieletem siedzącym — mocno psują tożsamość, a degradacja nie rzuca się w oczy, dopóki nie obejrzysz klipu.

Praktyczna reguła: trzymaj sterującą pozę w mniej więcej tej samej konfiguracji ciała co keyframe. Jeśli potrzebujesz zupełnie innej pozy, najpierw wygeneruj keyframe w tej pozy (część V) i stamtąd prowadź ruch.

Subject binding i modele, które to oferują

Niektóre modele wideo dają jawną funkcję subject reference — jedną lub dwie reference image'y obiektu podane obok keyframe'a, z instrukcją dla modelu, żeby trzymał je spójne przez cały klip.

Kiedy to pomaga. Klipy wieloujęciowe i każda sekwencja, w której obiekt musi przetrwać zmianę kamery. To najbliższe dostępne rozwiązanie tej zdolności, którą 6.1 wskazuje jako nierozwiązaną.

Czego to nie rozwiązuje. To wiąże wygląd, nie tożsamość w głębokim sensie. Model potrafi trzymać twarz spójnie w shotcie, zmieniając jednocześnie widoczny wiek osoby, zakres ekspresji albo proporcje ciała.

Jak to ocenić. Nie z dem. Weź swój sprawdzony keyframe plus swój reference sheet, wygeneruj shot z ruchem kamery i przejdź go frame-steppingiem. Jeśli twarz utrzymuje się przez cały ruch, funkcja działa dla twojej persony. Dwie godziny testów powiedzą ci więcej niż jakakolwiek ilość treści porównujących modele.

QA ruchu: frame-stepping

QA wideo to inna procedura niż QA stilli, a oglądanie nią nie jest.

Przechodź klip frame po frame'ie, z uwagą na trzy momenty: pierwszy frame (powinien zgadzać się z keyframe'em dokładnie), punkt środkowy (tam dryf zwykle się zaczyna) i ostatni frame (tam jest najbardziej widoczny).

Patrz na przejście, nie na punkt końcowy. Dryf to proces. Sygnał to twarz subtelnie inna w drugiej sekundzie i wyraźnie inna w czwartej, co przy zwykłej prędkości odtwarzania czyta się jako przeskok.

Sprawdzaj dłonie przez cały klip, nie tylko w pierwszym frame'ie. Błędy dłoni w ruchu są gorsze niż w stillach, bo morfują.

Sprawdzaj granice. Jeśli klip ma być złączony z innym, porównaj jego ostatni frame z pierwszym frame'em następnego klipu. Złączenia to miejsca, w których pęka ciągłość, a 6.4 dotyczy zarządzania nimi.

Oceniaj tożsamość po najgorszym frame'ie, nie po średniej. Reguła z rozdziału 4.6 zastosowana do ruchu.

Kiedy odpuścić

Najcenniejsza technika w tym rozdziale i ta, która oszczędza najwięcej pieniędzy.

Jeśli ruchu nie da się wygenerować spójnie po trzech próbach, zmień shot, a nie technikę. Opcje, w kolejności kosztu:

1. Zmniejsz ruch. Mniejsza akcja trzyma się lepiej. Lekki obrót zamiast pełnego obrotu; uniesienie głowy zamiast wstawania.

2. Obejdź problem cięciem. Dwa krótkie klipy z cięciem między nimi zamiast jednego ciągłego ruchu. Cięcie ukrywa dryf, bo widz czyta je jako nowy shot, a nie jako błąd ciągłości.

3. Zastąp ruch stillami. Sekwencja trzech sprawdzonych stillów z push in i sound designem to prawomocne wideo, a kosztuje ułamek wygenerowanego klipu. Rozdział 6.1 wymienia to jako substytut; to także właściwa odpowiedź, gdy ruch opiera się wszystkim technikom powyżej.

4. Zmień plan treści. Niektórych shotów nie warto generować z syntetyczną personą na tym etapie możliwości dziedziny. Przejście przez zatłoczoną ulicę ze spójną twarzą jest jednym z nich. Projektuj konto wokół tego, co jest teraz możliwe, a nie wokół tego, co byłoby idealne — to ta sama dyscyplina co oś wykonalności z 2.1 zastosowana do ruchu.