4.5 Trening LoRA: kompletny warsztat

Opisuj w captionie to, co chcesz móc zmieniać. Zostaw bez captionu to, co jest częścią osoby.

Jeśli chcesz móc zmieniać strój, nazwij strój w captionie. Jeśli chcesz zmieniać tło, nazwij tło. Jeśli chcesz, by twarz była stała — a chcesz — nie opisuj twarzy wcale.

Zestaw captionów dla persony wygląda więc tak: trigger token plus zmienne:

ohwx_woman, red jacket, outdoor street, overcast light, smiling
ohwx_woman, black turtleneck, studio backdrop, softbox, neutral expression
ohwx_woman, denim shirt, kitchen interior, window light, laughing

I celowo nie:

ohwx_woman, oval face, brown eyes, sharp jaw, straight nose

Drugi styl to produkt naiwnego auto-captionera. W abstrakcji nie jest błędny — opisuje obraz trafnie. Jest błędny dla tego celu, bo uczy model, że słowa „brown eyes" są wyjaśnieniem twarzy. Potem te słowa stają się dźwignią: zmień je, a twarz się zmieni, niezależnie od trigger word. To dryf tożsamości, wprowadzony z powrotem przez captiony.

Trigger token. Rzadki ciąg, dla którego model nie ma wcześniejszej wiedzy, więc wiąże się w całości z twoim pojęciem. Konwencja to bezsensowny token, który nie występuje w naturalnym języku. Używaj tego samego tokenu przy każdym ponownym treningu tej persony, bo to interfejs między twoimi promptami a artefaktem.

Ręcznie czy automatycznie? Automatyczne captionery są szybkie i produkują rozwlekły styl powyżej. Jeśli któregoś użyjesz, usuń potem opisy twarzy. Dla datasetu 25 obrazów ręczne napisanie captionów zajmuje dwadzieścia minut i daje pełną kontrolę nad tą jedną zasadą, która ma znaczenie. Zrób to ręcznie.

Czas i pieniądze

Porównaj to z alternatywą z 4.3, gdzie te same dwie godziny tygodniowo sumują się w roczną liczbę. Przebieg treningu plus popołudnie to mniej niż dziesięć godzin. Kiedy twój wolumen to uzasadnia, ekonomia ścieżki treningowej wygrywa wyraźnie.

Wybór checkpointu do zachowania

To sekcja, która ratuje przebieg, a błąd, któremu zapobiega, jest powszechny: zachowanie ostatniego checkpointu.

Loss treningowy to słaby sygnał w tym zadaniu. Mówi, że model dopasowuje się do datasetu, co nie jest tym samym co utrzymanie tożsamości. Przebieg prowadzony zbyt długo pokazuje niski loss i sztywną twarz — persona nie potrafi już uśmiechnąć się inaczej, obrócić ani być inaczej oświetlona, żeby spójność tożsamości się nie załamała albo obraz nie nabrał plastikowej jakości.

Metoda:

1. Zapisuj co 250 do 500 kroków. Ustaw to przed przebiegiem. Kosztuje miejsce na dysku i nic więcej.
2. Próbkuj ze stałym zestawem promptów w tym samym rytmie. Za każdym razem te same trzy lub cztery prompty, obejmujące ujęcie frontalne, ujęcie 3/4 i jedną zmianę sceny.
3. Po przebiegu oceń checkpointy na odłożonych obrazach z 4.4 i protokołem z 4.6 — nie na zbiorze treningowym.
4. Zachowaj co najmniej trzy checkpointy: ten z najlepszym wynikiem, ten bezpośrednio przed nim i ostatni. Dysk jest tani; ponowny przebieg nie.
5. Zapisz wybraną liczbę kroków w rejestrze iteracji razem z wersją datasetu i parametrami.

Wzorzec, którego się spodziewaj wraz ze wzrostem liczby kroków: spójność tożsamości się poprawia, potem wchodzi na plateau, potem elastyczność spada, podczas gdy spójność tożsamości się trzyma albo nawet rośnie. Najlepszy checkpoint jest zwykle blisko końca plateau — nie pierwsza klatka, która wygląda jak twoja persona, i nie ostatnia, którą wyprodukował trener.

Pułapka: LoRA należy do swojej bazy

Adapter to zbiór wag, który modyfikuje konkretne warstwy konkretnego modelu. Zmień bazę, a modyfikacja albo się nie wczyta, albo wyprodukuje coś niezamierzonego.

Co to znaczy w praktyce:

• Zapisz dokładny plik i hash modelu bazowego razem z LoRA. „FLUX" to nie identyfikator; identyfikatorem jest konkretny plik checkpointu.
• LoRA działa najlepiej w natywnej rozdzielczości i precyzji treningowej bazy. Skwantyzowana baza w połączeniu z LoRA trenowaną w pełnej precyzji to mierzalny rozjazd. [UNVERIFIED]
• W obrębie rodziny podwarianty nie są wymienne. Wariant destylowany i wariant pełnej jakości z tej samej rodziny nie dzielą warstw, których dotyka LoRA.
• Aktualizuj bazę świadomie i licz się z ponownym treningiem. Rozdział 12.4 traktuje rotację bazy jako projekt z krokiem ponownego treningu, a nie zmianę konfiguracji.
• Zachowaj stary plik bazy. Jeśli musisz odtworzyć asset sprzed sześciu miesięcy, przepisem jest baza plus LoRA plus ustawienia — a baza to składnik, o którego archiwizacji ludzie zapominają.

Gdzie to się psuje

Trening na bazie niekomercyjnej i odkrycie tego po starcie. Najpierw sprawdź licencję.

Captioning twarzy. Zbudowałeś dźwignię, która zmienia tożsamość, i pociągniesz ją przez przypadek.

Zostawienie wysokiego learning rate, bo obrazy „wyglądają na ostrzejsze". Wyglądają na przeprocesowane.

Trening text encodera domyślnie. Wolniej, więcej VRAM, gorsze trzymanie się promptu, zero korzyści dla twarzy.

Zachowanie tylko końcowego checkpointu. Ostatni krok przebiegu rzadko jest najlepszą wersją tożsamości, a często najbardziej sztywną.

Ocena checkpointów na obrazach treningowych. Wybierzesz ten najbardziej zapamiętany.

Brak archiwizacji modelu bazowego. Przepis staje się niewykonalny.

Oczekiwanie, że LoRA naprawi niespójne oświetlenie albo garderobę. Nie naprawi; to problem rozdziału 5.4.

Bramka

1. Która baza i jaka jest jej licencja?
2. Gdzie jest zapisana twoja konfiguracja treningu i czy możesz ją odtworzyć dokładnie?
3. Czy captiony są wolne od opisów twarzy i pełne opisów zmiennych?
4. Czy save-every-N jest ustawione i zachowane są co najmniej trzy checkpointy?
5. Która liczba kroków wygrała i jaki wynik dała na zbiorze odłożonym?
6. Czy plik modelu bazowego jest zarchiwizowany, a jego hash zapisany?

Z czym wychodzisz

Wybór bazy oparty na licencji i sprzęcie, a nie na benchmarku; trener ustawiony domyślnie na powtarzalny plik konfiguracyjny; każdy parametr, który ma znaczenie, z wartością startową i awarią, którą powoduje; zasada captioningu, która nie pozwala tożsamości przeciec do słownika promptów; model kosztu od dwóch do czternastu dolarów; oraz metoda wyboru checkpointu, która mierzy tożsamość na obrazach, których model nigdy nie widział.