Wstęp
W poprzednim wpisie (domalowanie palmy na zdjęciu) sprawdziliśmy, czy narzędzie potrafi dodać na zdjęciu popularne obiekty, takie jak palma czy żółw. Polecenia były proste, bardzo ogólne. Narzędzie potrafiło dodać żądany obiekt w wyznaczonym obszarze, choć przejawiało skłonności do wstawiania kompletnych, mocno uwarunkowanych od otoczenia obiektów. Np. palma rośnie od ziemi (szok 😉 ), najczęściej zaczynając od linii piasek-woda. Zakładam że to wynik zbyt prostych (ogólnych) poleceń, przez co narzędzie dość losowo dodawało obiekty.
Fooocus ma możliwość, oprócz generowania fotorealistycznych obrazów, modyfikować, dodawać lub usuwać obiekty np. ze zdjęć. To czy potrafi generować nowe obrazy lub dodawać kolejne elementy już sprawdziliśmy. Dzisiaj skupimy się na usuwaniu niepożądanych obiektów ze zdjęcia.
Usunięcie ludzi ze zdjęcia
Na początek weźmy zdjęcie plaży wykonane z drona. Zdjęcie przedstawia kilka łodzi zacumowanych przy plaży, jednak w wodzie znajdują się również ludzie. Spróbujmy usunąć ich ze zdjęcia. W tym celu zaznaczamy pole „Input image” a następnie przechodzimy do zakładki „Inpaint or Outpaint”. Wybieramy zdjęcie.
Na widocznym zdjęciu możemy zamalować obszar (lub obszary) które mają zostać zmodyfikowane. Przypomina to dodawanie maski w programie graficznym. Zaznaczyłem fragmenty z ludźmi. Nie zmieniłem metody, zostawiłem domyślną opcję „Inpaint or Outpaint”. W polu na polecenie wpisałem „remove people”.
Klikamy „Generate”. Oto zdjęcie wynikowe:
Na zdjęciu widać że postacie ludzi zostały poprawnie usunięte i zastąpione wodą, która ich otaczała. Jednak układ fal zdradza miejsca gdzie byli wcześniej. Te miejsca wydają się lekko rozmazane. Dla sprawdzenia efektu, spróbujmy usunąć większy obiekt – jedną z łodzi.
Usunięcie łodzi ze zdjęcia
Usunięcie małego obiektu z poprzedniego zdjęcia na wymagającym tle (fale które tworzą zróżnicowaną fakturę, trudną do „zalania”) przyniosło lekko rozmazane obszary, które tak naprawdę po prostu nie pasują układem fal.
Efekt jest podobny – powstał obszar wyglądający trochę jak przeklejony z innego zdjęcia. Narzędzie umożliwia również modyfikację obszarów, więc zapewne da się to poprawić, ale dzisiaj sprawdzamy tylko możliwość samego usuwania obiektów. Jak widać działa to na zasadzie zasłonięcia takiego obiektu tłem, które go otacza. Aby uzyskać lepszy efekt, można też oczywiście wykonać kilka wersji obrazu wynikowego i po prostu wybrać ten który wygląda naturalnie.
Usunięcie tekstu z ubrania
Już wiemy że na zróżnicowanym tle będą artefakty, to spróbujmy zrobić coś prostszego – usunąć napisy z koszulki. Napisy są na jednym, połączonym obszarze, a tło jest białe.
Bez owijania w bawełnę, oto wynik dla polecenia „remove the text”:
Cóż, starego tekstu nie ma, ale pojawił się jakiś obrazek z koślawym tekstem. Spróbujmy zmienić treść polecenia na „set white”. Oto wynik:
Obszar po usunięciu napisów wydaje się nieco rozmazany ale fałdy na koszulce układają się naturalnie. Jedynie na wysokości klatki piersiowej wydaje się że narzędzie nagina się do zaokrąglenia kształtów, jednak nadal wygląda to całkiem dobrze.
Podsumowanie
Fooocus nieźle radzi sobie z usuwaniem obiektów, i co ważne, polegając tylko na domyślnych opcjach lub dostępnych „na wierzchu” interfejsu. Rozwiązania typu Fooocus posiadają zwykle (i tu jest podobnie) preprocesor wprowadzanego tekstu, aby odciążyć Użytkownika „w codziennej pracy”. Trzeba jednak mieć świadomość że jest to nastawione na popularne przypadki użycia. Opcje typu usuwanie obiektów wymagają więcej wiedzy o narzędziu lub o samym konstruowaniu poleceń. Dziś udało nam się usunąć sylwetki ludzi, łódź czy napisy na koszulce, ale jak widać z napisami nie poszło „od ręki”. Zrobiłem więcej testów dla usuwania napisów z koszulki, zarówno dla poleceń „remove the text”, „set white” jak i bez polecenia. Przy odpowiedniej ilości prób zawsze któraś zwracała „czystą” koszulkę, choć trzeba przyznać że dla polecenia „set white” efekt był najbardziej satysfakcjonujący. Narzędzie jest wyuczone pewnych zachowań i stara się przystosować wynik to otoczenia które „zna”. Zapewne dłuższe polecenia rozwiązałyby ten problem, przez co efekt byłby powtarzalny a nie polegał na ślepym trafie.
Źródła
- Zdjęcie plaży z lotu ptaka Gaddafi Rusli / Unsplash
- Zdjęcie mężczyzny w koszulce Vinícius Henrique Photography / Unsplash