Wykonujesz transfer learning do klasyfikacji marek i modeli pojazdów, używając wstępnie wytrenowanego modelu, który został wytrenowany na ogólnych obrazach. Posiadasz duży, oznakowany zbiór danych obrazów pojazdów. Jak należy zainicjować model przed ponownym trenowaniem na zbiorze danych pojazdów?

W transfer learningu, szczególnie gdy wstępnie wytrenowany model pochodzi z ogólnych danych (np. ImageNet), a zadanie jest specyficzne (klasyfikacja marek pojazdów), najlepszym podejściem jest zachowanie wag z większości warstw wstępnie wytrenowanego modelu. Te warstwy nauczyły się wykrywać ogólne cechy, takie jak krawędzie, tekstury czy kształty, które są przydatne również dla obrazów pojazdów. Końcowa warstwa w pełni połączona musi zostać zastąpiona nową, ponieważ jest ona odpowiedzialna za klasyfikację na podstawie oryginalnych klas, a my potrzebujemy jej do klasyfikacji naszych nowych klas (marek i modeli pojazdów). Następnie trenujemy model na naszym zbiorze danych, dostosowując wagi nowej warstwy i ewentualnie fine-tuningu wcześniejszych warstw. Inicjowanie wszystkich warstw losowymi wagami ignoruje korzyści z wstępnego treningu. Zachowanie oryginalnej końcowej warstwy nie pozwoli na klasyfikację nowych klas.