I am working on my thesis and I need to fuse 2 models using early-fusion for binary classification. For this, I’ve been told to extract the features of the last fully connected layers (both models are VGG), would this be the correct approach?
places365_model = VGG16_Places365(weights='places')
model_365_features = places365_model.get_layer('fc2').output
vgg19_model_location = 'models/vgg19_binary.keras'
vgg19_model = VGG19(weights='imagenet', input_shape=MODELS_INPUT_SHAPE)
vgg19_model_features = places365_model.get_layer('fc2').output
This generates:
<KerasTensor shape=(None, 4096), dtype=float32, sparse=False, name=keras_tensor_73>
<KerasTensor shape=(None, 4096), dtype=float32, sparse=False, name=keras_tensor_73>
The final model code:
x = Concatenate()([model_365_features, vgg19_model_features])
x = Dense(1, activation='sigmoid')(x)
model = Model(Input(shape=(IMG_HEIGHT, IMG_WIDTH, 3), name='input_shape_early_fusion'), x, name='early-fusion')
# Compile model
model.compile(loss='binary_crossentropy',
optimizer=Adam(learning_rate=0.0001),
metrics=['accuracy', Precision(), Recall()])
However, in the summary I get in the 2nd last layer the Input Layer that I had to use to build the Model object and I need to eliminate it. Any idea on why it appears at the end of the model and how can I get rid of it?
The summary:
┏━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┓
┃ Layer (type) ┃ Output Shape ┃ Param # ┃ Connected to ┃
┡━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━┩
│ input_layer │ (None, 224, 224, │ 0 │ - │
│ (InputLayer) │ 3) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block1_conv1 │ (None, 224, 224, │ 1,792 │ input_layer[0][0] │
│ (Conv2D) │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block1_conv2 │ (None, 224, 224, │ 36,928 │ block1_conv1[0][… │
│ (Conv2D) │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block1_pool │ (None, 112, 112, │ 0 │ block1_conv2[0][… │
│ (MaxPooling2D) │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block2_conv1 │ (None, 112, 112, │ 73,856 │ block1_pool[0][0] │
│ (Conv2D) │ 128) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block2_conv2 │ (None, 112, 112, │ 147,584 │ block2_conv1[0][… │
│ (Conv2D) │ 128) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block2_pool │ (None, 56, 56, │ 0 │ block2_conv2[0][… │
│ (MaxPooling2D) │ 128) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block3_conv1 │ (None, 56, 56, │ 295,168 │ block2_pool[0][0] │
│ (Conv2D) │ 256) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block3_conv2 │ (None, 56, 56, │ 590,080 │ block3_conv1[0][… │
│ (Conv2D) │ 256) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block3_conv3 │ (None, 56, 56, │ 590,080 │ block3_conv2[0][… │
│ (Conv2D) │ 256) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block3_pool │ (None, 28, 28, │ 0 │ block3_conv3[0][… │
│ (MaxPooling2D) │ 256) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block4_conv1 │ (None, 28, 28, │ 1,180,160 │ block3_pool[0][0] │
│ (Conv2D) │ 512) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block4_conv2 │ (None, 28, 28, │ 2,359,808 │ block4_conv1[0][… │
│ (Conv2D) │ 512) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block4_conv3 │ (None, 28, 28, │ 2,359,808 │ block4_conv2[0][… │
│ (Conv2D) │ 512) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block4_pool │ (None, 14, 14, │ 0 │ block4_conv3[0][… │
│ (MaxPooling2D) │ 512) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block5_conv1 │ (None, 14, 14, │ 2,359,808 │ block4_pool[0][0] │
│ (Conv2D) │ 512) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block5_conv2 │ (None, 14, 14, │ 2,359,808 │ block5_conv1[0][… │
│ (Conv2D) │ 512) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block5_conv3 │ (None, 14, 14, │ 2,359,808 │ block5_conv2[0][… │
│ (Conv2D) │ 512) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ block5_pool │ (None, 7, 7, 512) │ 0 │ block5_conv3[0][… │
│ (MaxPooling2D) │ │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ flatten (Flatten) │ (None, 25088) │ 0 │ block5_pool[0][0] │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ fc1 (Dense) │ (None, 4096) │ 102,764,5… │ flatten[0][0] │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ drop_fc1 (Dropout) │ (None, 4096) │ 0 │ fc1[0][0] │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ fc2 (Dense) │ (None, 4096) │ 16,781,312 │ drop_fc1[0][0] │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ concatenate │ (None, 8192) │ 0 │ fc2[0][0], │
│ (Concatenate) │ │ │ fc2[0][0] │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ input_shape_early_… │ (None, 224, 224, │ 0 │ - │
│ (InputLayer) │ 3) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ dense (Dense) │ (None, 1) │ 8,193 │ concatenate[0][0] │
└─────────────────────┴───────────────────┴────────────┴───────────────────┘