为什么 deeplab v3+ 模型对图像边界之外的像素感到困惑?

Question

我正在使用谷歌研究github存储库在我的数据集上运行deeplab v3+，以分割汽车的各个部分。我使用的裁剪大小是 513,513(默认(，代码为小于该大小的图像添加了边界(如果我错了，请纠正我(。

例！

该模型在添加的边界上似乎表现不佳。我应该纠正什么吗，或者模型在更多训练后会做得很好吗？

更新：这是用于训练的张量板图。为什么正则化损失是这样的？输出似乎正在改善，有人可以帮助我从这些图表中推断吗？

Answer 1

我应该纠正什么，或者模型在更多训练后会做得很好吗？

没关系，不要介意边界

---

要进行推理，您可以使用此代码

import cv2
import tensorflow as tf
import numpy as np
from PIL import Image
from skimage.transform import resize

class DeepLabModel():
"""Class to load deeplab model and run inference."""
INPUT_TENSOR_NAME = 'ImageTensor:0'
OUTPUT_TENSOR_NAME = 'SemanticPredictions:0'
INPUT_SIZE = 513

def __init__(self, path):
"""Creates and loads pretrained deeplab model."""
self.graph = tf.Graph()
graph_def = None
# Extract frozen graph from tar archive.
with tf.gfile.GFile(path, 'rb')as file_handle:
graph_def = tf.GraphDef.FromString(file_handle.read())
if graph_def is None:
raise RuntimeError('Cannot find inference graph')
with self.graph.as_default():
tf.import_graph_def(graph_def, name='')
self.sess = tf.Session(graph=self.graph)

def run(self, image):
"""Runs inference on a single image.
Args:
image: A PIL.Image object, raw input image.
Returns:
seg_map: np.array. values of pixels are classes
"""
width, height = image.size
resize_ratio = 1.0 * self.INPUT_SIZE / max(width, height)
target_size = (int(resize_ratio * width), int(resize_ratio * height))
resized_image = image.convert('RGB').resize(target_size, Image.ANTIALIAS)
batch_seg_map = self.sess.run(
self.OUTPUT_TENSOR_NAME,
feed_dict={self.INPUT_TENSOR_NAME: [np.asarray(resized_image)]})
seg_map = batch_seg_map[0]        
seg_map = resize(seg_map.astype(np.uint8), (height, width), preserve_range=True, order=0, anti_aliasing=False)

return seg_map

代码基于此文件 https://github.com/tensorflow/models/blob/master/research/deeplab/deeplab_demo.ipynb

model = DeepLabModel(your_model_pb_path)
img = Image.open(img_path)
seg_map = model.run(img)

---

要获得your_model_pb_path您需要将模型导出到 .pb 文件 您可以使用 Deeplab 存储库中的export_model.py文件来完成此操作 https://github.com/tensorflow/models/blob/master/research/deeplab/export_model.py

如果您正在训练xception_65版本

python3 <path to your deeplab folder>/export_model.py 
--logtostderr 
--checkpoint_path=<your ckpt> 
--export_path="./my_model.pb" 
--model_variant="xception_65" 
--atrous_rates=6 
--atrous_rates=12 
--atrous_rates=18 
--output_stride=16 
--decoder_output_stride=4 
--num_classes=<NUMBER OF YOUR CLASSES> 
--crop_size=513 
--crop_size=513 
--inference_scales=1.0 

<your ckpt>是训练模型检查点的路径，您可以在训练时作为参数--train_logdir传递的文件夹中找到检查点

只需在 PATH 中包含模型名称和迭代次数，或者换句话说，您将在训练文件夹中包含，例如文件。model-1500.meta，model-1500.index和model-1000.data-00000-of-00001你需要丢弃.之后的所有内容，所以ckpt路径将是model-1000

请确保atrous_rates与用于训练模型的相同

如果您正在训练mobilenet_v2版本

python3 <path to your deeplab folder>/export_model.py 
--logtostderr 
--checkpoint_path=<your ckpt> 
--export_path="./my_model.pb" 
--model_variant="mobilenet_v2" 
--num_classes=<NUMBER OF YOUR CLASSES>  
--crop_size=513 
--crop_size=513 
--inference_scales=1.0

您可以在此处找到更多内容 https://github.com/tensorflow/models/blob/master/research/deeplab/local_test_mobilenetv2.sh https://github.com/tensorflow/models/blob/master/research/deeplab/local_test.sh

---

您可以使用此代码可视化结果

img_arr = np.array(img)
# as may colors as you have classes
colors = [(255, 0, 0), (0, 255, 0), ...] 
for c in range(0, N_CLASSES):
img_arr[seg_map == c] = 0.5 * img_arr[seg_map == c] + 0.5 * np.array(colors[c])
cv2.imshow(img_arr)
cv2.waitKey(0)