Image Segmentation

개요

• gstreamer elements들과 nufistreamer elements들을 이용하여 비디오의 각 프레임을 추론한 result 영상을 조회하는 예제입니다.
• 해당 pipeline에서는 sdpreprocess, sdinfer, sdpostprocess, sdsegvisual 총 4개의 nufistreamer element를 이용합니다.

Pipeline example command

gst-launch-1.0 -v\
    filesrc location=$VIDEO_PATH \
    ! h264parse \
    ! avdec_h264 max-threads=16 \
    ! videoconvert n-threads=16 \
    ! queue \
    ! sdpreprocess \
        model-config=$MODEL_CONFIG_PATH \
        n-threads=16 \
    ! queue \
    ! sdinfer \
        model-config=$MODEL_CONFIG_PATH \
    ! sdpostprocess \
        model-config=$MODEL_CONFIG_PATH \
    ! sdsegvisual \
    ! videoconvert n-threads=16 \
    ! autovideosink

Model config json file

• model inference와 관련이 있는 sdpreprocess, sdinfer, sdpostprocess element들에는 model과 관련된 config json 파일이 필요합니다.
  • input_config: sdpreprocess에서 사용되는 config 정보입니다.
  • model_config: sdinfer에서 사용되는 config 정보입니다.
  • output_config: sdpostprocess에서 사용되는 config 정보입니다.

Unet model config json example

{
    "config_version": "1.0.0",
    "input_config": [
        {
            "format": "image",
            "params": {
                "color_type": "RGB",
                "color_mean": [
                    123.68,
                    116.78,
                    103.94
                ],
                "color_scale": [
                    58.395,
                    57.12,
                    57.375
                ],
                "color_channel": "FP32",
                "dim_type": "NCHW",
                "resize_base": "MAX",
                "resize": [
                    256,
                    256
                ]
            }
        }
    ],
    "model_config": {
        "model_type": "onnx",
        "device_type": "cpu",
        "model_batch": "4",
        "thread_inter_op": 0,
        "thread_intra_op": 0,
        "model_file": "/tmp/models/unet/UNET-n.onnx",
        "model_inputs": [
            {
                "name": "input.1",
                "size": 4,
                "type": "FP32",
                "dims": [
                    1,
                    3,
                    256,
                    256
                ]
            }
        ],
        "model_outputs": [
            {
                "type": "FP32",
                "name": "100",
                "size": 4,
                "dims": [
                    1,
                    256,
                    256,
                    1
                ]
            }
        ],
        "model_out_type": "raw"
    },
    "output_config": {
        "converter": "seg"
    }
}

추론 결과

추론 전 영상	추론 후 영상