Super Resolution

개요

• gstreamer elements들과 nufistreamer elements들을 이용하여 비디오의 각 프레임을 추론한 result 영상을 조회하는 예제입니다.
• 해당 pipeline에서는 sdpreprocess, sdinfer, sdpostprocess, sdsrvisual 총 4개의 nufistreamer element를 이용합니다.

Pipeline example command

gst-launch-1.0 -v\
    filesrc location=$VIDEO_PATH \
    ! h264parse \
    ! avdec_h264 max-threads=16\
    ! videoconvert n-threads=16 \
    ! queue \
    ! sdpreprocess \
        model-config=$MODEL_CONFIG_PATH \
        n-threads=16 \
    ! queue \
    ! sdinfer \
        model-config=$MODEL_CONFIG_PATH \
    ! sdpostprocess \
        model-config=$MODEL_CONFIG_PATH \
    ! sdsrvisual \
    ! videoconvert n-threads=16 \
    ! autovideosink

Model config json file

• model inference와 관련이 있는 sdpreprocess, sdinfer, sdpostprocess element들에는 model과 관련된 config json 파일이 필요합니다.
  • input_config: sdpreprocess에서 사용되는 config 정보입니다.
  • model_config: sdinfer에서 사용되는 config 정보입니다.
  • output_config: sdpostprocess에서 사용되는 config 정보입니다.

EDSR model config json example

{
    "config_version": "1.0.0",
    "input_config": [
        {
            "format": "image",
            "params": {
                "color_type": "RGB",
                "color_mean": [
                    0,
                    0,
                    0
                ],
                "color_scale": [
                    1,
                    1,
                    1
                ],
                "color_channel": "FP32",
                "dim_type": "NCHW",
                "resize_base": "MAX",
                "resize": [
                    128,
                    128
                ]
            }
        }
    ],
    "model_config": {
        "model_type": "pycall",
        "model_platform": "onnx-cpu",
        "model_py_path": "/workspaces/sdstreamer/py-infer/infer/",
        "model_py_name": "pyinfer_onnx",
        "model_file": "/tmp/models/edsrx4/EDSRx4.onnx",
        "model_inputs": [
            {
                "name": "modelInput",
                "type": "FP32",
                "size": 4,
                "format": "NCHW",
                "dims": [
                    1,
                    3,
                    128,
                    128
                ]
            }
        ],
        "model_outputs": [
            {
                "name": "modelOutput",
                "type": "FP32",
                "size": 4,
                "dims": [
                    1,
                    3,
                    512,
                    512
                ]
            }
        ],
        "model_out_type": "raw",
        "model_batch": 1
    },
    "output_config": {
        "converter": "sr",
        "width": 512,
        "height": 512
    }
}

추론 결과

추론 전 영상	추론 후 영상