Image Classification

개요

• gstreamer elements들과 nufistreamer elements들을 이용하여 비디오의 각 프레임을 추론한 result 영상을 조회하는 예제입니다.
• 해당 pipeline에서는 sdpreprocess, sdinfer, sdpostprocess, sdtextoverlay 총 4개의 nufistreamer element를 이용합니다.

Pipeline example command

gst-launch-1.0 -v\
    filesrc location=$VIDEO_PATH \
    ! h264parse \
    ! avdec_h264 max-threads=16\
    ! videoconvert n-threads=16 \
    ! queue \
    ! sdpreprocess \
        model-config=$MODEL_CONFIG_PATH \
        n-threads=16 \
    ! queue \
    ! sdinfer \
        model-config=$MODEL_CONFIG_PATH \
    ! sdpostprocess \
        model-config=$MODEL_CONFIG_PATH \
    ! sdtextoverlay \
    ! videoconvert n-threads=16 \
    ! videoscale \
    ! autovideosink

Model config json file

• model inference와 관련이 있는 sdpreprocess, sdinfer, sdpostprocess element들에는 model과 관련된 config json 파일이 필요합니다.
  • input_config: sdpreprocess에서 사용되는 config 정보입니다.
  • model_config: sdinfer에서 사용되는 config 정보입니다.
  • output_config: sdpostprocess에서 사용되는 config 정보입니다.

Resnet50 model config json example

{
    "config_version": "1.0.0",
    "input_config": [
        {
            "format": "image",
            "params": {
                "color_type": "RGB",
                "color_mean": [
                    123.68,
                    116.78,
                    103.94
                ],
                "color_scale": [
                    58.395,
                    57.12,
                    57.375
                ],
                "color_channel": "FP32",
                "dim_type": "NCHW",
                "resize_base": "MIN",
                "resize": [
                    256
                ],
                "crop": [
                    224,
                    224
                ]
            }
        }
    ],
    "model_config": {
        "model_type": "pycall",
        "model_platform": "onnx-cpu",
        "model_py_path": "/workspaces/sdstreamer/py-infer/infer/",
        "model_py_name": "pyinfer_onnx",
        "model_file": "/tmp/models/resnet-50-tf/resnet50-v1-7.onnx",
        "model_batch": "4",
        "model_inputs": [
            {
                "name": "data",
                "size": 4,
                "type": "FP32",
                "dims": [
                    1,
                    3,
                    224,
                    224
                ]
            }
        ],
        "model_outputs": [
            {
                "type": "FP32",
                "name": "resnetv17_dense0_fwd",
                "size": 4,
                "dims": [
                    1,
                    1000,
                    1,
                    1
                ]
            }
        ],
        "model_out_type": "raw"
    },
    "output_config": {
        "converter": "max",
        "labels": "/tmp/models/googlenet-v3/labels-onnx.txt"
    }
}

추론 결과

추론 전 영상	추론 후 영상