Object Detection

개요

• gstreamer elements들과 nufistreamer elements들을 이용하여 비디오의 각 프레임을 추론한 result 영상을 조회하는 예제입니다.
• 해당 pipeline에서는 sdpreprocess, sdinfer, sdpostprocess, sdosd 총 4개의 nufistreamer element를 이용합니다.

Pipeline example command

gst-launch-1.0 -v\
    filesrc location=$VIDEO_PATH \
    ! h264parse \
    ! avdec_h264 max-threads=16 \
    ! videoconvert n-threads=16 \
    ! queue \
    ! sdpreprocess \
        model-config=$MODEL_CONFIG_PATH \
        n-threads=16 \
    ! queue \
    ! sdinfer \
        model-config=$MODEL_CONFIG_PATH \
    ! sdpostprocess \
        model-config=$MODEL_CONFIG_PATH \
    ! sdosd \
    ! videoconvert n-threads=16 \
    ! autovideosink

Model config json file

• model inference와 관련이 있는 sdpreprocess, sdinfer, sdpostprocess element들에는 model과 관련된 config json 파일이 필요합니다.
  • input_config: sdpreprocess에서 사용되는 config 정보입니다.
  • model_config: sdinfer에서 사용되는 config 정보입니다.
  • output_config: sdpostprocess에서 사용되는 config 정보입니다.

Yolov5 Model config json example

{
    "config_version": "1.0.0",
    "input_config": [
        {
            "format": "image",
            "params": {
                "color_type": "RGB",
                "color_mean": [
                    0,
                    0,
                    0
                ],
                "color_scale": [
                    255,
                    255,
                    255
                ],
                "color_channel": "FP32",
                "dim_type": "NCHW",
                "resize_base": "MAX",
                "resize": [
                    640,
                    640
                ]
            }
        }
    ],
    "model_config": {
        "model_type": "onnx",
        "device_type": "cpu",
        "model_batch": "4",
        "thread_inter_op": 0,
        "thread_intra_op": 0,
        "model_file": "/tmp/models/yolov5s/yolov5s_b-n.onnx",
        "model_inputs": [
            {
                "name": "images",
                "size": 4,
                "type": "FP32",
                "dims": [
                    1,
                    3,
                    640,
                    640
                ]
            }
        ],
        "model_outputs": [
            {
                "type": "FP32",
                "name": "output0",
                "size": 4,
                "dims": [
                    1,
                    25200,
                    85
                ]
            }
        ],
        "model_out_type": "raw"
    },
    "output_config": {
        "converter": "yolov5s_box",
        "labels": "/tmp/models/yolo-v3-tf/labels.txt",
        "threshold": 0.5,
        "icu_threshold": 0.7
    }
}

추론 결과

추론 전 영상	추론 후 영상