Version: 1.0.0

config 파일 작성법

개요

NuFiStreamer Config JSON 파일은 다음과 같이 네 부분으로 구성됩니다.

config_version: 현재 config의 버전입니다. 현재는 1.0.0이 최신 버전입니다.
input_config: resize, normalization 등 프레임 전처리에 관련된 설정입니다.
model_config: 모델 파일 경로, 추론에 사용할 AI 반도체 종류 등 추론에 관련된 설정입니다.
output_config: label 파일 등 후처리에 관련된 설정입니다.

Example Config JSON

{
    "config_version": "1.0.0",
    "input_config": [
        {
            "format": "image",
            "params": {
                "color_type": "RGB",
                "color_mean": [123.68, 116.78, 103.94],
                "color_scale": [58.395, 57.12, 57.375],
                "color_channel": "FP32",
                "dim_type": "NCHW",
                "resize_base": "MIN",
                "resize": [256],
                "crop": [224, 224]
            }
        }
    ],
    "model_config": {
        "model_type": "pycall",
        "model_platform": "onnx-cpu",
        "model_py_path": "/workspaces/sdstreamer/py-infer/infer/",
        "model_py_name": "pyinfer_onnx",
        "model_file": "/tmp/models/resnet-50-tf/resnet50-v1-7.onnx",
        "model_batch": "4",
        "model_inputs": [
            {
                "name": "data",
                "size": 4,
                "type": "FP32",
                "dims": [1, 3, 224, 224]
            }
        ],
        "model_outputs": [
            {
                "type": "FP32",
                "name": "resnetv17_dense0_fwd",
                "size": 4,
                "dims": [1, 1000, 1, 1]
            }
        ],
        "model_out_type": "raw"
    },
    "output_config": {
        "converter": "max",
        "labels": "/tmp/models/googlenet-v3/labels-onnx.txt"
    }
}

input_config

Sample JSON

"input_config": [
    {
        "format": "image",
        "params": {
            "color_type": "RGB",
            "color_mean": [123.68, 116.78, 103.94],
            "color_scale": [58.395, 57.12, 57.375],
            "color_channel": "FP32",
            "dim_type": "NCHW",
            "resize_base": "MIN",
            "resize": [256],
            "crop": [224, 224]
        }
    }
]

input_config: 모델이 여러 input을 받는 경우를 고려하여 배열로 입력합니다.
format: 스트리밍하는 데이터 포맷입니다. 현재는 image만 지원하고 있습니다.
- 이미지 전처리 순서는 다음과 같습니다. Resize -> Crop / Padding -> Normalization -> Format Convert (NCHW)
params: 전처리에 적용할 parameter들입니다.
- color_type: 색상 순서입니다. 현재는 RGB만 지원하고 있습니다.
- color_mean: 이미지 normalization에 사용되는 각채널의 Mean값입니다. Std로 나눈 값을 사용합니다. 예시로 ResNet50의 경우 [123.68, 116.78, 103.94] 를 사용합니다.
- color_scale: 이미지 color scaling에 사용되는 각 채널의 Scale값입니다. Std로 곱한 값을 사용합니다. 예시로 ResNet50의 경우 [58.395, 57.12, 57.375] 를 사용합니다.
- color_channel: 모델의 입력 데이터타입입니다. 기본은 UINT8이며 FP32로 지정하여 FP32 모델로 추론할 수 있습니다. [UINT8 | FP32]
- dim_type: 모델 입력에 사용할 텐서의 dimension format입니다. 기본은 NHWC 입니다. [NHWC | NCHW]
- resize_base: 이미지 크기 변환 시 변경할 방법입니다. 두 가지 옵션이 있습니다. 기본은 MAX입니다.
  - MAX: resize 항목의 배열 2개 값을 받아서 height와 width를 해당 크기로 resize합니다.
  - MIN: resize 항목의 배열 1개 값을 받아서 들어오는 이미지의 width와 height 중 짧은 쪽과 resize 배열값만큼 비율로 width와 height 모두 변환하며 모자란 부분은 padding하고 남는 부분은 잘라냅니다.
- resize: 이미지 크기 변환 시 변경할 값입니다. MAX일 경우 2개, MIN일 경우 1개를 입력합니다. Height, width 순입니다.
- crop: 이미지를 center crop할 크기를 나타냅니다. 2개를 입력으로 받으며 height, width 순입니다.

model_config

Sample

"model_config": {
    "model_type": "pycall",
    "model_platform": "onnx-cpu",
    "model_py_path": "/workspaces/sdstreamer/py-infer/infer/",
    "model_py_name": "pyinfer_onnx",
    "model_file": "/tmp/models/resnet-50-tf/resnet50-v1-7.onnx",
    "model_batch": "4",
    "model_inputs": [
        {
            "name": "data",
            "size": 4,
            "type": "FP32",
            "dims": [1, 3, 224, 224]
        }
    ],
    "model_outputs": [
        {
            "type": "FP32",
            "name": "resnetv17_dense0_fwd",
            "size": 4,
            "dims": [1, 1000, 1, 1]
        }
    ],
    "model_out_type": "raw"
},

model_type: 추론에 사용할 runtime을 선택합니다. Onnxruntime C++ API (onnx), Inference Server (remote), Python SDK (pycall) 중에 선택합니다. [onnx | remote | pycall]
device_type: model_type이 onnx일 경우 작성합니다. Onnxruntime 추론을 진행할 AI chip의 종류를 선택합니다. [cpu | cuda]
gpu_id: model_type이 onnx이고 device_type이 cuda일 경우 작성합니다. GPU의 id를 적습니다. 기본은 0이고 -1을 적으면 자동으로 입력됩니다.
model_platform: model_type이 pycall일 경우 작성합니다. 추론에 사용할 AI Chip의 종류를 선택합니다. [onnx-cpu | onnx-cuda | sapeon-x220 | furiosa]
model_py_path: model_type이 pycall일 경우 작성합니다. sdinfer에서 사용할 python 코드가 존재하는 디렉토리 경로를 입력합니다.
model_py_name: model_type이 pycall일 경우 작성합니다. sdinfer에서 사용할 python 코드의 파일이름을 .py 없이 입력합니다.
- model_py_path 를 /workspaces/sdstreamer/py-infer/infer/로 설정하고 model_py_name가 pyinfer_onnx로 설정할 경우 /workspaces/sdstreamer/py-infer/infer/pyinfer_onnx.py를 sdinfer 내부에서 추론에 사용합니다.
model_file: 추론에 사용할 모델의 경로입니다.
model_batch: 추론에 사용할 모델의 batch number입니다. 기본은 1입니다.
model_inputs: 추론에 사용할 모델의 input 정보입니다. 리스트로 입력합니다.
- name: input의 이름입니다.
- type: input의 데이터 종류입니다. [FP32 | INT32 | UINT8 | INT8]
- size: input의 dimension shape list의 길이입니다. 위 예시의 경우 4입니다.
- dims: input의 dimension shape입니다. 위 예시의 경우 [1, 3, 224, 224]입니다.
model_outputs: 추론에 사용할 모델의 output 정보입니다. 리스트로 입력합니다.
- name: output의 이름입니다.
- type: output의 데이터 종류입니다. [FP32 | INT32 | UINT8 | INT8]
- size: output의 dimension shape list의 길이입니다. 위 예시의 경우 4입니다.
- dims: output의 dimension shape입니다. 위 예시의 경우 [1, 3, 224, 224]입니다.
model_out_type: sdpostprocess 에 전달될 output format입니다. Ensemble 기능을 사용 할 경우 tensor로 설정합니다. [raw | tensor]
thread_inter_op: model_type이 onnx인 경우에 적용할 수 있습니다. 한 Operation을 실행할 때의 최대 스레드 수입니다. 기본은 1입니다.
thread_intra_op: model_type이 onnx인 경우에 적용할 수 있습니다. 그래프 상에서 독립적인 연산들을 병렬로 실행할 때의 최대 스레드 수입니다. 기본은 6입니다.

output_config

"output_config": {
    "converter": "max",
    "labels": "/tmp/models/googlenet-v3/labels-onnx.txt"
}

converter: max | seg | yolov5s_box | sr
labels: Image Classification, Object Detection에서 사용하는 label 파일 경로입니다.
threshold: Object detection score threshold.
icu_threshold: Object detection ICU threshold.
width & height: Super resolution original width & height.

개요​

Example Config JSON​

input_config​

Sample JSON​

model_config​

Sample​

output_config​

개요

Example Config JSON

input_config

Sample JSON

model_config

Sample

output_config