MMP-Net: A feedforward neural network model with sequential inputs for representing continuous multistage manufacturing processes without intermediate outputs

Hyeonjin Cho, Kyeongbin Kim, Kihyuk Yoon, Jaewook Chun, Jaeyong Kim, Kyeongmin Lee, 이정혜, Chiehyeon Lim (2024) · iise-transactions · DOI ↗

석유화학 같은 연속 다단계 제조 공정 (continuous Multistage Manufacturing Processes, MMPs) 의 중간 출력 측정 불가 환경에서 작동하는 단일-모형 feedforward-neural-network 아키텍처 MMP-Net 을 제안. 각 단계 변수를 순차적 injected input layer 로 hidden layer 에 주입해 공정 control mechanism 을 그대로 모사. SK Enmove 의 윤활기유 (lube base oil) 4 단계 연속 공정 실데이터 (5,751 obs, 18 변수) 에서 pour point RMSE 0.471 / kinematic viscosity RMSE 0.0118 로 기존 12 개 baseline (linear regression, LSSVR, RandomForest, LightGBM, XGBoost, 1/multi-layer FFNN, RNN, LSTM, GRU) 모두 능가. 2022 년 실제 공장에 soft analyzer 로 배치, 연간 production line 당 USD 900,000 절감 추정.

• RQ: 중간 단계 산출물을 측정할 수 없는 연속 MMP 에서 최종 제품 품질을 예측하는 단일 end-to-end 신경망 아키텍처를 어떻게 설계할 수 있는가? 기존 multi-model 프레임워크가 가정하는 intermediate output 데이터 없이도 sequential control mechanism 을 표현 가능한가?
• 방법론: feedforward-neural-network 위 initial input layer + N−1 개의 injected input layer. $n$ 번째 hidden layer $z_n = \sigma(W_n^{h\top} z_{n-1} + W_n^{I\top} x_n)$ — 이전 hidden representation 과 현재 단계 변수의 concatenation. batch-normalization + dropout 0.1, ReLU, Adam, learning rate 0.001, 100 epoch. 비교: linear regression, LSSVR, RandomForest, LightGBM, XGBoost, 1/multi-layer FFNN (with/without BN), RNN, LSTM, GRU
• 데이터: SK Enmove 윤활기유 (lube base oil) 연속 4 단계 공정 (Reaction 1 → Reaction 2 → Distillation 1 → Distillation 2). 10 분 간격 sensor 5,751 관측치, 18 control · environment 변수 + 5 feed specification + 2 product quality (pour point [°C], kinematic viscosity [cSt]). 시간 lag alignment 적용, 80:10:10 split, 5 random seed 반복
• 주요 발견: (i) Pour point — MMP-Net RMSE 0.4711 (best), 차순위 Linear Regression 0.4865, multi-layer FFNN with BN* 0.4995. (ii) Kinematic viscosity — MMP-Net RMSE 0.0118 (best), 차순위 1-layer FFNN 0.0149. (iii) RNN-type 모형 (RNN/LSTM/GRU) 은 공유 가중치 때문에 stage 간 mechanism 표현 실패 → linear regression 보다도 열위. (iv) Multi-layer FFNN with BN* (같은 depth/width 로 통제) 대비 우월 → injected layer 구조 자체 가 성능 향상의 원천. (v) 실공장 배치 후 pour point 수율 0.285%, kinematic viscosity 수율 0.365% 개선 → 연간 USD 900,000 절감
• 시사점: 연속 MMP 의 physics-informed architecture 패러다임 — 도메인 메커니즘 (variable 의 sequential injection) 을 NN 구조에 직접 인코딩. 석유화학·제약·식품 등 연속 공정 전반에 일반화 가능. 기존 manufacturing ML 의 multi-model 가정 (intermediate output 측정 가능) 의 비현실성을 해소

요약

이 paper 는 이정혜 의 3 기 SNU TEMEP (2023–2026) Smart Manufacturing 응용 라인의 정점. UNIST 산업공학과 Chiehyeon Lim 그룹 + SK Enmove (윤활유 제조사) 와의 산학협력 산물. 기존 MMP 머신러닝 문헌의 critical gap — 연속 공정의 intermediate output 측정 불가능성 — 을 architecture-level 에서 해결한 첫 단일-모형 방법. multi-model framework (Bera-Mukherjee 2016, Jin-Shi 2012, Lee-Kim-Kim 2021) 는 각 stage 마다 별도 모형 + intermediate output 으로 forward chain → error accumulation + 비현실적 데이터 가정. Single-model 시도 (Arif et al 2013 의 multi-PCA + iterative dichotomizer) 는 학습 단계에서 sequential 구조 미반영.

방법론 핵심은 injected input layer. Initial input layer 가 Stage 1 변수 $x_1$ 을 받아 hidden $z_1 = \sigma(W_1^\top x_1)$ 생성, 이후 $n = 2, \ldots, N$ 단계 변수 $x_n$ 은 injected input layer 로 들어가 직전 hidden 과 결합: $z_n = \sigma(W_n^{h\top} z_{n-1} + W_n^{I\top} x_n)$. 최종 $y_N = \mathrm{MLP}(z_N)$. Backward pass 가 분석적으로 후속 단계 변수가 이전 단계 weight 에 영향 미치지 않음 을 보장 — 연속 MMP 의 순방향성 그대로. 일반 multi-layer FFNN 은 모든 stage 변수를 첫 layer 에 한꺼번에 concatenate → 단계 구조 wash out. RNN 계열 (LSTM/GRU) 은 모든 stage 가 동일 weight 공유 → 단계별 control mechanism 표현 못함.

실증은 SK Enmove 의 윤활기유 4 단계 공정. Reaction 1·2 는 촉매탑, Distillation 1·2 는 증류탑. 18 sensor 변수 (catalyst life index, end H2 flow, reflux, tower temperature, steam flow 등) + feed specification 5 종 (kinematic viscosity, viscosity index, sulfur, nitrogen, pour point) + product quality 2 종 (pour point [°C, 1°C 정밀도], kinematic viscosity [0.1 cSt 정밀도]). 도메인 전문가가 oil flow rate 와 pipe width 로 stage 간 시간 lag alignment 산정해 row matching 수행. Pour point MSE 0.2226 (MMP-Net) vs 0.2376 (Linear Regression, 차순위 NN), kinematic viscosity MSE 0.0002 — 둘 다 5 회 반복 평균에서 통계적으로 robust. 흥미롭게도 multilayer FFNN with BN (depth/width 통제) 도 MSE 0.2530 으로 열위 → injected layer 가 capacity 가 아닌 architecture 으로 작동. 2022 년 실공장 soft analyzer 로 배치 후 manual chemical experiment (8 시간 대기) → real-time prediction 전환, 연간 USD 900,000 절감 추정.

핵심 결과

Pour point · kinematic viscosity 예측 성능 (RMSE, 5 seed 평균 ± std, 굵게 = best)

Model	Pour point RMSE	Kinematic viscosity RMSE
Linear Regression	0.4865 ± 0.030	0.0170 ± 0.001
LSSVR	0.9471	0.0242
RandomForest	0.6704 ± 0.004	0.0351 ± 0.002
LightGBM	0.6238	0.0256
XGBoost	0.6317	0.0265
1-layer FFNN	0.6422 ± 0.133	0.0149 ± 0.001
Multi-layer FFNN (BN)	0.4963 ± 0.063	0.0232 ± 0.003
Multi-layer FFNN (BN, 동 depth/width)	0.4995 ± 0.060	0.0205 ± 0.004
RNN	0.6722 ± 0.037	0.0196 ± 0.001
LSTM	0.7228 ± 0.075	0.0174 ± 0.005
GRU	0.6584 ± 0.115	0.0202 ± 0.003
MMP-Net	0.4711 ± 0.026	0.0118 ± 0.001

→ MMP-Net 은 두 target 모두에서 모든 baseline 능가. depth/width 통제된 FFNN 대비 우월 = architecture 효과.

실공장 임팩트: Lube base oil 의 pour point 수율 +0.285%, kinematic viscosity 수율 +0.365% → 연간 production line 당 USD 900,000 절감. Manual chemical experiment 대기 시간 8 시간 → real-time soft analyzer 전환.

방법론 노트

연속 MMP 의 sequential control mechanism 을 수식으로:

$$y_N = \mathrm{stage}_N(\ldots(\mathrm{stage}_2(\mathrm{stage}_1(x_1), x_2), \ldots), x_N)$$

각 stage 의 input 은 raw material + 직전 stage 의 암묵적 중간 산출. MMP-Net 의 forward pass:

$$z_1 = \sigma(W_1^\top x_1)$$ $$z_n = \sigma(W_n^{h\top} z_{n-1} + W_n^{I\top} x_n), \quad n = 2, \ldots, N$$ $$\hat{y}_N = \mathrm{MLP}(z_N)$$

$W_1 \in \mathbb{R}^{d_1 \times c_1}$ initial input weight, $W_n^I \in \mathbb{R}^{d_n \times c_n}$ injected input weight, $W_n^h \in \mathbb{R}^{c_{n-1} \times c_n}$ hidden-to-hidden weight, $\sigma$ ReLU. Loss $\mathcal{L} = \|y - \hat{y}\|_2^2$, Adam optimizer.

식별의 핵심: Backward pass 가 $\partial \mathcal{L} / \partial W_n^I = x_n \cdot \partial \mathcal{L} / \partial z_n$ 이고 $\partial \mathcal{L} / \partial z_n = W_{n+1}^{I\top} \cdot \partial \mathcal{L} / \partial z_{n+1}$ — 후속 단계 변수가 직접 이전 weight 에 들어오지 않음. 이게 연속 MMP 의 순방향 인과 구조 와 정확히 일치. 일반 FFNN 은 $y = W^\top \mathrm{concat}([x_1, \ldots, x_N])$ → 모든 변수가 평탄화돼 stage 순서 정보 소실. RNN 은 weight $W^h, W^I$ 가 모든 stage 공유 → stage 별 control mechanism 차이 표현 불가.

Hidden size grid search {50, 100, 150, 200}, pour point 최적 150 (84,151 parameters), kinematic viscosity 최적 200 (147,201 parameters). 5 stage module (4 process stage + 1 hidden) + MLP regression head.

연구 계보

본 paper 는 multi-model MMP 학습 (Shi-Zhou 2009 IIE Trans, Zou-Tsung 2008 J Quality Tech, Bera-Mukherjee 2016 EJOR, Jin-Shi 2012 IIE Trans, Lee-Kim-Kim 2021, Jiang et al 2014 J Intel Manuf error propagation network, Liu et al 2018 BOF steel HKLSSVM) 의 intermediate output 가정 한계를 비판하며 출발. Single-model 시도의 predecessor 로 Arif et al (2013) multi-PCA, Zhang et al (2021) path-enhanced bidirectional graph attention (이것도 intermediate output 요구). Physics-informed NN (Raissi et al 2019 J Comput Phys) · chemistry-informed feature engineering (Kim et al 2023 Chemom Intell Lab) · ComNet (Gao et al 2018) 의 domain knowledge-encoded architecture 패러다임 위에 위치.

이정혜 의 3 기 SNU TEMEP (2023–2026) 의 도메인 폭발 시기 작업. 그녀의 healthcare AI · privacy-preserving ML 핵심 (1·2 기) 위에 Smart Manufacturing 응용을 새로 연 라인 — UNIST 산업공학과 Chiehyeon Lim 그룹과의 협업 anchor. Sibling 으로 이정혜 가 같은 시기 진행한 graph neural network 작업들 (An efficient multivariate feature ranking method for gene selection in high-dimensional microarray data 의 MB-based feature ranking 이 MMP-Net 의 variable-sequence-aware 발상과 통한다).

See also

• 이정혜
• Hyeonjin Cho
• feedforward-neural-network
• multistage-manufacturing-process
• soft-sensor
• petrochemical-process
• quality-prediction
• iise-transactions

인접 그래프

1-hop 이웃 4개

• 인물 2
• 방법론 1
• 논문 1

↻ 초기화

휠 = 확대/축소 · 드래그 = 이동 · hover = 강조 · 클릭 = 페이지 이동

이 문서를 가리키는 페이지

인물 (1)

• 이정혜