How to Improve Performance and Diversity of Government-Funded Research Institute Ecosystem? Focus on Result Sharing and Feedback Policy

Namjun Cha, 황준석, Eungdo Kim (2019) · Journal of Open Innovation: Technology, Market, and Complexity 5:66 · DOI ↗

한국 정부출연연구원 (GI) 생태계의 평가 시스템에서 평가 피드백 메커니즘이 평균 성과와 다양성에 미치는 영향을 에이전트 기반 모형 + genetic-algorithm 시뮬레이션으로 검증한다. 5 개 피드백 정책 시나리오 (무 피드백·고성과 양 피드백·저성과 양 피드백·저성과 음 피드백·혼합) 를 100 회씩 반복 실험한 결과, 평균 성과와 결과 공유 정도의 관계는 정책 유형에 따라 monotonic·rotated S-shape·inverted U-shape 으로 차별화되고, 다양성 수렴 시간은 피드백 유형보다 결과 공유 비율 ($\beta$) 에 의존한다.

• RQ: 평가 피드백 정책 유형과 결과 공유 정도가 GI 생태계의 평균 성과·다양성에 어떻게 영향을 주는가?
• 방법론: 에이전트 기반 모형, genetic-algorithm, 시뮬레이션 방법론 (3 계층: agent·system·ecosystem)
• 데이터: 한국 GI 평가 시스템 모사 ABM 시뮬레이션, 5 가지 피드백 정책 × 100 회 반복
• 주요 발견: 무 피드백은 평균 성과가 결과 공유와 단조 증가; 양 피드백 (Exp 2, 3) 은 회전된 S-shape 으로 최적 공유 비율이 0.2~0.5; 음 피드백 (Exp 4) 과 혼합 (Exp 5) 은 inverted U-shape (중간 공유가 최대 성과). 다양성 수렴 시간은 $\beta > 0.2$ 에서 급격히 짧아져 정책 유형보다 공유 비율이 지배.
• 시사점: GI 평가 시스템 개선은 (1) 결과 공유 정도와 (2) 피드백 유형 두 레버를 동시에 조정해야 하며, 음 피드백 효과가 양 피드백보다 dominant 하다.

요약

한국 정부출연연구원 (GI) 평가 시스템은 1991 년 도입 이래 평가 기준·평가자 능력·신뢰성 같은 내부 요인 중심으로 연구되어 왔고, 결과 공유와 피드백 유형 같은 ex-post 활용 메커니즘은 거의 다뤄지지 않았다. 본 논문은 이 gap 을 채우기 위해 GI 생태계를 에이전트 기반 모형 (ABM) + genetic-algorithm (GA) 시뮬레이션으로 모델링하고, 결과 공유 정도와 피드백 정책 유형의 결합 효과를 평균 성과·다양성 두 차원에서 분석한다. 모델은 3 계층 구조 (agent: 개별 GI; system: 분야 수준 상호작용; ecosystem: 전체 macro view) 로 설계되며, GA 의 mating·crossover 가 GI 간 학습·모방 행동을 표현한다.

각 GI 의 속성 $S_i$ 는 정수 02 의 string 으로 표현되며, 성과 $P_i$ 는 ideal state $S^{ideal}$ 과의 Hamming 유사도로 계산된다. 학습률 $\pi$, 망각률 $\lambda$, 자기조정률 $\gamma$ 는 uniform 분포에서 추출되고, sampling ratio $\beta$ 는 결과 공유 정도 (mating pool 의 비율) 로 01 사이에서 변화한다. 5 가지 피드백 정책 (Exp 1: 무 피드백; Exp 2: 고성과 양 피드백; Exp 3: 저성과 양 피드백; Exp 4: 저성과 음 피드백; Exp 5: 혼합) 을 100 회 반복 실험한다.

핵심 발견은 두 가지다. 첫째, 평균 성과와 결과 공유 정도의 관계는 정책 유형에 따라 달라진다. 무 피드백은 monotonic 증가, 양 피드백은 회전된 S-shape 으로 0.2~0.5 사이가 최적 (완전 정보가 진화를 saturate 시켜 imperfect 정보가 장기적으로 우월), 음 피드백과 혼합은 inverted U-shape 으로 중간 공유 수준에서 최대 평균 성과 도달. 음 피드백이 양 피드백보다 dominant 하므로 혼합 정책은 음 피드백 패턴을 따른다. 둘째, 다양성 측면의 수렴 시간은 피드백 유형이 아닌 결과 공유 비율에 의존한다. $\beta > 0.2$ 에서 수렴 시간이 급격히 짧아지고, $\beta < 0.2$ 에서만 높은 다양성이 보존된다. 결론은 GI 평가 시스템 개선이 두 레버 (공유 정도 조정과 피드백 유형 선택) 의 동시 최적화를 요구하며, 단일 dominant 전략은 존재하지 않는다는 것이다.

핵심 결과

시나리오	피드백 유형	대상	평균 성과 ↔ 공유 패턴
Exp 1	무 피드백	—	Monotonic 증가
Exp 2	양 피드백	고성과 그룹	회전된 S-shape (최적 $\beta$: 0.2~0.5)
Exp 3	양 피드백	저성과 그룹	회전된 S-shape (최적 $\beta$: 0.2~0.5)
Exp 4	음 피드백	저성과 그룹	Inverted U-shape (중간 $\beta$ 가 최대)
Exp 5	혼합 (Exp 2 + 4)	고·저성과	Inverted U-shape (Exp 4 와 유사)

• 수렴 시간: $\beta > 0.2$ 에서 급격히 단축; 정책 유형 무관.
• 다양성 보존: $\beta < 0.2$ 에서만 높은 다양성 유지.
• 반복 횟수: 각 실험 100 회 평균.

방법론 노트

각 GI agent $i$ 의 성과는 ideal attribute string $S^{ideal}$ 과의 일치도로 계산된다.

$$P_i = f(S_{i,t}, S^{ideal}_{opt,t}) = \frac{1}{2n} \sum_{j=1}^{n} \left( 2 - |\delta_{i,j} - \delta^{ideal}_j| \right)$$

여기서 $n$ 은 속성 수, $\delta^{ideal}_j$ 는 $j$ 번째 ideal 속성, $\delta_{i,j}$ 는 GI $i$ 의 $j$ 번째 속성이다. ecosystem 평균 성과는 $P_{avg,t} = \frac{1}{N} \sum_{i=1}^N P_i$, 다양성은 Hamming distance $D(X,Y) = \frac{1}{L}\sum_j I_j$ ($I_j=1$ if $x_j \neq y_j$) 로 측정한다. GA 의 sampling ratio $\beta$ 가 결과 공유 정도를 제어하며, $\beta=1$ 은 완전 공유 (전체 인구가 mating pool), $\beta \to 0$ 은 random walk 다. 피드백 정책별로 self-adjustment rate $\gamma_{i,t}$ 가 incentive 파라미터 $v$ 와 곱해져 변화하는 방식으로 정책 효과가 도입된다. 식별은 정책 유형과 $\beta$ 의 2 차원 격자에서 평균 성과·수렴 시간을 100 회 반복 평균으로 비교하는 시뮬레이션 실험 디자인에 의한다.

연구 계보

황준석 그룹의 에이전트 기반 모형 · 시뮬레이션 방법론 라인의 R&D 정책 평가 응용이다. 동일 1 저자 Namjun Cha 의 후속작 The optimal knowledge creation strategy of organizations in groupthink situations (groupthink 의 ABM + 효율성 분석) 의 방법론적 토대가 된다. Levitt and March (1988), March (1991) 의 exploration-exploitation 균형 문헌, Posen, Lee, and Yi (2013) 의 imperfect imitation power 문헌과 직접 연결되며, Kluger and DeNisi (1996) 의 feedback intervention meta-analysis 결과를 시뮬레이션 환경으로 옮긴 시도다. TEMEP 내에서는 ABM 을 정책 평가 도메인에 처음 응용한 작업 중 하나로, 후속 ABM 응용 (groupthink, ride-hailing 등) 의 anchor 가 된다.

See also

• 황준석
• Namjun Cha
• Journal of Open Innovation: Technology, Market, and Complexity
• 에이전트 기반 모형
• genetic-algorithm
• 시뮬레이션 방법론
• 혁신 생태계
• 조직 평가
• The optimal knowledge creation strategy of organizations in groupthink situations

인접 그래프

1-hop 이웃 12개

• 인물 3
• 방법론 1
• 주제 2
• 수록처 2
• 분류 2
• 논문 2

↻ 초기화

휠 = 확대/축소 · 드래그 = 이동 · hover = 라벨 · 클릭 = 페이지 이동

이 문서를 가리키는 페이지

논문 (2)

• Sustainability of ride-hailing services in China's mobility market: A simulation model of socio-technical system transition
• The optimal knowledge creation strategy of organizations in groupthink situations