Evaluating scholars based on their academic collaboration activities: two indices, the RC-index and the CC-index, for quantifying collaboration activities of researchers and scientific communities

Alireza Abbasi, Jörn Altmann, 황준석 (2010) · Scientometrics · DOI ↗

학자 개인 생산성 측정에는 Hirsch (2005) h-index, Egghe (2006) g-index 정전이 있으나 협업 활동 자체 를 정량화하는 지수는 부재했다. 본 paper 는 (i) co-authorship 네트워크 구조 + (ii) 협업 횟수 + (iii) 공저자의 생산성 (RP-Index, Altmann et al. 2009) 세 측면을 통합한 RC-Index (Researcher Collaboration) 와 CC-Index (Community Collaboration) 를 제안하고, 5 개 iSchool (Pittsburgh·UC Berkeley·Maryland·Michigan·Syracuse) 의 2001–2005 publication 데이터 (2,139 paper, 1,815 author, 5,310 co-authorship) 에 적용한다. Top researcher: Elliot Soloway (UMich, RC = 18, 34 공저자 × 104 협업), Top community: Michigan (CC-rank 1, productivity rank 와 다른 ranking).

RQ: 학자 개인·연구 공동체의 협업 활동 을 (h-index 같은 단순 생산성과 분리해) 어떻게 정량 지수로 측정할 것인가
방법론: 사회 네트워크 분석 (co-authorship network: node = researcher, weight = publication 수, edge weight = co-authorship 수), 계량서지학 방법론 (RP-Index, h-index, g-index 확장; Altmann et al. 2009 framework)
데이터: 5 개 iSchool (PITT, UCB, UMD, UMICH, SYR) 의 publication list — Google Scholar + ACM Portal + DBLP + 학교 annual report 통합. AcaSoNet (Abbasi & Altmann 2009) 도구로 자동 수집. 2001–2005 (Maryland 만 2002 missing → 2006 대체). 총 2,139 publication, 1,815 author, 5,310 co-authorship
주요 발견: Top researcher: Elliot Soloway (UMich, RC = 18, 34 공저자, 104 협업), Kevin Crowston (SYR, RC = 16), Joseph Krajcik (UMich, RC = 15), Chris Quintana (UMich, RC = 15), Mark W. Newman (UMich, RC = 14). Top 20 의 65% 가 Michigan. Community ranking: productivity 순서 (Berkeley·Michigan·Syracuse) 와 collaboration 순서 (Michigan > Maryland > Syracuse > Berkeley·Pittsburgh) 가 다름 — 즉 RC·CC 가 h-index·g-index 와 직교 정보 제공
시사점: 학자·공동체 평가에 생산성 과 협업 활동 을 분리해 측정해야 정확. 정부 funding 배분·faculty recruiting·대학 ranking 시 RC·CC 를 보조 지표로 활용 가능

5 iSchool 의 co-authorship 네트워크 예시 — node = researcher, weight = publication 수, edge weight = co-authorship 횟수. RC-CC 는 이 그래프 구조 + 공저자 RP-Index 를 통합.

요약

황준석 · Jörn Altmann 지도하 Alireza Abbasi (이란 NIOC 출신, SNU 박사) 의 박사 라인 paper. 학자 생산성 측정 문헌은 Hirsch (2005) PNAS h-index, Egghe (2006) g-index 와 그 변형 (Batista et al. 2006, Sidiropoulos et al. 2007, Jin 2006, Tol 2008) 에 집중해 왔으나, 이 지수들은 individual output 만 측정할 뿐 협업 활동 자체 를 평가하지 않는다. 학자 협업의 가치는 두 채널 — (i) Melin (2000) 의 38% 응답자가 “협업으로 지식 증가” 가 주요 benefit 이라고 답한 지식 창출 채널, (ii) Jiang (2008) 의 연구 노력 중복 감소 + 자원 절약 채널 — 으로 입증돼 왔으나, 그 측정 은 Laudel (2002) 의 co-authorship count 와 Jiang (2008) 의 community 내 interaction count 가 거의 전부였다. Melin & Persson (1996) 이 “collaboration network 의 구조·변동을 드러낼 만큼 sensitive 한 지표가 부재” 라고 지적한 gap 을 본 paper 가 채운다.

방법론은 3 단계로 구성. (1) Co-author Collaboration Value (CCV) 정의 — researcher $j$ 와 공저자 $a$ 간 협업 횟수 $\times$ 공저자 $a$ 의 RP-Index (Altmann et al. 2009 의 researcher productivity index). 이는 공저자 quality 가중 협업 측정. (2) Researcher Collaboration Index (RC-Index) — CCV 내림차순으로 정렬한 공저자 리스트에서 top $x$ 공저자의 평균 CCV 가 $x$ 이상 인 최대 자연수 $x$ . h-index·g-index 의 정의 원리 (top-N average threshold) 를 협업 측면에 적용. (3) Community Collaboration Index (CC-Index) — community 내 researcher 들을 RC-Index 내림차순 정렬, top $x$ researcher 의 평균 RC 가 $x$ 이상 인 최대 $x$ . 위계 구조: CCV → RC → CC. 각각의 real-valued 정밀 버전 ( $RC'_j$ , $CC'_j$ ) 도 정의.

데이터 셋은 5 iSchool (Pittsburgh, UC Berkeley, Maryland, Michigan, Syracuse) — 신설 information management 프로그램으로 비교 가능. Google Scholar + ACM Portal + DBLP + annual report 통합 수집, AcaSoNet (Abbasi & Altmann 2009) 자동 도구. 2001–2005 5 년 (Maryland 만 2002 missing → 2006). 총 2,139 publication, 1,815 author, 5,310 co-authorship. Google Scholar 사용은 Kousha & Thelwall (2007), Ruane & Tol (2008) 의 권고에 따른 것 — Web of Science 보다 많은 publication 포착, ranking correlation 은 거의 동일.

결과는 두 가지 흥미로운 패턴을 보인다. 첫째, top 20 collaborator 의 65% 가 Michigan iSchool 소속 — UMich 가 집단적 협업 문화 를 가진 community 임을 정량 입증. Elliot Soloway 가 RC = 18 로 1 위 (34 공저자 × 104 협업, top 공저자 Joseph Krajcik 의 CCV = 74.85). Kevin Crowston (Syracuse, RC = 16) 이 2 위. 둘째, community 비교에서 productivity 순서 (Berkeley·Michigan·Syracuse 가 top) 와 collaboration 순서 (Michigan > Maryland > Syracuse > Berkeley·Pittsburgh) 가 다르다 — 즉 RC·CC 가 h·g-index 와 직교 (orthogonal) 정보 제공. Berkeley 는 productivity 가 높지만 collaboration 은 낮은 individualistic excellence 패턴, Michigan 은 productivity + collaboration 모두 강한 collective excellence 패턴.

한계는 (i) self-citation 미반영, (ii) 분야별 (CS vs HCI) co-authorship 관행 차이 미통제, (iii) 5 년 short window 의 한계, (iv) iSchool 데이터에 한정된 generalizability. 황준석 · Jörn Altmann 연구실의 scientometrics-research · 계량서지학 방법론 라인의 시드 작업, 후속 Alireza Abbasi paper 들과 SNA + bibliometrics 통합 라인의 출발점.

핵심 결과

Rank	Researcher	iSchool	RP $^0$	공저자 수	협업 횟수	RC	RC $'$
1	Elliot Soloway	UMICH	6.99	34	104	18	18.02
2	Kevin Crowston	SYR	11.15	28	75	16	16.99
3	Joseph Krajcik	UMICH	4.99	29	70	15	15.99
4	Chris Quintana	UMICH	3.99	20	59	15	15.77
5	Mark W. Newman	UMICH	4.80	24	71	14	14.72
6	Jimmy Lin	UMD	5.57	49	108	13	13.82
7	Marti Hearst	UCB	7.99	23	58	13	13.03

Elliot Soloway 의 top 4 공저자	협업 횟수	RP $^0$	CCV
Joseph Krajcik	15	4.99	74.85
Chris Quintana	18	3.99	71.82
Cathleen Norris	11	4.90	53.90
Kathleen Luchini	11	3.20	35.20

핵심 명제: RC·CC 지수는 h-index·g-index 와 직교 정보를 제공. UMich 가 top 20 collaborator 의 65% 점유 → community-level collective excellence 패턴 정량 입증. Berkeley 는 productivity 만 높고 collaboration 은 낮은 individualistic excellence 와 대조.

방법론 노트

Co-author Collaboration Value 의 정의:

CCV_a = TotalCollaborations(j, a) \times RP'_a

여기서 $RP'_a$ = 공저자 $a$ 의 real-valued RP-Index (Altmann et al. 2009; researcher productivity 의 quality-weighted 지수). CCV 는 협업 횟수 와 공저자 quality 를 곱해 productive collaboration 만 가중. Researcher Collaboration Index:

RC_j = \max \left\{ x \;\middle|\; \frac{1}{x} \sum_{a=1}^{x} CCV_a \geq x, \; x \in \mathbb{N} \right\}

CCV 내림차순으로 정렬한 공저자 리스트에서 top $x$ 공저자의 평균 CCV 가 $x$ 이상 인 최대 자연수. 이는 h-index ( $x$ 개 paper 가 각각 $x$ 회 이상 인용) 와 g-index ( $x$ 개 paper 의 누적 인용 합이 $x^2$ 이상) 의 정의 원리를 협업 측면에 적용. 자연수 대신 real-valued 정밀 버전:

RC'_j = \begin{cases} \frac{1}{RC_j} \sum_{i=1}^{RC_j} CCV_a, & \text{if } \frac{1}{RC_j} \sum CCV_a < RC_j + 1 \\ RC_j + 0.99, & \text{otherwise} \end{cases}

Community Collaboration Index 는 동일 원리를 community 수준에 적용:

CC_j = \max \left\{ x \;\middle|\; \frac{1}{x} \sum_{a=1}^{x} RC_a \geq x, \; x \in \mathbb{N} \right\}

이때 $RC_a$ = community 내 researcher $a$ 의 RC-Index. Top $x$ researcher 의 평균 RC 가 $x$ 이상 인 최대 자연수. CCV·RC·CC 의 위계 구조는 node weight (publication) → edge weight (co-authorship) → community 합 의 multi-level aggregation. 식별은 (i) Google Scholar + ACM + DBLP 의 triangulation 으로 publication coverage 확보, (ii) RP-Index 의 자체 quality 가중치로 spurious 협업 (low-productivity 공저자) 자동 down-weight 에서 온다. 한계: self-citation·field difference·publication type difference 무통제.

연구 계보

직접 선행: Hirsch (2005) PNAS “An index to quantify an individual’s scientific research output” — h-index 정전. Egghe (2006) “Theory and practise of the g-index” — g-index 정전. Altmann et al. (2009) — RP-Index (Researcher Productivity Index) 정의, Jörn Altmann 자신의 productivity index 라인. Batista et al. (2006), Sidiropoulos et al. (2007), Jin (2006), Tol (2008) — h-index 변형 라인. Prathap (2006), Schubert (2007), Braun et al. (2005) — community-level 확장 라인. Borgman & Furner (2002) ARIST — co-authorship 을 협업의 surrogate 로 사용한 정전. Melin (2000) Research Policy “Pragmatism and self-organization: Research collaboration on the individual level” — 협업의 38% benefit 이 지식 창출. Melin & Persson (1996) — collaboration measurement 의 한계 지적, 본 paper 의 motivation. Laudel (2002) Scientometrics — co-authorship 의 한계. Jiang (2008) — community 내 interaction count. Leclerc & Gagne (1994), Van Raan (2006), Ziman (1994) — 협업 정책 라인. Kousha & Thelwall (2007), Ruane & Tol (2008) — Google Scholar coverage. Abbasi & Altmann (2009) — AcaSoNet 도구. 황준석 · Jörn Altmann 연구실의 scientometrics-research 라인의 시드.

인접 그래프

1-hop 이웃 10개

인물 3
방법론 1
주제 2
수록처 1
분류 3

휠 = 확대/축소 · 드래그 = 이동 · hover = 라벨 · 클릭 = 페이지 이동

이 문서를 가리키는 페이지

인물 (1)

Alireza Abbasi