Word2vec-based latent semantic analysis (W2V-LSA) for topic modeling: A study on blockchain technology trend analysis

Suhyeon Kim, Haecheong Park, 이정혜 (2020) · Expert Systems with Applications 152:113401 · DOI ↗

Word2vec-based Latent Semantic Analysis (W2V-LSA) — Word2Vec (skip-gram) 의 contextual embedding + spherical-k-means 의 cosine-similarity clustering 결합 새 topic modeling 기법. 블록체인 논문 abstract 231 편 (6 DB: Scopus, ScienceDirect, WoS, IEEE Xplore, Google Scholar, KCI; 2014-2018.8) 의 국가 (Korea, US, China, etc.) × 연도별 기술 트렌드 분석. PLSA baseline 과 정량·정성 비교. 정량: UMass + NPMI topic coherence + Keyword Matching Score (KMS) 모두 W2V-LSA > PLSA. 정성: PLSA 가 “Service/Trade” 로 잘못 분류한 healthcare 논문을 W2V-LSA 가 “Healthcare” 로 정확 분류. 발견: Korea = Fintech + Regulation 집중, US = Healthcare/Privacy + Cryptocurrency, China = Storage/Cloud → Transaction/Bitcoin → Healthcare, etc. = Real Estate 등 다양. 이정혜 의 2 기 UNIST 시기 가장 많이 인용된 작업 중 하나 (150+ cite) — 기술경영 도메인 본격 진입 + TEMEP 이동의 지적 준비.

RQ: (1) 적은 documents (231 편) 환경에서 기술 트렌드 분석 에 PLSA 대비 더 정확한 topic model 은? (2) Word2Vec 의 contextual embedding 을 topic modeling 에 어떻게 활용? (3) 블록체인 기술 트렌드의 국가별 + 시간별 패턴은 무엇이며, 인더스트리 4.0 의 응용 영역 (cryptocurrency → healthcare/IoT) 변화는?
방법론: W2V-LSA 4-step 알고리즘 — (i) Word2vec (skip-gram, $m$ =100 dim, window $\delta$ =12) 로 단어 → vector $\mathbf{x}_i \in R^{100}$ , (ii) spherical-k-means 로 word clustering ( $k$ = silhouette-optimal), (iii) Document vector $\mathbf{l}_j$ = term-document matrix × word vectors, (iv) Document-topic assignment = cosine similarity (top- $t$ =3 words). 평가: umass-coherence (Mimno et al 2011), npmi-coherence (Lau-Newman-Baldwin 2014), Keyword Matching Score (KMS) — 새 metric 제안. Baseline: PLSA (Hofmann 1999), BIC 의 topic 수 선택
데이터: 6 DB (Scopus, ScienceDirect, Web of Science, IEEE Xplore, Google Scholar, Korean Citation Index) 의 Blockchain · Block chain · Block-chain keyword 검색, 2014-2018.8, conference 제외, abstract char > 180. 총 763 abstract → 231 abstract 사용. Preprocessing: number + basic verb 제외, stemming, lemmatization, “Blockchain” + “Technology” stopword, Zipf’s Law 의 빈도 filter. 국가별 vocabulary: 60-100 unique words. Top-3 국가 (Korea, US, China) = 총 논문의 69%
주요 발견: (i) PLSA topic 수: Korea 7, US 9, China 6, etc. 9 (BIC 최소화). W2V-LSA topic 수 (silhouette-measure 최적): Korea 6, US 6, China 7, etc. 7. (ii) 국가별 트렌드 — Korea: Fintech (cryptocurrency) + Regulation dominant. US: Healthcare/Privacy + Bitcoin/Cryptocurrency. China: Healthcare/Privacy + Storage/Cloud. etc.: Real Estate (unique). (iii) 시간 변동 (W2V-LSA) — 2015 = Bitcoin/Cryptocurrency dominant (US). 2016 = Healthcare/Privacy + IoT 부상 (US, China). 2017-2018 = diverse application (energy, smart contract). (iv) W2V-LSA > PLSA 정량 우위 — UMass + NPMI 둘 다 모든 $T$ ∈ [3, 14] 에서 W2V-LSA 높음, NPMI gap 최대는 $T$ =3. KMS 도 top-4 미만 + top-12 이상에서 W2V-LSA 우위. (v) W2V-LSA 정성 우위 — PLSA 의 high-frequency word bias (예: 한국 healthcare 논문 → “Service/Trade” 오분류); W2V-LSA 의 cosine similarity 가 low-frequency 의 정확 topic 식별 (→ “Healthcare”)
시사점: (a) Contextual embedding + spherical clustering 의 시너지 — uni-gram bag-of-words 기반 PLSA 의 sparseness 문제를 word semantic vector 로 해결. n-gram 의 curse of dimensionality 회피. (b) 기술 트렌드 분석의 data-driven 도구화 — full-text review 없이 abstract 만으로 country × time 트렌드 추출. NTBF (new technology-based firms) + VC + crowdfunding 의 blockchain investment direction 의사결정 지원. (c) 확장성 — BERT, GloVe 등 advanced embedding 으로 W2V 대체 가능. Patent 분석, 고객 review, recommendation 등 다양한 text 응용. (d) Blockchain 의 Blockchain 1.0 → 2.0 → 3.0 (currency → finance → application) 진화의 정량 evidence

$Fig. 3 의 W2V-LSA 4-step 파이프라인: Word2vec (skip-gram) → word vector \mathbf{x}_i → spherical k-means clustering → topic clusters → document vector \mathbf{l}_j (term-document matrix × word vectors) → cosine similarity 기반 topic assignment. Contextual embedding + cosine clustering 의 harmonized 결합.$

요약

이 paper 는 이정혜 의 2 기 UNIST 시기 (Department of Business Analytics, Graduate School of Interdisciplinary Management) 의 방법론 + 기술경영 도메인 결합 작업. Suhyeon Kim (제 1 저자, suhyeon-kim author page 의 W2V-LSA → LBC → RSAE-BA → TMF-GNN 4 연속작 의 출발점) 의 블록체인 trend domain 관심과 이정혜 의 machine learning 방법론 (chemometrics 기반 multivariate calibration) 의 결합으로 Industry 4.0 의 핵심 기술 인 Blockchain 트렌드 분석. 동기: (i) Lu (2019), Zheng et al (2017) 등의 screening review — 노동집약 + scope 제한. (ii) Dabbagh et al (2019), Miau-Yang (2018), Zeng-Ni (2018) 등의 bibliometrics — frequency 기반, 의미 부재. (iii) Hofmann (1999) PLSA / Blei et al (2003) LDA 의 uni-gram representation — 문맥 무시. Mikolov et al (2013) Word2vec + Dhillon-Modha (2001) spherical k-means 의 결합 가능성을 처음 본격 활용.

방법론은 4 단계 명료. Step 1 — Skip-gram Word2vec 로 corpus 의 단어를 $m$ -dim vector $\mathbf{x}_i \in R^{100}$ 로 임베딩 (window $\delta$ =12). Step 2 — Spherical k-means clustering 으로 word vector grouping. Cosine similarity 기반 objective:

\min \sum_{i,q} \sigma_{iq} (1 - \cos(\mathbf{x}_i, \mathbf{p}_q))

$k$ optimal 은 silhouette measure (Rousseeuw 1987). Cluster 의 characteristic word 들이 topic 정의. Step 3 — Document vector $\mathbf{l}_j$ 생성: term-document matrix ( $N \times D$ ) × word vectors. Step 4 — Document-topic assignment: 각 cluster 의 top- $t$ =3 word 와 $\mathbf{l}_j$ 의 cosine similarity 평균이 final similarity; 가장 높은 cluster 가 document topic. 평가는 (i) Topic coherence — UMass (Mimno et al 2011): 같은 document 안에서의 word co-occurrence; NPMI (Lau et al 2014): pointwise mutual information의 normalized version; 둘 다 $T$ ∈ [3, 14] 에서 W2V-LSA > PLSA. (ii) Keyword Matching Score (KMS) — 새 metric: document keyword 와 topic top- $T$ word 의 exact match 횟수. Weighted KMS 는 top-rank word 에 weight 부여. (iii) Qualitative — 두 case (한국 healthcare 논문, US cryptocurrency 논문) 에서 PLSA 의 high-frequency bias vs W2V-LSA 의 semantic accuracy 비교.

결과 — 국가별 차이의 명확한 식별. Korea (Table 3): Fintech + Regulation + Economy + Virtual Currency 가 dominant — 한국의 2017 cryptocurrency 규제 논쟁 의 학술적 반영. US: Healthcare/Privacy + Bitcoin/Cryptocurrency + IoT/Smart Contract. China: Healthcare/Privacy + Smart Contract/Energy/Trade + Security/Signature. etc. (영국, 호주 등): Real Estate (unique) + Distributed Ledger + Healthcare/Privacy. 시간 변동 (Table 4): 2015 Bitcoin dominant → 2016 Healthcare/Privacy + IoT 부상 → 2017-2018 diverse application — Blockchain 1.0 → 2.0 → 3.0 진화 (Swan 2015 의 prediction) 의 정량 evidence. 한계: (i) 231 abstract 의 small sample — proof of concept, (ii) Word2vec hyperparameter ( $m$ , $\delta$ , $k$ , $t$ ) 의 data-dependent — a priori 선택 어려움, (iii) PLSA 외 LDA, BERT 등과 비교 부재, (iv) abstract-only — full-text 미사용. 이정혜 author page 의 제3기 TEMEP 이동의 지적 준비 — 기술경영 도메인 본격 진입의 intellectual seed.

핵심 결과

Topic 수 (BIC / Silhouette 최적)

국가	PLSA topic 수	W2V-LSA topic 수
Korea	7	6
US	9	6
China	6	7
etc.	9	7

Top topic by country (W2V-LSA, Table 3)

국가	Top topics	특징
Korea	Virtual Currency, Regulation, Economy, Fintech	Financial sector 집중
US	Healthcare, Cloud, IoT, Cryptocurrency	다양화
China	Healthcare, Smart Contract, Energy, Trade	Application 영역
etc.	Real Estate, Distributed Ledger	Unique topics

정량 평가 (PLSA vs W2V-LSA)

Metric	결과
UMass coherence ( $T$ =3 to 14)	W2V-LSA > PLSA (모든 $T$ )
NPMI coherence ( $T$ =3 to 14)	W2V-LSA > PLSA (모든 $T$ ; gap 최대 @ $T$ =3)
Keyword Matching Score (top-4 미만, top-12 이상)	W2V-LSA > PLSA
Weighted KMS (top-5)	W2V-LSA >> PLSA (모든 $T$ )

정량 결론. W2V-LSA 가 PLSA 대비 모든 coherence + KMS 지표 에서 우위. Word2vec 의 contextual embedding + spherical k-means 의 cosine clustering 이 적은 sample (231 docs) 환경에서 sparse data 문제 해결. Healthcare/Privacy 같은 low-frequency 의 정확한 topic 식별 — PLSA 의 frequency bias 극복.

방법론 노트

Word2Vec (Mikolov et al 2013) — Skip-gram: 중심 단어 → 주변 단어 예측, CBOW: 주변 단어 → 중심 단어 예측. 본 paper 는 Skip-gram 채택 (적은 데이터에 강건). Output: 단어 → $m$ -dim vector $\mathbf{x}_i$ , 비슷한 의미 단어는 비슷한 vector 위치.

spherical-k-means (Dhillon-Modha 2001) — Euclidean k-means 와 달리 cosine similarity 기반. 방향성 클러스터링. Objective:

\min \sum_{i,q} \sigma_{iq} (1 - \cos(\mathbf{x}_i, \mathbf{p}_q)) \quad \text{s.t.} \ \sigma_{iq} = \mathbb{1}[c(i) = q]

여기서 $\mathbf{p}_q$ = cluster $q$ 의 centroid (unit norm), $\sigma_{iq}$ = $\mathbf{x}_i$ 의 cluster 할당 indicator.

Document vector 생성 ( $\mathbf{l}_j$ ): term-document matrix $T$ ( $N \times D$ ) 와 word vectors $X$ ( $N \times m$ ) 의 matrix multiplication:

\mathbf{l}_j = \sum_{i=1}^{N} t_{ij} \cdot \mathbf{x}_i \in R^m

여기서 $t_{ij}$ = document $j$ 의 word $i$ frequency.

Document-topic similarity: cluster $q$ 의 top- $t$ =3 word 와 $\mathbf{l}_j$ 의 cosine similarity 평균:

\text{sim}(j, q) = \frac{1}{t} \sum_{i \in \text{top-}t(q)} \cos(\mathbf{x}_i, \mathbf{l}_j)

Document $j$ → $\arg\max_q \text{sim}(j, q)$ topic.

Keyword Matching Score (KMS, 본 paper 제안):

\text{KMS} = \sum_{t=1}^{T} u_t, \quad \text{weighted KMS} = \frac{\sum_{t=1}^{T} w_t u_t}{\sum_{t=1}^{T} t}

여기서 $u_t$ = top- $t$ word 중 document keyword 와 exact match 수, $w_t$ = top-rank weight.

식별은 (i) 231 abstract 의 cross-sectional + temporal variation, (ii) Word2vec 의 semantic embedding 가 PLSA 의 frequency-only 한계 극복, (iii) spherical (unit norm) cosine 가 direction-based clustering 으로 magnitude bias 제거, (iv) silhouette measure 의 데이터-주도 $k$ 선택. Limitation: hyperparameter 의 data-dependent + 작은 sample.

연구 계보

본 paper 의 Word2vec lineage: Mikolov-Chen-Corrado-Dean (2013a Workshop at ICLR, Word2vec), Mikolov-Yih-Zweig (2013b NAACL-HLT, linguistic regularities). Spherical k-means: Dhillon-Modha (2001 Machine Learning). Topic modeling: Hofmann (1999 SIGIR, PLSA), Blei-Ng-Jordan (2003 JMLR, LDA), Newman-Block (2006 JASIST, PLSA superior over k-means/LSA), Alghamdi-Alfalqi (2015 IJACSA survey). Topic coherence: Mimno-Wallach-Talley-Leenders-McCallum (2011 EMNLP, UMass), Lau-Newman-Baldwin (2014 EACL, NPMI), Aletras-Stevenson (2013), Li et al (2016). Blockchain trend literature: Nakamoto (2008, Bitcoin), Swan (2015) Blockchain 1.0/2.0/3.0, Zheng et al (2017), Yli-Huumo-Ko-Choi-Park-Smolander (2016 PLOS ONE, systematic mapping), Dabbagh-Sookhak-Safa (2019). Word embedding 응용: Asghari-Sierra-Sosa-Elmaghraby (2018), Van Hooland et al (2017), Zhang-Xu-Su-Xu (2015).