NC

자연어처리가 각광받는 이유는 여러 가지이다. 그중에는 해당 분야가 ‘언어’를 다루기 때문이라는 사실이 많은 비중을 차지하리라 생각된다. 언어는 인간과 인간이 소통할 때 가장 많은 정보를 짧은 시간 안에 전달하게 해주는 독보적인 수단이다. 인류는 오랫동안 언어를 활용하여 다양한 사회적 활동을 수행해왔다. 다시 말하면 자연어처리는 인간이 축적해온 다양한 문화적, 사회적, 기술적 데이터를 효과적으로 활용할 수 있는 수단들 중 하나인 셈이다. 자연어처리는 기본적으로 언어와 관련된 데이터가 존재하는 모든 분야에 적용할 수 있다. 필자가 소속된 조직인 Data Center는 그중에서도 HR analytics와 접목할 수 있는 자연어처리 영역에 관심을 갖고 있다.

HR Analytics는 인적자원과 관련된 주요 단서들을 데이터를 기반으로 분석하고, 이를 통해 도출한 결과를 바탕으로 인재경영의 방향성에 대한 시사점을 제시하여 궁극적으로는 조직이 의사결정을 올바르게 하도록 이끄는 과정이라 정의할 수 있다. HR Analytics를 위한 분석의 주제는 기업에 적재된 다양한 데이터를 바탕으로 어떤 인사이트를 얻어낼 수 있느냐는 고민과 함께 결정된다. 본문에서 언급하는 분석 역시, 인사 제도를 운영하는 과정에서 발생한 비정형 데이터를 분석하여 제도 운영을 개선하고 발전시키는 인사이트를 제공하기 위해 수행되었다.

이번 글에서는 자연어처리 분야에서 관심의 대상이 되며 연구되고 있는 세부 도전 과제들과, 해당 과제가 HR analytics에 줄 수 있는 영향들에 관해 이야기하고자 한다.

자연어처리 모델의 구성은 1) 어떤 데이터로 2) 어떤 과제를 3) 어떻게 학습하여 해결할지를 결정하는 과정에서 구체화된다. 이에 대한 내용은 2018년 공개된 BERT에 잘 요약되어 있다. 사실 BERT에서 요약한 내용은 사전학습 모델을 전이학습에 적용하여 어떤 문제들을 해결할 수 있는지를 설명한 것이었지만, 현존하는 NLP 과제의 많은 부분을 포함하고 있어서 각 과제를 파악하고 적용 사례를 살펴보기에 적절한 지표였다. 하지만 해당 논문에서는 데이터셋과 딥러닝 모델 구성 방식의 관점에서 설명했다. 그 이유는 공개되어 있는 데이터셋의 구조와 목적에 맞는 딥러닝 모델을 4종류로 구성한 후 여러 데이터로 해당 모델의 성능을 검증하기 위해서였다. 우리 글에서는 이 글의 초점에 맞게 딥러닝 모델의 각 구조와 상응하는 데이터셋으로 어떤 문제를 해결할 수 있느냐는 관점으로 다시 한 번 정리했다.

언급한 자연어 추론을 위한 데이터셋(MNLI, QNLI, RTE, SWAG 등)은 포맷이 비슷한데, 2종의 sentences로 구성된 컬럼과, 1종의 class label 컬럼을 갖고 있다. 여러 데이터셋 중 QNLI의 예를 확인해보자. 아래 예시에서 Question은 질문이고 Answer는 답변이며, Class label은 Answer가 Question에 대한 답변이 될 수 있는지를 나타낸다.

또한 (a) 구조는 문장에 대한 유사도 여부를 판별하는 모델로도 학습할 수 있는데, 이 경우 입출력 데이터의 구조는 아래와 같다. 해당 데이터는 QQP의 예시이며, 결과적으로 딥러닝 모델은 입력 문장 1과 입력 문장 2가 같은 의미의 문장인지 아닌지에 대한 class label을 기반으로 weight propagation을 수행하여 학습하게 된다.

(b) 구조로 학습할 수 있는 데이터는 단일 문장과 단일 class label를 입력받아 학습하는 구조이다. 예시는 SST-2 데이터셋이다. 입력 문장과 해당 문장이 긍정문인지 부정문인지를 나타내는 class label로 구성된다.

언어적 용인 가능성을 판별해주는 딥러닝 모델도 (b) 구조로 학습하며, 입력 문장과 해당 문장이 언어적으로 용인이 가능한지 여부를 판별해주는 class label로 구성된다. 해당 문장은 CoLA 데이터셋의 예시이다.

(c)는 아래와 같은 데이터셋을 학습하여 동작한다. 해당 데이터는 SQuAD v1.1에 해당하며, Context와 Question을 입력으로 받고, Answer을 label로 하여 학습을 수행한다. 예시와 같이 Question은 Context에 포함된 내용에 대한 질문으로 구성되어 있으며, Answer은 해당 질문에 대한 정답으로 구성된다.

마지막으로 개체명 인식을 위한 데이터셋은 아래와 같이 구성된다. BERT 논문에서 예로 들었던 CoNLL-2003 NER 데이터셋이며, sentence의 각 단어(또는 token)에 대한 label로 구성되어 학습된다. 여기에서 O는 outside of named entity로 개체명에 해당하지 않음을 의미한다. PER는 인명, LOC은 지역, ORG는 기관, MICS는 특정되지 않은 개체명을 의미한다.

지금까지 자연어처리 모델로 해결할 수 있는 과제들을 BERT에 언급된 목록을 활용해 열거했다. 그렇다면 각각의 과제를 현업에 어떻게 적용할 수 있을까? 아래의 표에 자연어처리의 HR Analytics관점에서 활용할 부분을 나열했다.

해당 사례에서 전자는 문장 자체에 지원자의 성별을 나타내는 단어가 등장하므로 면접관이 이력서를 열람하기 전에 해당 사항을 필터링할 수 있다. 하지만 후자는 어떤가? 본문에 성별을 직접적으로 판단할 수 있는 단어가 없고, 카투사에 합격했다는 표현으로 남자임을 유추해야 하는 상황이다. 따라서 머신이 자연어를 이해할 수 있도록 학습하는 방법론들을 적용할 필요가 있다.

일반적으로 평가 제도는 직원의 성과 및 역량에 등급을 매기는 정량 평가, 그리고 개선과 성장을 위한 피드백을 제공하는 정성 평가로 이루어진다. 우리는 자연어처리 기술을 이용해 정성 평가를 분석하였다. 정성 평가 데이터는 여러 종류의 평가 제도를 통해 수집한다. 여기에는 조직장이 조직원에게 하는 피드백뿐 아니라 동료 간 피드백, 조직원이 조직장에게 하는 피드백도 포함된다.

우리는 분석을 위해 먼저 실데이터 익명화를 수행하였다. 데이터 익명화는, 해당 피드백이 어떤 직원에 대한 코멘트인지를 분석가가 알 수 없도록 이름이나 개인정보를 익명화하는 과정이다. 이후 익명화된 코멘트를 문장 단위로 분리하여 감정분석을 했다. 아무래도 평가 코멘트에서는 동료의 역량에 따라 피드백 성향이 달라질 테니 이렇게 코멘트를 문장 단위로 분리하여 감정분석을 하면 평가 등급에 따라 피드백의 양상이 얼마나 다르게 나타나는지 확인할 수 있으리라 생각했기 때문이다. 즉, 성과가 좋은 동료에게는 좋은 피드백을, 개선이 필요한 동료들에게는 개선점에 대한 피드백을 할 것이다. 우리는 그러한 차이가 수치적으로 얼마나 다르게 나타나는지 확인하고 싶었다. 하위 표는 평가 등급에 따라 피드백에 긍∙부정문이 포함된 비율을 확인한 것이다. 평가 등급은 1~5등급으로 나뉘며, 수치가 낮을수록 높은 평가를 의미한다.

우리가 활용한 감정분석 모델은 각 문장의 긍∙부정 여부를 [0, 1] 범주의 값으로 나타낸다. 1에 가까울수록 긍정을 나타내며, 0에 가까울수록 부정을 의미한다. 우리는 긍∙부정 여부에 대한 임곗값을 설정하여 긍∙부정 확률이 0.15 이하인 문장을 부정으로 취급하고, 0.85 이상인 문장을 긍정으로 취급했다. 0.15~0.85에 해당하는 문장은 중도로 구분했다. 이렇게 기준을 설정하고 등급에 따라 긍정 코멘트와 부정 코멘트 수치를 비교한 결과, 역량 및 성과가 가장 높은 1등급은 부정 코멘트의 수 대비 긍정 코멘트의 수가 46배 정도 많았다. 또한 해당 결과를 통해 평가자가 각 평가 등급의 차이를 얼마나 명확하게 인지하는지를 수치로 확인할 수 있었다. 본 결과에서는 1등급과 2등급의 긍∙부정 비율 차이는 크지 않은 반면 2에서 3으로 내려가는 구간에서 해당 수치가 급격히 감소했다. 각 등급의 차이는 동일하게 한 단계이나, 평가자는 체감상 1~2등급의 차이를 2~3등급의 경우와 다르게 생각한다고 추정된다. 본 주제와는 맥락이 조금 다르지만, 해당 차이를 다른 방면에서 봤을 때도 마찬가지였다. 코멘트에 등장한 3-gram 명사 기준의 빈출 단어 유사도를 확인한 결과 역시 1~2등급 사이 유사도보다 2~3등급 사이 단어 유사도가 더 낮았다. 이러한 결과는 향후 평가 등급을 조정하거나 등급별 보상 체계 등을 개선할 때 참고할 수 있을 것이다.

더 나아가 자연어처리 기술을 이용하면 평가 코멘트를 요약하는 데도 활용할 수 있다. 상기 분석에서 익명화를 수행할 때 우리는 3종류의 태그를 활용하였는데 이는 각각 EMP, CAPA, SKIL이다. 여기에서 EMP는 익명화를 수행할 때 필요한 태그이고, 다른 두 태그는 역량 또는 기술에 해당한다. 역량 및 기술 태그를 활용하면 해당 문장이 어떤 역량 및 기술에 대한 코멘트인지를 확인할 수 있다. 이를 활용하면 각 사원들의 장점과 역량들을 아래와 같이 정보화할 수 있다.

본 포스팅을 통해 자연어처리를 연구하며 해결하고자 하는 다양한 과제를 알아보는 한편 해당 과제들이 현업 및 서비스에 어떻게 활용되는지를 확인해보았다. 위에서 언급한 바와 같이 자연어처리는 인간의 언어를 다루는 기술이다. 이 기술은 언어가 포함된 모든 영역으로 확장할 수 있다. 본 팀의 업무 분야인 HR Analytics도 자연어처리가 필요한 분야 중 하나이다. 어떤 자연어처리 기술은 이미 현업에 깊숙이 녹아들어 있다. 또한 아직 적용되지 않은 부분들에도 향후 활용될 여지가 많으므로 기술에 대한 수요가 매우 높다. 이에 따라 본 포스팅에서는 자연어처리 연구자들이 주로 관심을 갖고 있는 문제들과 해당 문제를 학습하기 위한 데이터, 그리고 실제 적용 사례를 정리했다.