크롤링한 어절 또는 문장의 유사성을 구하는 방법에 대해 질문 드립니다

기계 학습 분야로 오시는건가요? 환영합니다.

먼저 한글과 영문 사이에 차이점이 많이 있어서 한글에서의 유사성 검증은 쉽지 않고 아직까지 완전히 검증된 방법은 제가 알기로는 존재하지 않습니다만 대학원에서나 업계 분들이 참석하는 스터디에 다녀본 결과로는 유사한 툴이나 트릭을 쓰는 것이 대부분인 것 같습니다.

예를 들면 한국어 문장을 구하기 위해서 번역기를 돌리는 것이죠.

그리고 여러가지 창의적인 경우도 있습니다. 넥슨에서는 2015년도 컨퍼런스에서 잠깐 모습을 드러낸 창의적인 방법이 있었는데요. (넥슨은 욕설을 감지하기 위해서 사용하는 방법으로 사용했고 저도 해당 방법과 비슷하게 욕설 방지 프로젝트를 진행 중입니다)

한글의 경우에 아직 '형태소 분석기'라던지의 도구가 누군가에 의해서 자주 쓰이거나 하는 등 커뮤니티에서 확립되지 않았습니다. 대신 넥슨에서는 이를 이미지로 처리하기로 했습니다. 제가 보기에도 한글의 시초 단계인 '훈민정음'에서 자음은 기본 글자에서 가획이나 병서 등을 통해 새로운 글자로 확장하는 작업을 통해 새로운 글자를 만들어내듯이 이미지도 비슷한 글자들도 한 번에 구별해낼 수 있다고 봅니다.

예를 들면 ㄱ에서 ㄲ(된), ㅋ(거센)까지 말이죠. 사실 모두 비슷한 글자들이죠.

그래서 CNN DQN 알고리즘 등의 이미지 프로세싱 알고리즘을 사용해보시면 어떨까 합니다.

아니라면 트위터에서 제작한 토크나이저도 있긴 합니다.

> https://github.com/twitter/twitter-korean-text

한글 형태소 분석기들에 대한 레퍼런스 글들입니다. (구글에 검색하시면 볼 수 있는 글들입니다, 자료가 별로 없어요 ㅜㅜ arXiv가 도움이 많이 될 수도 있습니다...)

> https://iostream.tistory.com/144

> https://www.shineware.co.kr/products/komoran/ (komoran 형태소 분석기)

> https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/ (mecab 형태소 분석기를 사용한 예)

넥슨 NDC 2015에 대한 영상 링크입니다 ^_^

> https://www.youtube.com/watch?v=K4nU7yXy7R8

아직까지도 한글 토크나이저가 확립이 되지 않은게 많이 아쉽네요 ㅜㅜ 힘내세요.. ㅜㅜ

1. 문장의 유사성의 경우에는 위에서 Seia님이 말씀하신 것과 같이 translation을 하는 방식이나 N-gram 등의 방식을 활용하면 되겠지만, 연관성의 경우에는 해당 방식으로 하기가 어려울 것 같습니다.

2. 기계 학습으로 하시려면 CNN, DQN이 아닌 RNN으로 구현을 해야 합니다. 문장의 경우에는 앞어절에 어떤 내용이 오느냐에 따라서 의미가 달라지므로 해당 내용을 고려하기 위해서는 RNN으로 해야 합니다.

문장 번역이나 음성 인식 등이 RNN을 기반으로 해서 만들어진 모델이 많습니다.

또한 CNN의 경우에는 입력의 크기가 확정 되어 있기 때문에 길이가 일정하지 않은 문장이 들어가기에는 적절한 형태가 아닙니다.

추가로 데이터셋을 생성하기도 어려움이 있겠네요.. 이미지의 경우에는 약간의 노이즈를 추가하거나 약간 회전을 주는 등의 augmentation이 가능하지만 문장의 경우에는 해당 과정을 자동화하기가 어렵습니다. 물론 조사를 수정하는 등의 방식으로 할 수 있겠지만 이 경우에는 너무 패턴화된 방법이기 때문에 크게 의미가 없기도 하고요..

3.

딥러닝의 경우에는 연산이 많이 들기 때문에 저전력 프로세서에서는 하기 어렵습니다. 그래서 어떻게 하면 모델의 크기를 줄이면서 잘 동작하게 할 것인가에 대한 연구가 많이 이루어지고 있습니다. 교수님께서 우스겟소리로 한 이야기긴 하지만 휴대폰과 같은 곳에서도 Deep Learning이 충분히 돌아갈 수 있는(발열이 거의 없으면서 latency가 낮은) 칩 설계를 할 수 있으면 때돈을 벌 수 있다고 하셨습니다.

4.

약간 패턴화된 분석 방식이긴 하지만 "카카오톡 봇 서비스"에서 제공하는 질의 응답 방식을 응용해보시는 것도 괜찮을 것 같네요.

예를 들어 '내일 7시 날씨는 어때' 라는 문장을 넣고 "내일 7시"에 시간 라벨을 지정해주고 "날씨"에 상수 라벨을 지정해주면, 이와 비슷한 형식인 "금요일 오후 10시 날씨를 알려줘" 와 같은 문장을 인식할 수 있게 되고, 이 내용이 날씨를 물어보는 문장인 것을 알고 거기에 맞게 처리합니다.

다만 이렇게 하면 따로 처리를 해주지 않는 문장에 대해서는 동작하지 않게 되겠지만 좀 더 사람이 인식하는 방식과 가깝게 인식이 가능합니다.

그리고 패턴을 여러 개 등록하면 그 개수에 비례해서 실행 시간이 증가한다는 단점이 있겠습니다.

물론 카카오에서 패턴 매칭을 할 때 일일히 비교하는지 아니면 해당 과정도 딥러닝으로 처리하는지는 모르겠네요.

P.S. 표절 시스템에서 사용하는 방식을 활용하면 문장 유사성을 구할 수도 있겠네요.