DoITgrow

뉴스, 논문, 특허 등의 텍스트로 이루어진 데이터를 분석하기 위해서 무엇을 해야 할까? Tokenization(문장을 단어로 쪼개기), 불용어 제거, 단어 정규화(ex. apples → apple) 등의 전처리 작업과 더불어 컴퓨터가 이해할 수 있는 데이터로 변환해 주어야 한다. 즉, 문자를 숫자로 변환하는 작업을 수행해야 한다. 오늘은 문서(또는 문장)를 숫자로 변환하는 방법 중 가장 기본적인 BoW(Bag of Words) 방식을 활용하여 문서(또는 문장)를 컴퓨터가 이해할 수 있는 자료 형태로 가공하는 방법에 대해 포스팅하고자 한다. 본론에 들어가기 앞서 BoW는 자연어 처리에 많이 활용되는 기법이고, 주로 결과물로 활용하기 보다는 데이터를 전처리하는 중간 중간에 활용하는 데이터 형태로 이해하면 좋..