DoITgrow

뉴스, 논문, 특허 등의 텍스트로 이루어진 데이터를 분석하기 위해서 무엇을 해야 할까? Tokenization(문장을 단어로 쪼개기), 불용어 제거, 단어 정규화(ex. apples → apple) 등의 전처리 작업과 더불어 컴퓨터가 이해할 수 있는 데이터로 변환해 주어야 한다. 즉, 문자를 숫자로 변환하는 작업을 수행해야 한다. 오늘은 문서(또는 문장)를 숫자로 변환하는 방법 중 가장 기본적인 BoW(Bag of Words) 방식을 활용하여 문서(또는 문장)를 컴퓨터가 이해할 수 있는 자료 형태로 가공하는 방법에 대해 포스팅하고자 한다. 본론에 들어가기 앞서 BoW는 자연어 처리에 많이 활용되는 기법이고, 주로 결과물로 활용하기 보다는 데이터를 전처리하는 중간 중간에 활용하는 데이터 형태로 이해하면 좋..

비전공자로서 풀스택 개발이 가능한 Data Scientist 가 목표이지만 Front-end, Back-end 개념과 이론에 익숙하지 않고, 일단 몸소 부딪히며 배우자는 마음으로 열심히 공부하고 있다. 이렇게 체계없이 무언가를 마구 하다 보니 시간이 흘러 다시 까먹게 되고, 제대로 성장하고 있다는 생각이 들지 않는다. 기록의 가치가 중요하다고 항상 생각하고 있어서 기록은 꾸준히 하고 있으나 보관하는 장소도 다르고, 다시 열어보지 않게 되어 이 참에 블로그를 통해 제대로 나 자신의 포트폴리오를 만들어 가보려고 한다. 풀스택 개발자가 되고 싶은 이유는 언젠가 IT 사업을 하고 싶기 때문이다. 물론 내가 잘하는 영역에 집중하고 다른 영역은 마음이 맞는 동료를 구하는 것이 나의 목표 달성에 더 빠른 길이라고 생..

VS Code 터미널에서 가상환경으로 들어갈 때, 스크립트를 실행할 수 없다는 오류가 발생한는 경우가 있다. 이러한 오류가 발생하는 이유는 파이썬의 가상환경을 실행하는 Activate.ps1 스크립트 실행 권한이 부여되어 있지 않기 때문이다. 이 시스템에서 스크립트를 실행할 수 없으므로 C:\venvs\venv\Scripts\Activate.ps2 해결방법 Windows PowerShell 을 관리자 권한으로 실행한다. PowerShell 창에서 get-help Set-ExecutionPolicy 를 입력하면 어떠한 권한을 부여할 수 있는지 상세 내용을 확인할 수 있다. Set-ExecutionPolicy RemoteSigned 를 실행하여 권한 정책을 변경한 후에 가상환경을 실행하면 정상적으로 작동한다..