DoITgrow

다양한 환경에서 git 을 사용할 때, 가끔 어떠한 설정 변경으로 인해 하나의 환경에서 제대로 동작하지 않는 경우가 발생하곤 한다. 집에서 git 계정의 personal token을 바꿀 일이 있었는데 이후 회사에서 아래와 같이 repository를 갱신하려고 했으나 authentication failed 문제가 발생하였다. $ git pull remote: Invalid username or password. fatal: Authentication failed for 'https://github.com/doitgrow/myproject/' 집에서 계정 정보를 바꿈으로써 git 서버에서 관리하고 있는 나의 계정 정보가 업데이트되었지만 회사 컴퓨터에서는 아직 예전의 계정 정보를 가지고 있음으로써 발생하는 ..

이전 포스트에서 Bag of Word(BoW)의 개념을 알아보았고, BoW는 텍스트 문서(또는 문장)를 컴퓨터가 이해할 수 있는 데이터로 변환하는 간단한 알고리즘이라는 것을 코드를 직접 구현해보며 알아보았다. 2021.09.23 - [자연어 처리] Bag of Word (BoW) - 파이썬(Python) 그러나 텍스트 정보를 BoW를 통해 언어 모델로 해석하려고 한다면 몇 가지 문제점이 존재한다. Bag of Word의 한계 1. 불용어(의미 없는 단어)를 제대로 제거하지 못하면 원하지 않는 편향된(biased) 결과가 얻어질 수 있다. 2. 문장(또는 문서)의 의미가 단어 순서에 따라 달라질 수 있지만 BoW 모델은 이를 반영할 수 없다. 언급한 2가지 한계점 중 첫 번째의 사례에 대해 구체적으로 설명..

뉴스, 논문, 특허 등의 텍스트로 이루어진 데이터를 분석하기 위해서 무엇을 해야 할까? Tokenization(문장을 단어로 쪼개기), 불용어 제거, 단어 정규화(ex. apples → apple) 등의 전처리 작업과 더불어 컴퓨터가 이해할 수 있는 데이터로 변환해 주어야 한다. 즉, 문자를 숫자로 변환하는 작업을 수행해야 한다. 오늘은 문서(또는 문장)를 숫자로 변환하는 방법 중 가장 기본적인 BoW(Bag of Words) 방식을 활용하여 문서(또는 문장)를 컴퓨터가 이해할 수 있는 자료 형태로 가공하는 방법에 대해 포스팅하고자 한다. 본론에 들어가기 앞서 BoW는 자연어 처리에 많이 활용되는 기법이고, 주로 결과물로 활용하기 보다는 데이터를 전처리하는 중간 중간에 활용하는 데이터 형태로 이해하면 좋..

비전공자로서 풀스택 개발이 가능한 Data Scientist 가 목표이지만 Front-end, Back-end 개념과 이론에 익숙하지 않고, 일단 몸소 부딪히며 배우자는 마음으로 열심히 공부하고 있다. 이렇게 체계없이 무언가를 마구 하다 보니 시간이 흘러 다시 까먹게 되고, 제대로 성장하고 있다는 생각이 들지 않는다. 기록의 가치가 중요하다고 항상 생각하고 있어서 기록은 꾸준히 하고 있으나 보관하는 장소도 다르고, 다시 열어보지 않게 되어 이 참에 블로그를 통해 제대로 나 자신의 포트폴리오를 만들어 가보려고 한다. 풀스택 개발자가 되고 싶은 이유는 언젠가 IT 사업을 하고 싶기 때문이다. 물론 내가 잘하는 영역에 집중하고 다른 영역은 마음이 맞는 동료를 구하는 것이 나의 목표 달성에 더 빠른 길이라고 생..

VS Code 터미널에서 가상환경으로 들어갈 때, 스크립트를 실행할 수 없다는 오류가 발생한는 경우가 있다. 이러한 오류가 발생하는 이유는 파이썬의 가상환경을 실행하는 Activate.ps1 스크립트 실행 권한이 부여되어 있지 않기 때문이다. 이 시스템에서 스크립트를 실행할 수 없으므로 C:\venvs\venv\Scripts\Activate.ps2 해결방법 Windows PowerShell 을 관리자 권한으로 실행한다. PowerShell 창에서 get-help Set-ExecutionPolicy 를 입력하면 어떠한 권한을 부여할 수 있는지 상세 내용을 확인할 수 있다. Set-ExecutionPolicy RemoteSigned 를 실행하여 권한 정책을 변경한 후에 가상환경을 실행하면 정상적으로 작동한다..