DoITgrow

배우고 싶은 것은 많은데 시간은 한정되어 있고, 또 회사 일과 병행하다 보면 하루 24시간이 너무 짧다는 생각이 부쩍 드네요. 딥러닝 알고리즘과 같이 개념을 공부하는 것도 중요하지만 결국 누군가에게 도움이 될 수 있는 서비스로 만들기 위해선 웹이나 모바일로 개발하는 것이 필수라고 생각합니다. 저의 큰 목표는 개발한 딥러닝 알고리즘을 사람들이 쉽게 사용할 수 있는 서비스로 런칭하는 것이기에 웹 개발하는 부분도 열심히 공부하고 있습니다. 불과 1년 전만 해도 웹 개발에 관해서는 지식이 전무했지만 관심을 갖고 꾸준히 공부하다 보니 점점 성장하는 제 모습을 보고 더 열심히 하게 되네요. 이번 포스팅에서 다룰 주제는 굉장히 큰 범위라 몇 번을 나눈 포스팅을 통해 공부한 내용을 공유드리고자 합니다. 저도 현재 진행..

안녕하세요. 오늘 소개해드릴 코드는 한글 문서의 단어를 추출하여 워드클라우드(Word Cloud)로 시각화하는 방법입니다. 파이썬에서 시각화는 거의 모두 matplotlib 라이브러리를 기반으로 하고 있습니다. 그러나 기본적으로 한글을 지원하지 않기 때문에 한글 데이터를 시각화할 경우 폰트가 깨지는 문제가 발생하여 이 부분에 대해서 다뤄보고자 합니다. 그리고 생성한 워드 클라우드의 그림을 우리가 원하는 이미지 형태로 나타낼 수 있는 방법 또한 소개드리려고 합니다. 포스팅 주요 내용 1. konlpy 패키지를 통한 한글 텍스트 추출 및 간단한 전처리 2. 한글로 워드클라우드 시각화 3. 원하는 이미지로 워드클라우드 생성하기 그럼 바로 본론으로 들어가겠습니다~ 0. 필요 패키지 불러오기 from wordcl..

안녕하세요. 오늘은 얼마전에 새로 알게되어 소개해드리고 싶은 패키지가 있어서 포스팅을 하네요. 아마 고수분들은 이미 알고 계시는 내용일 수 있겠지만 언제나 그랫든 저는 저와 같은 코린이 분들을 위해 기록을 남기는 중이라 의의가 있다고 생각합니다!! 원하는 결과를 얻기 위해 선택할 수 있는 다양한 방법이 있는데 어떤 것이 좋은거지? 직접 프로그래밍 언어를 개발하는 곳에 종사하지 않는한 파이썬에 기본 내장되어 있는 함수들의 작동 방식까지 깊게 배우지 않을 것 같아요. 다만 반복문을 2중, 3중, 그 이상 중첩해서 사용하면 속도가 기하급수적으로 느려진다는 것은 배웠고, 우리는 map 함수와 같은 병렬 처리를 통해 속도 저하를 피할 수 있다는 것은 많이 알고 있습니다. 그런데 우리가 데이터 변수를 선언할 때 ..

해당 오류는 pip 명령어로 패키지를 설치하거나 tar.gz, whl 파일로 패키지를 직접 설치할 때 압축 파일 안에 있는 setup.py 파일을 자동으로 실행하는데 여기에 포함되어 있는 코드 중 txt 파일과 같은 것을 읽을 때 디코딩이 제대로 되지 않아서 발생하는 문제이다. 위 문제를 해결하기 위해서는 tar.gz 파일을 받은 후 압축을 해제하여 설치하는 방법을 이용해야 한다. 압축을 해제하면 해당 폴더에는 setup.py 파일이 있을 것이다. 여기 위치에서 cmd 또는 shell을 열어서 직접 python setup.py install 명령어를 실행하여 설치해야 한다. 명령어를 실행하기 전에 1가지 미리 작업해 주어야 할 것이 있는데 setup.py를 메모장이나 기타 편집기로 열어서 안에 내용을 일..

분석의 결과는 데이터 품질에 따라 크게 좌우되므로 분석에 앞서 전처리하는 과정이 매우 중요합니다. 아마도 분석을 하고 계시는 분들은 실제 분석보다도 분석을 위한 준비 시간이 약 70% 이상을 차지하신다는 것을 잘 아실 것 같습니다. 분석을 위해 수집하는 데이터에는 엄청나게 많은 노이즈들이 포함될 수 있습니다. 예를들어 영어 데이터를 분석하려고 하는데 기타 언어들이 포함되어 있는 경우가 있을 수 있는데 이때 인코딩/디코딩 기법을 사용하여 쉽게 처리하는 방법에 대해 소개드리려고 합니다. 인코딩/디코딩 우리가 코딩할 때 타이핑하는 글자들은 사람이 이해할 수 있는 방식으로 표현된 것일 뿐, 실제로 컴퓨터는 다르게 받아들여서 이해를 합니다. 우리는 코딩을 하며 이러한 과정을 보통 볼 수 없는데, 컴퓨가 알아서 입..