호랭이 분석가

지난번에 슬랙 Webhook URL 생성에 이어서 구글챗도 생성해보도록 하겠습니다. [Bot] #1. 봇을 만들기 위한 Webhook URL 생성 - 슬랙 슬랙 또는 구글 등 자주 사용하는 프로그램을 사용하여 배치, 작업 등의 진행 상황 또는 시간별 현황 등 다양한 주제로 알림을 받을 수 있습니다. 알림을 받기 위한 사전 준비로 Webhook URL을 생성 dataiger.tistory.com 우선 웹훅을 설치할 구글챗으로 이동하여 스페이스를 생성합니다. 생성 후 ∨를 클릭하여 웹훅 관리를 클릭합니다. 웹훅 관리를 클릭하면 팝업이 열리는데 봇을 표기할 이름과 봇을 대표할 이미지를 선택하여 넣어줍니다. 이미지는 필수 항목은 아닙니다. 저장을 클릭하면 생성이 완료되고, 아바타를 따로 선택하지 않았다면 기본 ..

슬랙 또는 구글 등 자주 사용하는 프로그램을 사용하여 배치, 작업 등의 진행 상황 또는 시간별 현황 등 다양한 주제로 알림을 받을 수 있습니다. 알림을 받기 위한 사전 준비로 Webhook URL을 생성해야 하기 때문에 Slack에서 Webhook URL 생성을 해보도록 하겠습니다. 그럼 저는 슬랙에서 봇_테스트라는 채널을 생성하고 테스트하도록 하겠습니다. 슬랙 채널 생성 후 이동하여 채널명 우측에 ∨ 표시를 눌러줍니다. 위와 같은 설정 화면이 나오면 통합 탭으로 이동하여 앱 추가 버튼을 클릭해 줍니다. 앱 디렉터리에서를 꼭 확인하시고 Incoming WebHooks의 설치 버튼을 클릭합니다. Slack에 추가 버튼을 클릭하면 어떤 채널에 포스트를 할 것인가를 선택하는 화면이 나옵니다. 그러면 각자 생성..

1. 협업 필터링 ( Collaborative Filtering : CF ) 협업 필터링이란? - 구매 / 소비한 제품에 대한 각 소비자의 평가를 받아서 평가 패턴이 비슷한 소비자를 한 집단으로 보고 그 집단에 속한 소비자들의 취향을 활용하는 기술입니다. 즉, A집단의 사람들이 좋아하는 제품 중에서 A집단에 속한 A1이 아직 접하지 않은 제품을 골라내어 제시하는 기술입니다. 한계점 - 구매 이후 후기, 평점 등을 작성하지 않는 소비자들도 많기 때문에 평가 정보가 제한적입니다. 극복 방안 - 간접 정보 사용 : 검색, 장바구니, 클릭 데이터 등 클릭스트림 분석을 통해서 소비자의 취향이나 니즈를 알아낼 수 있습니다. 대표적인 예 - 아마존 제품 추천 시스템 - 넷플릭스 영화 추천 시스템 2. 내용 기반 필터..

정확도 측정이란 예상 점수(평점)와 실제 점수의 차이를 계산하는 방법과, 추천한 아이템과 사용자의 실제 선택을 비교하는 방법이 있다. 이처럼 정확도는 예측값과 실제값의 차이로 계산되는데, 차이를 계산하는 수식으로는 다양한 지표가 있다. 1. 연속형 정확도 측정 지표 사용자의 평점과 같이 예측값과 실제값이 연속 값을 갖는 경우에 사용할 수 있는 지표는 아래와 같습니다. MAD (Mean Absolute Deviation) $$ \frac{\sum( | r_{i,j} - p_{i,j} | )}{k} $$ MSE (Mean Squared Error) $$ \frac{\sum(r_{i,j} - p_{i,j})^{2}}{k} $$ RMSE (Root Mean Squared Error) $$ \sqrt \frac{..

1. KoNLPy 설치 KoNLPy는 자바(java)로 만들어진 형태소 분석기를 사용하기 때문에 1.7 이상의 버전을 설치하여야 합니다. ## 버전이 1.7 이상 java -version ※ Window window의 경우 Jpype1을 먼저 설치해야 합니다. 아래 코드를 예제로 링크로 가셔서 환경에 맞는 버전으로 설치하시면 됩니다. # JPype 0.5.7버전 이상, Python버전(아래 코드는 3.9버전), 64비트 윈도우 pip install JPype1‑1.4.0‑cp39‑cp39‑win_amd64.whl Archived: Python Extension Packages for Windows - Christoph Gohlke Archived: Python Extension Packages for W..

데이터 분석 공부를 하면서, 연습용 예제 데이터를 다운받기 위해 코드를 실행하다 보면, 예제 데이터를 제공하는 코드를 실행하다 에러가 발생하곤 합니다. SSL 오류가 발생했을 때, 해결 방법을 안내하고자 합니다. # SSL 에러 발생시 해결방법 import requests requests.packages.urllib3.disable_warnings() import ssl try: _create_unverified_https_context = ssl._create_unverified_context except AttributeError: # Legacy Python that doesn't verify HTTPS certificates by default pass else: # Handle target en..

1. 대스크 데이터 프레임 사용 데이터 : NYC Flights Data ( 뉴욕 3개 지역 공항에서 출발하는 항공편 ) import urllib import tarfile # 뉴욕에서 출발하는 항공편 데이터 다운로드 url = "https://storage.googleapis.com/dask-tutorial-data/nycflights.tar.gz" filename, headers = urllib.request.urlretrieve(url, './nycflights.tar.gz') # 압축 해제 코드 with tarfile.open(filename, mode='r:gz') as flights: flights.extractall('data/') api로 제공되는 데이터를 다운로드하여줍니다. 만일, 아래와..

1. 복잡한 DAG 생성 실무에서 사용하는 복잡한 로직과 비교할 수 없지만 compute()와 persist()를 비교하기 위해서 복잡한 DAG를 생성합니다. import dask.delayed as delayed from dask.diagnostics import ProgressBar def add_two(x) : return x + 2 def sum_two_numbers(x, y) : return x + y def multiply_four(x) : return x * 4 data = [1, 5, 8, 10] step1 = [delayed(add_two)(i) for i in data] step2 = [delayed(multiply_four)(j) for j in step1] total = delaye..