호랭이 분석가

1. DB 데이터 불러오기 ( Redshift ) 업무에서 사용하는 각종 DB로부터 데이터를 불러와 작업하는 방법을 알아보겠습니다. 기본적으로 Redshift에서 데이터를 불러오는 방법을 소개하나, 응용하여 다른 종류의 데이터베이스로부터 데이터를 불러올 수 있습니다. # Redshift 연결 정보 username = 'dataiger' password = 'dataiger' host = 'dataiger-redshift:5439' database = 'dataiger' connection_string = f'postgresql://{username}:{password}@{host}/{database}' 위의 코드처럼 데이터베이스의 정보를 입력해줍니다. 그리고 다른 종류의 데이터베이스를 사용하신다면 pos..

1. Delayed Delayed 함수를 비교하기 위하여 파이썬 함수와 비교하면서 보겠습니다. # 기본 함수 from time import sleep def inc(x) : sleep(5) return x + 1 def add(x, y) : sleep(5) return x + y %%time x = inc(1) y = inc(2) z = add(x, y) 파이썬에서는 x > y > z 순으로 순차적으로 실행하기 때문에 15초가 걸립니다. import dask.delayed as delayed @delayed def inc(x) : sleep(5) return x + 1 @delayed def add(x, y) : sleep(5) return x + y Dask의 delayed 함수를 사용하기 위하여 데코..

1. Dask 설치 Dask는 파이썬을 기반으로, Pandas를 사용하는 데이터 분석가, 엔지니어는 쉽게 사용할 수 있도록 구현되어 있으며 대량의 데이터를 다루는데 특화되어있습니다. # 전체 설치 pip install "dask[complete]" # 부분 설치 pip install "dask[array]" pip install "dask[dataframe]" pip install "dask[diagnostics]" pip install "dask[distributed]" Dask는 pip로 설치 및 제거가 가능하기에 Spark와 비교하였을 때 설정과 관리가 매우 용이한 장점이 있습니다. 아래 링크에는 conda 설치법과 소스를 공유하고 있으니 참고하면 됩니다. Install Dask — Dask doc..