호랭이 분석가

Amazon Redshift는 PostgreSQL 기반의 클라우드 데이터 웨어하우스 서비스로, 사용자 정의 함수(UDF)를 지원합니다. 이번 포스트에서는 Redshiftdml PL/Python UDF를 이용하여 두 지점의 위도와 경도를 입력받아 그 거리를 계산하는 함수를 소개하려 합니다. CREATE OR REPLACE FUNCTION my_schema.f_distance_km(latitude1 float8, longitude1 float8, latitude2 float8, longitude2 float8) RETURNS float8 LANGUAGE plpythonu IMMUTABLE AS $$ import math r = 6365 sin_lat1 = math.sin(latitude1/57.2957795..

Redshift에도 정규표현식을 사용할 수 있지만 사용자 정의 함수를 통해 원하는 정규표현식 함수를 만들 수 있습니다. CREATE OR REPLACE FUNCTION my_schema.f_regexp( input_string varchar(max), regexp_expression varchar(max)) RETURNS varchar(max) stable as $$ import re from sets import Set rg = re.compile(regexp_expression, re.IGNORECASE|re.DOTAIL) # findall로 일치하는 부분 찾기 regexp_list = rg.findall(input_str) # Set 및 join으로 중복제거하고 문장 만들기 text = ' '.jo..

1. 타입 에러 SELECT user_number::varchar -- 고객번호 FROM my_table UNION ALL SELECT user_number::int -- 고객번호 FROM my_table2 my_table과 my_table2의 user_number의 타입이 달라 에러가 발생합니다. 타입을 varchar 또는 int 형식으로 통일을 해주면 에러가 해결됩니다. 2. NULL 타입 SELECT user_number::int -- 고객번호 , join_ymd::date -- 가입년월 FROM my_table UNION ALL SELECT user_number::int -- 고객번호 , NULL FROM my_table2 간혹 NULL 형식을 특정하지 못하여 에러가 발생하는 경우가 있습니다. N..

1. DB 데이터 불러오기 ( Redshift ) 업무에서 사용하는 각종 DB로부터 데이터를 불러와 작업하는 방법을 알아보겠습니다. 기본적으로 Redshift에서 데이터를 불러오는 방법을 소개하나, 응용하여 다른 종류의 데이터베이스로부터 데이터를 불러올 수 있습니다. # Redshift 연결 정보 username = 'dataiger' password = 'dataiger' host = 'dataiger-redshift:5439' database = 'dataiger' connection_string = f'postgresql://{username}:{password}@{host}/{database}' 위의 코드처럼 데이터베이스의 정보를 입력해줍니다. 그리고 다른 종류의 데이터베이스를 사용하신다면 pos..