일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
- Redshift
- Ai
- 인컨텍스트 러닝
- Compute
- Docker
- FOR
- 인자 힌트
- Azure
- Cognitive Service
- 컨텍스트 매니져
- AI 동화
- 프롬프트 튜닝
- 대스크
- 모험
- 토끼
- 조건문
- Cognitive Search
- Python
- UDF
- 도커
- 동화책
- 제로샷
- 퓨샷
- 검색
- dask
- 파이썬
- 파라미터 힌트
- GPT
- 반복문
- 아기동화
- Today
- Total
목록분류 전체보기 (41)
호랭이 분석가
1. 도커 허브란? 도커 허브(Docker Hub)는 Docker에서 운영하는 이미지 저장소로, 다른 사람들과 자신이 생성한 이미지를 공유할 수 있는 플랫폼입니다. Docker Hub Container Image Library | App Containerization We and third parties use cookies or similar technologies ("Cookies") as described below to collect and process personal data, such as your IP address or browser information. You can learn more about how this site uses Cookies by reading our privacy..
1. 도커 컨테이너 생성과 이미지 도커에서 사용되는 이미지의 이름은 저장소 이름과 이미지 이름, 태그로 구성되는데 위에서는 ubuntu가 이미지 이름이고 14.04가 태그입니다. # [저장소 이름]/[이미지 이름]:[태그] dataiger / ubuntu :14.04 위에서 설명한 ubuntu:14.04 이미지를 활용하여 컨테이너를 생성하려면 docker run 명령어를 사용하는데, 컨테이너를 생성하고 실행하기 위한 명령어입니다. # ubuntu:14.04 이미지를 이용한 컨테이너 생성 docker run -i -t ubuntu:14.04 로컬 도커 엔진에 ubuntu:14.04 이미지가 존재하지 않으므로, 도커 중앙 이미지 저장소인 도커 허브에서 자동으로 이미지를 내려받습니다. 그리고 run 명령어 뒤..
데이터 분석 공부를 하면서, 연습용 예제 데이터를 다운받기 위해 코드를 실행하다 보면, 예제 데이터를 제공하는 코드를 실행하다 에러가 발생하곤 합니다. SSL 오류가 발생했을 때, 해결 방법을 안내하고자 합니다. # SSL 에러 발생시 해결방법 import requests requests.packages.urllib3.disable_warnings() import ssl try: _create_unverified_https_context = ssl._create_unverified_context except AttributeError: # Legacy Python that doesn't verify HTTPS certificates by default pass else: # Handle target en..
1. 대스크 데이터 프레임 사용 데이터 : NYC Flights Data ( 뉴욕 3개 지역 공항에서 출발하는 항공편 ) import urllib import tarfile # 뉴욕에서 출발하는 항공편 데이터 다운로드 url = "https://storage.googleapis.com/dask-tutorial-data/nycflights.tar.gz" filename, headers = urllib.request.urlretrieve(url, './nycflights.tar.gz') # 압축 해제 코드 with tarfile.open(filename, mode='r:gz') as flights: flights.extractall('data/') api로 제공되는 데이터를 다운로드하여줍니다. 만일, 아래와..
1. 복잡한 DAG 생성 실무에서 사용하는 복잡한 로직과 비교할 수 없지만 compute()와 persist()를 비교하기 위해서 복잡한 DAG를 생성합니다. import dask.delayed as delayed from dask.diagnostics import ProgressBar def add_two(x) : return x + 2 def sum_two_numbers(x, y) : return x + y def multiply_four(x) : return x * 4 data = [1, 5, 8, 10] step1 = [delayed(add_two)(i) for i in data] step2 = [delayed(multiply_four)(j) for j in step1] total = delaye..
1. 자바, 스칼라, 아파치 스파크 설치 # 자바 설치 brew install --cask adoptopenjdk11 # 스칼라 설치 # 스칼라 언어를 사용한다면 필수로 설치 brew install scala # 아파치 스파크 설치 brew install apache-spark 2. pyspark 설치 # 파이썬 pip install pyspark 3. pyspark 실행 # 터미널 pyspark 터미널에 pyspark를 입력하면 위 이미지처럼 스파크가 실행됩니다.
1. DB 데이터 불러오기 ( Redshift ) 업무에서 사용하는 각종 DB로부터 데이터를 불러와 작업하는 방법을 알아보겠습니다. 기본적으로 Redshift에서 데이터를 불러오는 방법을 소개하나, 응용하여 다른 종류의 데이터베이스로부터 데이터를 불러올 수 있습니다. # Redshift 연결 정보 username = 'dataiger' password = 'dataiger' host = 'dataiger-redshift:5439' database = 'dataiger' connection_string = f'postgresql://{username}:{password}@{host}/{database}' 위의 코드처럼 데이터베이스의 정보를 입력해줍니다. 그리고 다른 종류의 데이터베이스를 사용하신다면 pos..
1. Delayed Delayed 함수를 비교하기 위하여 파이썬 함수와 비교하면서 보겠습니다. # 기본 함수 from time import sleep def inc(x) : sleep(5) return x + 1 def add(x, y) : sleep(5) return x + y %%time x = inc(1) y = inc(2) z = add(x, y) 파이썬에서는 x > y > z 순으로 순차적으로 실행하기 때문에 15초가 걸립니다. import dask.delayed as delayed @delayed def inc(x) : sleep(5) return x + 1 @delayed def add(x, y) : sleep(5) return x + y Dask의 delayed 함수를 사용하기 위하여 데코..