데이터 분석 및 프로젝트 16

[딥러닝]- VGG19 모델 활용한 이미지 콜라보 만들기

https://www.kaggle.com/code/basu369victor/style-transfer-deep-learning-algorithm Style Transfer Deep Learning Algorithm Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com 위 사진 처럼 두 작품을 콜라보 하는 딥러닝 알고리즘이다 사용하는 모델은 vgg 19 모델이다 vgg 뒤에 붙은 숫자는 레이어의 개수이다 VGG 16 VGG19 는 16개의 레이어, 19개의 레이어를 갖는다 VGG19는 레이어가 19개 레이어로, 메모리 등 자원을 많이 소모한다 특징은 VGG..

데이터베이스 연결 - GIT BASH, DBEAVER

인터페이스 DB API 는 파이썬과 데이터베이스의 상호작용을 돕는 어떤 약속이다 ! PEP 249 데이터 베이스와 작업하는 코드 살펴보기 전 파이선의 PEP 249를 보자 PEP 249는 파이썬에 명시하는 DBAPI v2.0문서이다 SQLite 위 데이터베이스는 파이썬과 함께 설치되는 가벼운 파일형 관계형 데이터베이스 파일형 데이터베이스로 실행 중인 프로그램의 메모리에 상주할 수 있어 파일 삭제하거나 프로세스 종료등으로 데이터 손실 주의해야한다 데이터베이스 연결 import sqlite3 conn = sqlite3.connect('test.db') sqlite는 아래와 같이 메모리에서도 실행될 수 있다 import sqlite3 conn = sqlite3.connect(':memory:') 해당 세션을 ..

SELECT 문 실행 순서 / CASE/ SUBQUERY/IN NOT IN /FROM

SELECT 실행 순서 FROM WHERE GROUP BY HAVING SELECT ORDER BY SELECT CustomerId, AVG(Total) FROM invoices WHERE CustomerId >= 10 GROUP BY CustomerId HAVING SUM(Total) >= 30 ORDER BY 2 위 쿼리문 동작하는 순서 분석하기 FROM invoices : invoices 테이블 접근 WHERE CustomerId >=10: customerid 필드가 10 이상인 레코드들 조회 GROUP BY CustomerId : customerid 기준으로 그룹화 한다 HAVING SUM(Total) >= 30 : total 필드의 값들의 합이 30 이상인 결과 필터 SELECT Customer..

SQL 내장 함수

GROUP BY 데이터 조회하게 될 때 묶어서 조회하게 해주는 기능 SELECT * FROM customers GROUP BY state ORDER BY CustomerId; HAVING HAVING은 GROUP BY로 조회된 결과에 대한 필터 SELECT CustomerId, AVG(Total) FROM invoices GROUP BY CustomerId HAVING AVG(Total) > 6.0 위 쿼리는 고객이 주문한 값의 평균을 구하고 평균이 6을 넘기는 결과만 조회하는 쿼리다 group by로 인한 결과에 대한 필터를 적용하는 것이 having이다 HAVING ? WHERE? HAVING은 그룹화한 겨과에 대한 필터라면 , WHERE는 그룹화하기 전에 조회되는 레코드를 필터한다 WHERE, GR..

아우디 중고차 가격 예측하기 - 머신러닝

https://makmak0070.tistory.com/20 # install !pip3 install pdpbox !pdp3 install xgboost == 1.7.2 !pip install category_encoders pip install --upgrade matplotlib import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.model_selection import train_test_split from xgboost import XGBRegressor from sklearn.metrics import mean_absolute_error, mean_squar..

딥러닝 -신경망 용어

Neuron(뉴런): 신경계 구성하는 세표, 퍼셉트론(인공뉴런)은 다수입력 신호를 받아 하나의 신호를 출력한다 Input Layer(입력층): 데이터셋으로 입력받는 층이며, 계산 수행은 하지 않고 값만 전달한다. 입력변수와 입력 노드의 수 동일 Hidden Layer(은닉층): 계산결과를 사용자가 못 본다. 입력된 신호가 가중치, 편향과 연산되는 층이다, 입력 데이터셋의 특성수와 상관없이 노드 수 구성 가능하다 Output Layer(출력층): 예측하고자 하는 클래스 출력, 활성함수 존재 Activation Function(활성함수): 신경망회로에서 한 노드에 입력 값 받아 다음 노드에 보낼 지 말지 결정하는 함수 (step, sigmoid, relu, softmax) Back Propagation(역전..

딥러닝 3일차 - 학습률

더 나은 신경망 학습 위해 - 학습률 - 가중치 초기화 - 정규화 1. 학습률 감소/ 계획법 학습률 (lr) - 얼마나 이동할 지 조정하는 하이퍼 파라미터 가중치에 대해 구해진 기울기 값을 얼마나 경사에 적용할 지 결정하는 하이퍼파라미터 학습률니 너무 낮으면 : 최적점에 이르기까지 너무 오래 걸림/ 주어진 Iteration내에서 최적점에 도달하는데 실패 학습률이 너무 높으면 : 경사하강과정에서 발산하면서 모델이 최적값을 찾을 수 없게 되어버림 1. 학습률 감소 .compile내에 있는 optimizer= 에 adam 등 옵티마이저 적용 후 내부 하이퍼파라미터 변경해 학습률 감소 # optimizer 내 lr 인자 통해 학습률 설정 # beta_1 : 학습률 감소율 설정 , adam 내 수식의 변수를 그대..

딥러닝 2일차 - tensorflow 신경망 예제

fashion mnist 예제 import numpy as np import pandas as pd import tensorflow as tf # 학습, 시험 나누고 정규화 from tensorflow.keras.datasets import fashion_mnist (X_train, y_train), (X_test, y_test) = fashion_mnist.load_data() print(X_train.shape, X_test.shape) # 이미지 정규화 X_trian, X_test = X_train/255, X_test/255 #데이터 살피기 import matplotlib.pyplot as plt for i in range(9): plt.subplot(3,3, i+1) plt.imshow(X_tr..

딥러닝 2일차 - 신경망 학습

input layer-> hidden layer -> output layer -> loss function -> claculate loss loss weight 신경망 과정 1. 데이터 입력- 신경망 각 층에서 가중치 및 활성화 함수 연산 반복 수행 2. 1의 과정을 모든 층에서 반복, 출력층에서 계산된 값 출력 3. 손실 함수사용 예측값과 실제값 차이 계산 4. 경사하강법과 역전파 통해 가중치 갱신 5. 반복 1~4 과정 = lteration 매 이터레인션마다 가중치가 갱신된다 lteration은 순전파(1,2), 손실계산 3, 역전파4 로 나뉜다 순전파(예측하기) -> 조건에 맞는 숫차 예측 손실함수(실제값과의 차이 계산)-> 정답의 근접한지 위 아래인지 알려주기 역전파(가중치 수정)-> 알려준 정보..