EI_HJ

In [1]: import findspark In [2]: findspark.init('/home/hak/spark-2.4.5-bin-hadoop2.7/') In [3]: from pyspark.sql import SparkSession In [4]: spark = SparkSession.builder.appName('MissingData').getOrCreate() In [5]: df = spark.read.csv('ContainsNull.csv',header=True, inferSchema=True) In [6]: df.show() +----+-----+-----+ | Id| Name|Sales| +----+-----+-----+ |emp1| John| nu..

[이 글은 "Do it 딥러닝 입문" 책을 보고 공부한 내용을 복습하고자 정리한 글입니다.] 목표 - 과대적합, 과소적합을 이해하고 L1규제와 L2규제에 대해 이해한다. [배운 점] 과대적합 - 모델이 훈련 세트에서는 좋은 성능을 내지만 검증 세트에서는 낮은 성능을 내는 경우. - 정확도/Epochs 그래프를 그려보면 측정한 성능의 간격이 크다. 이를 '분산이 크다'라고도 말한다. - 훈련세트의 다양성이 없어서 나오는 경우, 훈련 세트를 더 모으지 못한다면, 모델이 훈련세트에 집착하지 않도록 가중치 제한을 둘 수 있다. 이를 '모델의 복잡도를 낮춘다'라고 말한다. 과소적합 - 모델이 훈련세트와 검증세트에서 많은 성능차이를 보이진 않지만 둘 다 성능이 저조한 경우. - 정확도/Epochs 그래프에서 성능 ..

[이 글은 "Do it 딥러닝 입문" 책을 보고 공부한 내용을 복습하고자 정리한 글입니다.] 목표 - 주어진 데이터 셋으로 어떻게 훈련했을 때 가장 효율이 좋은지 알아본다. [배운 점] 모듈 - sklean.linear_model 모듈을 통해 모델을 임포트 할 수 있다. (ex. SGDClassifier) - model의 하이퍼파라미터로 loss함수를 지정해줄 수 있다. (ex. hinge, log) 훈련데이터 세트 - 테스트 세트로 모델을 튜닝하면 테스트 세트에 대해서만 좋은 성능을 낼 수 있으므로 실전에서 좋은 성능을 기대하기 어렵다.(실전 투입 마지막 한 번만 사용하는 게 좋다.) - 훈련세트를 훈련세트와 검증세트로 나눠서 활용한다. (비율은 80 20 20) 스케일(Scale) - 우리는 잘 가공..

https://support.spatialkey.com/spatialkey-sample-csv-data/ Sample CSV Data – SpatialKey Support Jump right in and try out SpatialKey using sample data! SpatialKey unlocks the full potential of time- and location-based information like nothing else out there. In minutes, you can upload a data file and create and share interactive time- and map-based a support.spatialkey.com [위에서 제공하는 csv를 사용하였다] ..

[이 글은 "Do it 딥러닝 입문" 책을 보고 공부한 내용을 복습하고자 정리한 글입니다.] 목표 - 유방암 데이터 셋으로부터 모델을 만들고 테스트 후 정확도를 확인한다. sklearn(Scikit-learn이란? - 파이썬에 있는 머신러닝 라이브러리 중 하나로, 분류(classification), 회귀(regression), 군집화(clustering), 의사결정 트리(decision tree) 등의 다양한 알고리즘을 적용할 수 있는 다양한 함수들을 제공하는 라이브러리 [공부 중 궁금했던 것과 사용한 함수들을 정리] 1. from sklearn.dataset import load_breast_cancer - 사이킷런에서 유방암 데이터를 로드 2. plt.boxplot(cancer.data) - canc..

[해당 내용은 "텐서플로우로 시작하는 딥러닝 기초" 수업을 듣고 복습하는 의미로 올리는 글입니다.] mnist dataset란? - mnist가 가지고 있는 필기 숫자들의 28 x 28 픽셀 이미지를 보고, 0부터 9까지의 모든 숫자들에 대해 이미지가 어떤 숫자를 나타내는지 판별하기 위한 데이터 셋을 말한다. [수업 중 궁금했던 것과 사용한 함수들을 정리] 1. from tensorflow.keras.utils import to_categorical - to_categorical은 정수형 class vector을 binary class matrix로 변환시켜준다. 텐서의 표현에 맞게 적절히 변환한다는 표현이 맞는 것 같다. 즉, 7이란 값을 000000100이라는 이진수를 이용해 자릿수로 표현한다. 2...

[수행 중 나타났던 Unsupported class file major version 55 해결방법] 자바 설치하기 sudo apt-get install openjdk-8-jdk 새로운 자바 버전으로 바꾸기 sudo update-alternatives --config java In [3]: import findspark #스파크를 찾을 때 사용하는 모듈 In [4]: findspark.init('/home/hak/spark-2.4.5-bin-hadoop2.7/') #내 스파크의 경로 In [5]: from pyspark.sql import SparkSession # Dataframe을 sql처럼 사용하기 위해 모듈 받기 In [6]: spark = SparkSession.builder.appName('B..