Chapter 02-2. 데이터 다루기

지난시간 정리

[이진분류]

• 보통 찾고자하는 것을 양성클래스로 설정

[샘플링편향]

• 데이터가 훈련데이터와 검증데이터에 없는 종류가 있을 경우 발생

---

[배열]

• 샘플을 x축에, 특성을 y축에
• 넘파이는 리스트를 배열로 만들수 있지만, 배열의 인덱스로도 슬라이싱이 가능하다.

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

np.column_stack() = 2차원 배열로 반환함.

np.concatenate() = 1차원 배열로 반환함.

---

np.ones()

np.zeros()

np.full()

import numpy as np

np.column_stack(([1,2,3], [4,5,6]))
fish_data = np.column_stack((fish_length, fish_weight))

print(fish_data[:5])
'''
 [[ 25.4 242. ]
 [ 26.3 290. ]
 [ 26.5 340. ]
 [ 29.  363. ]
 [ 29.  430. ]]
 '''

print(np.ones(5))
'''
 [1. 1. 1. 1. 1.]
'''

fish_target = np.concatenate((np.ones(35), np.zeros(14)))

print(fish_target)
'''
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
 0.]
'''

from sklearn.model_selection import train_test_split

train_input, test_input, train_target, test_target = train_test_split(
    fish_data, fish_target, stratify=fish_target, random_state=42
)
# stratify에 타깃데이터를 주면, 타깃데이터에 값이 골고루 섞일 수 있도록 섞어줌
# random_state = 실전에서는 사용하지 않음
print(train_input.shape, test_input.shape)
'''
(36, 2) (13, 2)
'''

 

print(train_target.shape, test_target.shape)
'''
(36,) (13,)
'''

print(test_target)
'''
[0. 0. 1. 0. 1. 0. 1. 1. 1. 1. 1. 1. 1.]
'''

수상한 도미 한 마리

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target)
'''
1.0
'''

print(kn.predict([[25, 150]]))
# 1 = 도미
# 0 = 빙어
'''
[0.]
'''

import matplotlib.pyplot as plt

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter (25, 150, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

distances, indexs = kn.kneighbors([[25, 150]])
# K최근접 모델에서 인접 데이터 N개 표시
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter (25, 150, marker='^')
plt.scatter (train_input[indexs, 0], train_input[indexs, 1], marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

print(train_input[indexs])
'''
[[[ 25.4 242. ]
  [ 15.   19.9]
  [ 14.3  19.7]
  [ 13.   12.2]
  [ 12.2  12.2]]]
'''

print(train_target[indexs])
'''
[[1. 0. 0. 0. 0.]]
'''

print(distances)
'''
[[ 92.00086956 130.48375378 130.73859415 138.32150953 138.39320793]]
'''

기준을 맞춰라

• 트리 기반은 스케일에 영향을 받지 않음

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter (25, 150, marker='^')
plt.scatter (train_input[indexs, 0], train_input[indexs, 1], marker='D')
plt.xlim((0, 1000))
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

표준 점수로 바꾸기

• 표준점수(z점수) = (특성-평균) / 표준편차

mean = np.mean(train_input, axis=0) # 평균
std = np.std(train_input, axis=0) # 표준편차
# axis = 0; 각 특  성에 대한 평균
# axis = 1; 각 데이터에 대한 평균
print(mean, std)
'''
[ 27.29722222 454.09722222] [  9.98244253 323.29893931]
'''

train_scaled = (train_input - mean) / std
'''
브로드캐스팅은 넘파이 배열 사이에서 일어남
ㄴ train_input, mean, std 모두 넘파이 배열임
'''

전처리 데이터로 모델 훈련하기

plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter (25, 150, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
'''
표준점수로 훈련데이터를 바꿨는데, 테스트데이터는 바꿔주지 않음
따라서 체스트데이터도 훈련데이터의 평균과 표준편차로 바꿔줘야한다.
'''

new = ([25, 150] - mean) / std
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

kn.fit(train_scaled, train_target)

test_scaled = (test_input - mean) / std
print("kn.score = " + str(kn.score(test_scaled, test_target)))

new = ([25, 150] - mean) / std
predict = kn.predict([new])
if predict == 0:
  print("kn.predict([new]): 빙어, " + str(predict))
else:
  print("kn.predict([new]): 도미, " + str(predict))
'''
kn.score = 1.0
kn.predict([new]): 도미, [1.]
'''

• 특성에 전처리가 필요한 모델이 대다수

---

넘파이 브로드 캐스팅

• 넘파이로만 이루어진 배열들은 산술적 연산자를 사용하여 계산이 가능하다.