Machine Learning은 즐겁다! Part 1

출처 : 기계학습(Machine Learning, 머신 러닝)은 즐겁다! Part 1

기계 학습(Machine Learning, 머신 러닝)은 즐겁다! Part 1

Machine Learning이란 무엇인가?

- Machine Learning은 문제를 해결하기 위한 맞춤 코드(custom code)를 작성하지 않고도 일련의 데이터에 대해 무언가 흥미로운 것을 알려줄 수 있는 일반 알고리즘(generic algorithms)이 있다는 아이디어!

- ex) 알고리즘의 종류가 classification일 때, 손으로 쓴 숫자를 인식하는 데 사용된 알고리즘과 동일한 classification 알고리즘을 코드 변경없이 사용해서, 이메일을 스팸과 스팸이 아닌 것으로 분류 가능!

- 동일한 알고리즘이지만 학습 데이터를 제공하면 다른 분류 로직이 자동으로 만들어지게 됨

- Machine Learning은 이런 종류의 일반 알고리즘(generic algorithm)을 포함하는 포괄적인 용어

 

두 종류의 Machine Learning 알고리즘

- supervised learning과 unsupervised learning으로 분류

 

Supervised Learning

- ex) 내가 부동산 중개인! 비즈니스가 성장함에 따라 당신을 도와줄 직원을 고용하기로 하는데... 

- 나는 주택을 보기만 해도 얼마의 가치가 있는지 알 수 있지만 직원은 경험이 없기에 잘 모름

- 직원을 돕기 위해(내가 쉬기 위해 ㅎ) 주택의 크기, 지역 등을 기준으로 주택 가치를 추정할 수 있는 앱 개발

- 3개월 동안 주택을 팔 때마다 정보를 기록, 방의 개수, 평방 피트 크기 등 세부 정보를 기록하고 최종 판매 가격도 기록

이것이 바로 training data

- 기록한 training data를 사용해 해당 지역의 다른 주택이 얼마의 가치가 있는지 추정할 수 있는 프로그램 개발

training data를 사용해 다른 주택의 가격 예측

- 이것을 supervised learning이라고 함

- 나는 각각의 주택들이 얼마에 팔렸는지 알고 있음, 다시 말해 문제에 대한 답을 알고 있기 때문에 여기에서 답을 도출해낼 수 있는 것임

 

- 앱을 제작하기 위해 각 주택에 대한 training data를 machine learning 알고리즘에 넣어야 함

- 이 알고리즘은 해당 숫자의 의미를 알아낼 수 있는 수학이 무엇인지 파악하기 위해 노력

→ 수학 문제를 푸는 것과 동일

 

연산 기호가 지워진 수학 문제

- 여기에서 오른쪽에 있는 각각의 답을 얻기 위해 왼쪽에 있는 숫자들에게 무언가를 하면 된다는 것을 알고 있음

- 답은 곱하기, 빼기 ㅎㅎ

 

- Mahine Learning에서 나는, 컴퓨터가 그 관계를 해결하도록 내버려 두면 됨

- 또한 한 문제를 해결하기 위해 필요한 수학이 무엇인지 알게 되면 같은 유형의 다른 문제에 대해서도 답을 알 수 있음

 

Unsupervised Learning 

- ex) 부동산 중개업자의 사례로 돌아가서, 각 주택의 판매가격을 모르는 경우에는 어떻게 될까?

- 내가 알고 있는 정보가 각 집의 크기, 위치 같은 것 뿐이라도 machine learning을 통해 일을 할 수 있음

숫자가 알려지지 않음(가격 등)

- 이 데이터로 무엇을 할 수 있을까? 데이터에서 서로 다른 시장 세그먼트(market, segments)를 자동으로 식별하는 알고리즘을 만들 수도 있음

- 어쩌면 대학 근처의 주택 구매자는 침실이 많은 작은 집을 선호하지만 교외의 주택 구매자는 면적이 넓은 침실이 3개인 집을 선호한다는 사실을 알아낼 수 있음

→ 위처럼 여러 종류의 고객에 대해 알게되면 마케팅 활동에 직접적으로 도움을 받을 수 있을 것

 

- 또한, 다른 주택들과 특이한 주택을 식별하는 것, 이 특이한 주택들이 거대한 저택이라면 더 많은 수수료를 받을 수 있기 때문에 직원들을 이곳에 집중시킬수도 있음

 

- 대부분 supervised learning에 집중하지만, unsupervised learning이 덜 유용하거나 흥미롭지 않다는 것은 아님

- unsupervised learning은 알고리즘이 향상됨에 따라 더욱더 중요해지고 있음, 왜냐하면 unsupervised learning이 정확한 답을 가진 라벨이 붙여진 데이터가 아닌 경우에 사용될 수 있기 때문

 

그런데, 정말로 주택 가격이 얼마인지 "학습"을 통해 추정할 수 있을까?

- 인간의 두뇌는 대부분의 상황에 대해 이해할 수 있으며, 명시적으로 가르쳐 주지 않아도 상황을 어떻게 해결하면 되는지 배울 수 있음

- 일에 적응하다보면 "느낌(촉)"을 본능적으로 갖게 될 것인데, Strong AI 연구의 목표가 바로 이러한 인간의 능력을 컴퓨터로 복제하는 것

 

- 현재의 machine learning은 그런 수준이 아니며 매우 구체적이고 제한적인 문제에 초점을 맞춘 경우에만 동작

- 이러한 경우 "학습"에 대한 더 나은 정의는 "약간의 샘플 데이터를 기반으로 특정 문제를 해결하기 위한 방정식을 알아내는 것"이 될 수 있음

→ Machine Learning

 

프로그램 작성 

def estimate_house_sales_price(num_of_bedrooms, sqft, neighborhood):
  price = 0
# 담당 지역내 평균 주택 가격은 평방 피트 당 200 달러이다
  price_per_sqft = 200
if neighborhood == "hipsterton":
    # 하지만 다른 지역은 조금 더 비싸다
    price_per_sqft = 400
elif neighborhood == "skid row":
    # 그리고 다른 몇몇 지역은 싸다
    price_per_sqft = 100
# 주택의 크기를 기반으로 주택 가격을 추정하는 것으로 시작한다
  price = price_per_sqft * sqft
# 이제 침실의 개수로 추정치를 조정한다
  if num_of_bedrooms == 0:
    # 원룸형 아파트는 가격이 싸다
    price = price — 20000
  else:
    # 일반적으로 많은 침실이 있는 주택이 더 비싸다
    price = price + (num_of_bedrooms * 1000)
return price

- 주택의 가치를 추정하는 프로그램 작성

- 이런 프로그램은 결코 완벽하지 않으며 가격이 변함에 따라 로직을 유지하기 어려울 것

 

def estimate_house_sales_price(num_of_bedrooms, sqft, neighborhood):
  price = <컴퓨터, 나 대신 수학식 좀 만들어줘>
return price

- 컴퓨터가 이 기능을 구현하는 방법이 더 좋음

- 가격 → 스튜 / 재료들 → 침실의 개수, 평방 피트 면적 및 지역

- 각 재료가 최종 가격에 얼마나 많은 영향을 미치는지 파악할 수 있다면 이 최종 가격을 만들어 줄 혼합 재료의 정확한 비율이 있을 것

 

def estimate_house_sales_price(num_of_bedrooms, sqft, neighborhood):
 price = 0
# 이건 한 꼬집 넣고
 price += num_of_bedrooms * .841231951398213
# 그리고 저건 한 스픈 정도 넣고
 price += sqft * 1231.1231231
# 이건 아마도 한 줌 넣고
 price += neighborhood * 2.3242341421
# 그리고 마지막으로, 약간의 소금을 추가
 price += 201.23432095
return price

- 이렇게 하면 원래 함수를 다음과 같이 줄일 수 있음

- 숫자를 주목 → 이 숫자들은 바로 가중치

- 모든 주택에 적용할 수 있는 완벽한 가중치를 찾아낼 수만 있다면 우리의 함수는 집값을 예측할 수 있을 것

 

---

최상의 가중치를 알아낼 때의 방법

Step 1:

먼저 가중치를 1.0으로 하고 시작

def estimate_house_sales_price(num_of_bedrooms, sqft, neighborhood):
 price = 0
# 이건 한 꼬집 넣고
 price += num_of_bedrooms * 1.0
# 그리고 저건 한 스픈 정도 넣고
 price += sqft * 1.0
# 이건 아마도 한 줌 넣고
 price += neighborhood * 1.0
# 그리고 마지막으로, 약간의 소금을 추가
 price += 1.0
return price

 

Step 2:

알고 있는 모든 주택 데이터를 함수를 통해 실행해보고, 각 주택의 정확한 가격과 이 함수가 얼마나 차이가 나는지 비교

 

함수를 이용해 각 주택의 가격 예상

- 예를 들어 첫번째 주택은 실제로는 $250,000에 판매되었고 함수에선 $178,000에 판매되었다고 추정되었는데, 이 주택 하나만 보더라도 $72,000만큼 차이

 

- 이제 dataset에 있는 각 주택마다 차이난 가격의 제곱값을 추가, dataset에는 500개의 주택 판매 정보가 있었고 각 주택에 대해 당신의 함수가 추정한 값과 실제 가격의 차이를 제곱한 값의 총합은 $86,123,373라고 가정

→ 함수가 얼마나 잘못되었는지 알 수 있음

 

- 이 합계를 500으로 나눠서 각 주택별로 얼마나 차이가 나는지 평균값을 구함

→ 평균 오류 값을 이 함수의 비용(cost)라고 함

 

- 가중치를 잘 조정해 이 비용을 0으로 만들 수 있다면, 함수는 완벽해지게 됨

- 모든 경우에 대해서 함수가 입력 데이터를 기반으로 주택 가격을 완벽하게 추정할 수 있다는 것을 의미

- 다른 가중치를 시도해 가능한 이 비용을 낮추려는 것이 우리의 목표

 

Step 3:

가능한 모든 가중치를 조합

- 2단계를 계속 반복, 어떤 조합의 가중치는 비용을 0에 가깝게 만들어 주는 것을 사용하면 됨

 

---

 

- 위에서 우리는 약간의 데이터를 가져와 이를 세가지의 일반적이고 아주 간단한 단계에 제공한 다음, 해당 지역의 모든 집의 가격을 추정할 수 있는 함수를 만들어 냄

 

하지만

1. 40년 넘게 많은 분야(언어학/번역)에서 연구한 결과, "숫자로 만든 스튜를 젓는"(위에서 만든) 이러한 일반 학습 알고리즘이 명시적인 규칙으로 접근하는 실제 사람들의 접근방법을 압도, machine learning의 이 멍청한 접근방법이 인간 전문가들을 이긴 것

 

2. 위에서 만든 최종 함수는 실제로는 완전히 바보!임, "평방 피트"또는 "침실"이 무엇인지 알지도 못함, 이 함수가 아는 것이라고는 정답을 얻기위해 이러한 숫자들의 값을 저어줘야 한다는 것

 

3. 우리는 어째서 특정 가중치의 조합이 잘 동작하는지 알지 못하는 것이 당연함, 즉 이해하지 못하는 함수를 작성했지만 잘 동작하는 것은 증명 가능

 

4. "sqft"와 "num_of_bedrooms"와 같은 매개변수를 사용하는 대신 예측 함수에 숫자 배열만을 사용한다고 생각, 그리고 각 숫자가 자동차 위에 장착한 카메라로 촬영한 이미지에서 1픽셀의 밝기를 나타낸다고 가정, 이제 "price"라는 예측을 출력하는 대신 이 함수는 "degrees_to_turn_steering_wheel"이라는 예측을 출력한다고 상상

→ 스스로 차를 조종할 수 있는 함수를 만듬!

 

Step 3에서 "모든 숫자를 시도해보는 것"은 무슨 뜻인가요?

- 물론 실제로 모든 가중치의 조합을 시도해서 가장 잘 작동하는 조합을 찾을 순 없음, 시도할 숫자 조합은 무한하기 때문에 당연하게도 영원한 시간.. 이 걸릴 것

 

- 이것을 피하기 위해 수학자들은 많은 것을 시도하지 않고도 이러한 가중치에 대한 좋은 값을 빨리 찾을 수 있는 영리한 방법을 알아냄

 

먼저, Step 2를 나타내는 간단한 방정식 작성

비용 함수(cost function)

- 이제 완전히 똑같은 방정식을 재작성해 볼텐데, 기계학습의 수학 용어를 사용

θ는 현재 가중치를 나타냄, J(θ)는 '현재 가중치의 비용'을 의미

- 이 방정식은 현재 설정한 가중치에 대해 우리의 가격 추정 함수가 얼마나 차이나는지를 나타냄

- number_of_bedrooms와 sqft에 대한 모든 가능한 가중치 값에 대해 이 비용 방정식을 그래프로 나타내면 다음과 같음

마치 그릇처럼 보임, 세로축이 비용을 나타냄

- 이 그래프에서 파란색의 가장 낮은 지점이 비용이 가장 낮은 곳

- 따라서 위의 함수는 조금 잘못됨, 가장 높은 지점들이 가장 잘못된 것

- 즉 우리가 이 그래프의 가장 낮은 지점으로 이동할 수 있는 가중치를 찾는다면, 답을 찾을 수 있음!

 

- 이제 그래프에서 가장 낮은 지점을 향해 "언덕을 걸어 내려갈 수 있도록" 가중치 조정

- 만약 가장 낮은 지점으로 이동하도록 가중치를 조금씩 조정해 나간다면, 결과적으로 너무 많은 다른 가중치를 시도하지 않고도 그곳에 도달하게 될 것

 

- 함수를 미분하면 함수의 특정 지점에 대한 접선의 기울기를 알 수 있다는 것이 생각날 것

- 다시 말해서, 미분을 통해 그래프의 특정 지점에 대해 내리막길이 어느 방향인지 알 수 있음, 이 지식을 이용해 내리막길로 걸어 내려갈 수 있음

 

- 따라서 각 가중치에 대한 비용 함수의 편미분을 계산하고, 각 가중치에서 해당 값을 뺄 수 있음, 이를 반복하면 궁극적으로 언덕 맨 아래에 도달하여 가장 좋은 가중치를 얻게 됨

 

- 이 방법은 함수의 적합한 가중치를 찾는 방법 중에 하나인 배치 기울기 하강(batch gradient descent)에 대한 개괄적 설명

 

적당히 건너 뛴 내용은 또 어떤 것들이 있나요?

- 앞서 설명한 3단계의 알고리즘을 다변수 선형 회귀(multivariate linear regression)라고 부름

- 이 방적식을 사용해 이전에 보지 못했던 주택의 판매 가격을 추정할 수 있는 것

→ 이는 정말 강력한 아이디어이며 "진짜" 문제를 해결할 수 있음

 

- 그러나 지금까지 설명한 접근 방식이 단순한 경우에는 효과가 있지만, 모든 경우에 동작하진 않음 

- 집값이 항상 연속적인 직선을 따라갈만큼 단순하지 않기 때문

 

- 위를 처리하기 위해서는 비선형 데이터(ex. 신경망, SVMs, kernels)를 처리할 수 있는 많은 machine learning 알고리즘이 있음

- linear regression을 보다 영리하게 사용해서 더욱 복잡한 선을 맞추는 방법도 있음

- 이러한 모든 방법에는 최상의 가중치를 찾아야한다는 동일한 기본 아이디어는 여전히 적용

 

- 정리하자면, 기본 개념은 매우 단순하지만 machine learning을 적용하고 유용한 결과를 얻으려면 약간의 기술과 경험 필요, 하지만 모든 개발자가 배울 수 있는 기술!

 

machine learning은 마술인가?

- 컴퓨터 학습 기술을 어려워 보이는 문제에 얼마나 쉽게 적용할 수 있는지 알게 되면, 충분한 데이터만 있다면 machine learning을 적용해서 문제를 해결할 수 있다는 느낌을 가지게 될 것

- 단지 데이터만 제공하고 컴퓨터가 마술처럼 데이터에 맞는 방정식을 계산해 주는 것을 감상만 하면 됨

 

- 하지만 machine learning은 보유한 데이터로 해결 가능한 문제인 경우에만 동작한다는 점을 기억하는 것이 중요

 

- ex) 각 주택의 화분 종류에 따라 주택 가격을 예측하는 모델? 절대 동작 X, 아무런 관계가 없기 때문

→ 컴퓨터가 아무리 노력해도 둘 사이의 관계를 결코 추론할 수 없음

실제로 관련이 있는 관계만을 모델링할 수 있음

- 따라서 인간 전문가가 수작업으로 문제를 해결하기 위해 데이터를 사용할 수 없다면, 컴퓨터도 아마 동작하지 않을 것

- 바꿔말해, 인간이 해결할 수 있는 문제 중에서 컴퓨터가 훨씬 빨리 문제를 해결할 수 있는 것에 집중!