보초의 코딩일기장

2019.07.23 perceptron 신경망의 목적은 내 답을 잘 찾아주는 Weight을 구하는 것임. 그리고 편향을 넣어서 학습이 되게끔 만드는 것 ==> Y = W*X+b 어떤 입력 노드가 출력 노드의 오차에 기여했다면 두 노드의 연결 가중치는 해당 입력 노드의 출력과 입력노드의 오차에 비례하여 조절한다. (가장 많이 틀린 값부터 수정하는 것임) 그런데, 퍼셉트론은 XOR을 선형으로 분류가 불가능. 그래서 비선형으로 문제를 해결해야 한다. Delta Rule 학습과정 신경망의 가중치를 적당한 값으로 초기화 입력 데이터를 넣고 신경망의 출력값을 얻고 출력값과 실제 값의 오차를 계산 델타 규칙에 따라 가중치 갱신값을 계산 신경망의 가중치를 조절 전체 학습 데이터에 대해 2~4 단계를 반복 신경망의 오차..

20190711 - 9일차 Pandas를 이용하여 DataFrame을 handling하는 것. 스프레드시트에서는 row에는 individual을 입력 column에는 variable(feature) 이 입력되는 형태. (variable 안에 attribute가 들어가는 형태임) 이 개념을 DataFrame으로 넘어가서 코딩을 하게되면 1차원 벡터 형태로 나열된다. Panel Data Example: 1차년도에 ID가 123인 사람들을 조사한다 (time=1) 2차년도에도 ID가 123인 사람들을 똑같이 조사한다 (time=2) (… time=n 번째 반복한다. 반복측정) 이 많은 데이터 중에서 한 시점을 스냅샷처럼 찍은 것을 Panel Data 라고 한다. ( Frame과 비슷한 개념인듯 ) ID tim..

데이터 청년 캠퍼스 사이버 강의 KDD Selection - Preprocessing - Transformation - Data mining - Interpretation/Evaluation Selection: 분석을 위해 데이터셋을 만든다. Pre processing: 일관성 있는 데이터 분석을 위해 데이터를 정재 하거나 선처리. Transformation: 데이터의 차원을 축소 Data mining: 다양한 분석기법을 사용하여 데이터의 패턴을 찾음 DRISP-DM Analysis Guide Business understanding : 프로젝트 계획 수립 Data understanding : 분석을 위한 데이터 수집 Data preparation: 수집된 데이터에 분석툴에 적합한 데이터 셋을 편성, 많..

2019.07.02 -2회차 통계학에서의 회기는 단순이 x에 대한 y의 식을 새우는 것이라면 ML에서의 회기는 Gradient Descent로 데이터를 표현하는 것 Overfitting: 너무 많은 트레이닝이 되었음 / Underfitting : 너무 적게 트레이닝 되었음 선형회귀는 오버피팅이 너무 많이 일어나게 됨. 그래서 분산이나 편차(L1,L2)를 조절하여 정규화를 적용한다. SVM에서 커널을 적용하여 복잡한 데이터에 대해서 분류를 가능하게 만들었음. 앙상블: 여러 모델이 존재할 때 그 모델의 결과값을 하나로 만들어서(hard/soft voting) 하나의 output으로 만듦. Dicision Tree : 데이터의 불순도를 계산하여 데이터를 나눠 분류하면 트리모양을 형성하게 됨. 그 트리모양을 하..

2019.07.01 -1일차 내용정리 Supervised Learning : 답은 미리 주어져있고 틀린 값을 넣었을 때 그 값을 맞추는 것 Unsupervised Learning : 답이 주어져 있지 않은 것. Clustering: 관련이 있는, Density가 높은 물체끼리 묶어서 분류를 하는 것. Deep Learning : DNN / CNN / RNN 딥러닝의 문제점은 자세한 설명이 부족하다는 것임. (설명력 부족) 그래서 금융권 같은 곳에서는 딥러닝을 내세우는 경우는 없음. 딥러닝은 깊게 쌓이면 쌓일수록 더 많일수록 학습이 강화되지만 가중치 문제가 생김. 과거에는 SVM을 이용하여 논문을 작성하였다면 후에는 신경망을 이용한 논문이 많이 발표되었음. 현재는 알파고를 기점으로 새로운 신경망이 생겼음 ..

2019년 빅데이터 청년캠퍼스 면접 후기 2017년부터 진행되어왔던 프로젝트라고 하셨는데 생각보다 작년과 제작년 후기가 너무 없어서 도움이 될까 고민 많이했다. 많은 대학교에서 진행하는 것이고 다양한 커리큘럼이 존재했고 이 과정들을 2개월동안 진행 할 수 있을지 의심이 들었지만 .... 속는 셈 치고 서류써본게 통과하고 6월 초에 면접보러 간 것 같다. 면접 경쟁률은 대략 2:1 정도 됐었던 것 같고 다양한 학과,학교에서 오신 것 같았다! 면접에 들어갔을 때는 면접관이 세분에 지원자 다섯명이서 진행하는 방식이었다. 대략 면접에서 물어봤던 질문은 0. 자기소개 1. 인공지능이란 무엇인가? 2. 만약 아기를 만든다고 가정할 때, 뇌가 중요한가 데이터가 중요한가 ? (질문이 헷갈리네요ㅠ.ㅠ 기억이 잘 안남 ...