Hwi's ML doc

조회수 높은 글

• 

  Machine Learning [ML] XGBoost 이해하고 사용하자 순서 개념 기본 구조 파라미터 GridSearchCV 1. 개념 'XGBoost (Extreme Gradient Boosting)' 는 앙상블의 부스팅 기법의 한 종류입니다. 이전 모델의 오류를 순차적으로 보완해나가는 방식으로 모델을 형성하는데, 더 자세히 알아보자면, 이전 모델에서의 실제값과 예측값의 오차(loss)를 훈련데이터 투입하고 gradient를 이용하여 오류를 보완하는 방식을 사용합니다. 수식으로 설명하자면, 1번 모델 : Y = w1 * H(x) + error1 1번 모델 오차(loss)의 보완 : error1 = w2 * G(x) + error2 2번 모델 : Y = w1 * H(x) + w2 * G(x) + error2 2번 모델 오차의 보완 : error2 = w3 * M(x) + e..

• 

  Machine Learning [ML] LightGBM 이해하고 사용하자 순서 개념 기본 구조 파라미터 1. 개념 * 이 글을 읽기 전에 앙상블 포스팅과 XGBoost 포스팅을 읽고 오시는 것을 추천드립니다. XGBoost와 LightGBM은 결정트리(Decision Tree) 알고리즘 기반의 대표적 부스팅 앙상블 기법입니다. 간단하게 설명드리자면 트리의 오차(loss)를 점점 수정해나가는 방법으로 성능을 향상시키는 아이디어 인데요, 최근 캐글과 데이콘의 상위권 커널들에서 주로 사용되어 유명세를 타고 있습니다!! 그렇다면 지난번에 공부한 XGBoost와 LightGBM은 어떤 차이가 있을까요? 우선 LightGBM은 XGBoost의 시간적 한계를 보완한 알고리즘이라고 기억하시면 될 것 같습니다. 어떻게 시간적 한계를 보완했을까요? 바로 노드의 분할 방법에 차이를 두었습니다. ..

• 

  Career 2021년 제일기획 데이터기획직 대학생 인턴 후기 소중했던 6주 간의 제일기획 인턴 생활을 마치고 이제 후기를 써보려고 합니다! 이 글이 먼 훗날 저 스스로에게도, 그리고 취업 준비를 하는 사람들에게도 도움이 되었으면 좋겠네요 :) 글은 인턴 생활 중에 인상 깊었던 에피소드 형식으로 작성해보려 합니다. 그럼 바로 시작해볼게요! - Ep1. 전국에서 한 명 뽑았다. 그게 바로 나? - Ep2. 내 인생 첫 사회생활, 풀정장으로 시선 집중 - Ep3. 유튜브에서 뵙던 분이 눈 앞에! - Ep4. 서프라이즈 생일파티 - Ep5. 면접을 그렇게 잘봤다고 하던데~ - Ep6. 직접 느껴본 제일기획 장점 - Ep7. 과제 준비 과정과 최종 발표, 그리고 느낀 점 Ep1. 전국에서 한 명 뽑았다. 그게 바로 나? 인턴 선발 최종 발표가 나고 며칠 후, 제일기획 인턴..

• 

  Life [Italki] 한국어 가르치기 아르바이트와 인터뷰 2020년 코로나로 인해 게스트하우스 아르바이트를 못하게 되고, 6개월의 공백기가 생기게 되어 시작하게 된 아이토키(Italki) : 온라인 언어 학습 플랫폼 내가 원하는 시간에, 원하는 가격으로, 컴퓨터 앞에 앉아서 편하게 돈을 벌 수 있었고, 매번 새로운 전세계 사람들을 만날 수 있었기 때문에 너무너무 재밌었다. 이탈리아 소방관, 미국 마이크로소프트 개발자, 호주 바리스타, 남아프리카공화국 의사, 벨기에 대학생 등 다양한 국적, 직업의 사람들과 대화할 수 있다는 점이 정말 매력적이었고, 한국어를 배우고 싶어하는 사람들이었기 때문에 나에게 매우 호의적이어서 좋았다. 그리고 한 번은 아이토키를 하고 있는데 이런 메세지가 왔다! " 안녕하세요! 상휘 선생님! 저희는 한국어 교육 스타트업인 한그루라고 합니다..

• 

  BOAZ [BOAZ] 보아즈 데이터 분석 부문 수료 및 활동 후기 보아즈 활동을 하기 전까지만 해도 데이터 분석을 독학하는데 어려움이 정말 많았습니다. 말이 쉬워 데이터 분석이지, 처음 공부를 결심하고 뛰어들었을때에는 뭐가 이렇게 생소한 용어가 많은지,, 파이프라인, 파이썬, C언어, 자바, 코딩테스트, 하이브, 하둡, 머신러닝, 딥러닝, SQL 등 모든걸 공부해야하는 줄 알았고, 그래서 무엇부터 공부해야할지, 어떻게 공부해야할지 감도 안잡혔습니다. 첫 한 달 동안은 이것저것 다 해봤던것 같아요! 무작정 서점에 가서 이런저런 책을 뒤져보기도 하고, 캐글이라는 사이트를 알게돼서 코드를 필사해보기도 하고, 유튜브에서 컴피티션 솔루션 강의를 찾아보기도 했습니다. 하지만 뭔가,, 계속해서 커다란 벽이 느껴졌습니다. 독학이다보니 딱 내가 아는 것 까지만 알 수 있었고, 보이는 ..

• 

  BOAZ [BOAZ] ADV 프로젝트 - 특정 시간대의 주가 변동 패턴을 이용한 실시간 주가 예측 (2) 보통 활동의 최종 발표격인 ADV 프로젝트를 할 때에는 딥러닝을 이용한 프로젝트를 하는게 일반적입니다. 영상처리, 이미지처리, 자연어처리 등 주제부터가 전문적이고, 실제 결과물이 머신러닝에 비해 고급져보이기 때문이죠! 저도 그런 흐름을 타고 ADV 프로젝트로 딥러닝을 해볼까 고민을 했지만, 개인적으로 실생활에서 가지는 궁금증을 프로젝트에 담아보고 싶다는 마음이 더 컸기 때문에 결국 주식 프로젝트를 기획하고 진행했습니다! 대부분의 굵직한 프로젝트들이 그렇듯, 프로젝트 과정에서 기술적인 시행착오들, 방향성에 대한 의문들에 정말 많이 부딪히고 고민했지만, 그런 고민들을 함께할 팀원들이 있어서 끝까지 잘 마무리할 수 있었던 것 같습니다. 이번 프로젝트를 끝으로 보아즈 활동은 공식적으로 마무리했고, 지난 1년간 ..

• 

  Life 가장 기분 좋았던 칭찬 지난 학기에 학점이 남아서 교양 수업을 많이 들었다. 9학점 전공으로 편하게 학교를 다닐 수도 있었지만, 사실 대학교에서 좀 재미있는 수업도 들어보고 싶었고 그런 로망이 있기도 했다. 그래서 신청했다. '요가 및 필라테스', '작곡 실습', '배드민턴', '초급 일본어' 그 중 작곡 실습과 초급 일본어는 학점이 있었기 때문에(2학점과 3학점), '괜히 들었다가 평균 졸업 학점을 깎아먹으면 어떡하지' 하며 걱정했지만 안하면 나중에 후회할 것 같아서 했다. 교양과목들은 정말 재미있었다. 그래서 매 수업마다 열심히 했고, 학점을 잘 받는게 목표가 아니었기 때문에 더 열심히 했던 것 같다. 그래서 그런지 수업시간이 끝날 즈음에는 교양과목 교수님들에게 칭찬을 자주 들었다. 한 번은 요가 및 필라테스 교수님께서 이..

• 

  Life 세상에 완전히 똑같은 인생은 없다 ‘인생은 선택의 연속이다’ 작게는 오늘 점심으로 무엇을 먹을지, 오늘은 운동을 몇 시에 갈지, 더 나아가서 나는 어떤 공부를 할지, 어떤 취미생활을 가질지, 어떻게 방학을 보낼지, 또 더 나아가면 결혼을 할지, 이직을 할지, 집을 살지 등이 있다. 모든 순간은 본인이 선택하는 것이고, 옳은 선택은 없다. 그저 지금의 선택으로 인해 다음의 선택지가 바뀔 뿐이다. 그리고 시간이 지나면 그게 ‘나’의 인생이 된다. 그래서 세상에 완전히 똑같은 인생은 없다. 내가 하고 싶은 말은 너무 불안해하지 않아도 된다는 거다. 지금 하는 일이 잘 되지 않더라도, 다른 친구들은 벌써 이만큼 했는데 나는 아무것도 하지 않았더라도, 그냥 지금 나에게 놓인 선택지에 최선을 다하면 된다. 주변을 둘러보면 그럴싸하다. 누군가는 재수..

• 

  Career 2021년 SK 주식회사 (C&C) Data Analytics/ Engineering 직군 인턴 서류, 필기 합격 후기 채용 프로세스 : 서류 > 필기 (SKCT, 데이터 분석 역량 평가) > 면접 * 면접 구성 및 질의 내용은 대외비이기 때문에 자세하게 말씀드릴 수 없습니다. 따라서 준비 과정과 그 과정에서 느낀 점들을 중심으로 후기를 작성해보겠습니다 :) 1. 서류 자기소개서 작성 요령은 제일기획 인턴 합격 후기 포스팅에 자세히 작성했습니다. 따라서 이번에는 SK C&C 자기소개서에서 특히 신경 쓴 부분만을 말씀드릴게요! C&C 문항을 보시면 다른 회사들과는 다르게 구체적으로 무엇을 쓰라는 가이드라인이 있습니다 (ex. 본인이 설정한 목표/ 목표의 수립 과정/ 처음에 생각했던 목표 달성 가능성 등). 즉 자기소개서를 다 작성했을때, 가이드라인에서 주어진 모든 질문에 대한 답이 자기소개서에 녹아있어야 합니다. (답변 나..

• 

  Career 2021년 제일기획 데이터기획직 대학생 인턴 최종 합격 후기 채용 프로세스 : 서류 > GSAT > 면접 * 면접 구성 및 질의 내용은 대외비이기 때문에 자세하게 말씀드릴 수 없습니다. 따라서 준비 과정과 그 과정에서 느낀 점들을 중심으로 후기를 작성해보겠습니다 :) 0. 지원 자격 오픽 미리 준비하세요! IH 이상을 따두시면 대부분의 직무에 지원하실 수 있습니다. 1. 서류 자기소개서의 핵심은 읽고 싶은 자기소개서가 되어야 한다는 점입니다. 첫 번째 줄을 읽으면 두 번째 줄이 궁금한 글이 되어야 해요! 블로그에 글을 작성하는 것도 같은 맥락입니다. 서두에서 자기소개서의 핵심을 한 마디로 정의하고, 이후에 뒷받침하는 근거들을 나열해야 읽고 싶은 글이 됩니다. 1-1. 전체적인 순서 1. 합격 자기소개서들을 읽으며 회사의 인재상과 전체적인 글의 구조를 파악 2. 각..

• 

  BOAZ 빅데이터 연합 동아리 BOAZ 17기 모집 국내 최초 빅데이터 연합동아리 “BOAZ”에서 17기 신입회원을 모집합니다! (~6/23) - 17기 신입회원 지원서 : https://forms.gle/y77ZkiCerdQEt17y8 - 17기 신입회원 홍보책자 : https://drive.google.com/file/d/13v1ZCSlCLDzgoyKWYkFAna_Q7W6XWzxU/view?usp=sharing ※ 책자에 동아리의 자세한 활동 내용 및 커리큘럼이 수록되어 있습니다. - BOAZ SlideShare : https://goo.gl/4KV848 ※ Slideshare에서 지금까지 BOAZ 컨퍼런스에서 진행한 프로젝트를 보실 수 있습니다. - 지원자격 • 최소 활동기간 1년(2021.07 ~ 2022.07)을 충족할 수 있는 분 • 전공 제한..

• 

  Statistics 클러스터링 모델(K-means, Mixture of Gaussian) 평가 지표 K-means 모델 평가 지표 Inertia Sihouette score Mixture of Gaussian 모델 평가 지표 Information Criterion (AIC, BIC) 1. K-means 모델 평가 지표 1-1. Inertia Inertia는 각 인스턴스와 해당 인스턴스와 가장 가까운 클러스터 중심까지의 거리 제곱 평균 값입니다. 따라서, 잘 된 클러스터링이라면 inertia가 작아야 하겠죠! 당연하게도 클러스터 수가 늘어날수록 Inertia 값은 감소할수밖에 없고, 이 개념을 이용하여 최적의 클러스터 수를 예상할 수 있습니다. 좀 더 이해를 해보자면, 저기 Elbow 포인트를 최적의 클러스터 수로 잡은 이유는 더이상 Inertia가 눈에 띄게 작아지지 않기 때문입니다. 즉 클러스터를 더..

• 

  개인적인 프로젝트 갤럭시 S21 광고에 대한 소비자 반응 분석 (유튜브, 네이버 지식인) 광고를 기획하는 것만큼 중요한 것이 광고 효과를 분석하는 것이라고 생각합니다. 최근 갤럭시 S21 광고가 소비자들에게 어떻게 다가왔는지, 유튜브 댓글과 네이버 지식인 글을 크롤링하여 워드 클라우드를 생성함으로써 분석해보겠습니다. 전체적인 순서는 다음과 같습니다. 1. 크롤링 1-1. 유튜브 크롤링 1-2. 네이버 지식인 크롤링 2. 형태소 분석, 명사 추출, 불용어 제거 2-1. 유튜브 2-2. 네이버 지식인 3. 워드 클라우드 생성 4. 결과 분석 5. 참고 자료 1. 크롤링 1-1. 유튜브 댓글 크롤링 크롤링과 관련한 포스팅은 이전에 다루었기 때문에 새롭게 추가되는 개념만 말씀드리면, 스크롤 다운 명령을 필요로 한다는 점입니다. 유튜브 댓글의 html 특성상 스크롤을 아래로 내려야 댓글들이 보이기 때..