True color

빅데이터 분석기사 7회 실기 시험에 최종 합격하였다. 작년부터 시작되었던 기나긴 여정이 올해 드디어 끝나게 되었다. https://aitzone.tistory.com/35 [5회 빅데이터분석기사 실기] 시험 후기와 고찰 12월 3일 5회 빅데이터분석기사 실기 시험을 보았다. 고사장은 더조은아카데미 대구지점으로 메가스터디 계열학원으로 컴퓨터 학원이다. 시설은 깔끔하였고 대구 고사장 3곳 중 1곳으로 나머지 2 aitzone.tistory.com 작년 이맘때쯤 처음 치루었던 5회 시험부터 이번 시험까지 삼수만에 붙은 시험이다. 조금 부끄럽긴 하지만, 핑계아닌 핑계를 대자면 5회때에는 회사를 다니며 대학원 면접을 준비를 하면서 어영부영 병행하면서 책 한권도 제대로 못본 상태로 들어갔고 6회때에는 시험 전날 대..

12월 3일 5회 빅데이터분석기사 실기 시험을 보았다. 고사장은 더조은아카데미 대구지점으로 메가스터디 계열학원으로 컴퓨터 학원이다. 시설은 깔끔하였고 대구 고사장 3곳 중 1곳으로 나머지 2곳은 직업학교 였는데, 아무래도 접근성때문에 본 고사장이 빨리 마감되는 경향성이 있었다. [5회 시험후기] 본격적인 후기인데 필답형 10문제는 크게 어려운 점이 없었다라고 하지만, 카프카, 맵리듀스 등 빅데이터 프레임워크 문제 하나를 틀린 것 같고 계산문제는 2문제 정도 출제되었다. (혼동행렬은 항상 1문제가 나옴) 신박하다고 느낀것은 Leaky Relu 문제가 출제되었다는 점인데, (RELU가 아님) 딥러닝 활성화 함수의 특징들은 다 알아 놓는 것이 좋을 것 같다. 유형1의 실기문제는 다소 꼬여있는 부분들이 많았는데..

5회 시험기준 [패키지 리스트 확인 명령어] 응시환경에서 아래 명령어를 이용하여 설치된 패키지를 확인할 수 있습니다. import pkg_resources import pandas OutputDataSet = pandas.DataFrame(sorted([(i.key, i.version) for i in pkg_resources.working_set])) print(OutputDataSet) [패키지 리스트] 0 asn1crypto 0.24.0 1 beautifulsoup4 4.9.3 2 certifi 2018.1.18 3 chardet 3.0.4 4 cryptography 2.1.4 5 cycler 0.10.0 6 cython 0.29.24 7 distlib 0.3.2 8 idna 2.6 9 joblib..

빅데이터 분석기사 시험에서는 회귀 문제중에 시간데이터를 다룰 확률이 높다. 사실 강의나 책마다 다루는 경우가 있고 다루지 않는 경우도 있으나, 추가적으로 다루어 보고자 한다. 데이터셋의 경우에는 x_train, x_test, y_train이 나누어 지지 않은 경우로 진행도 해보았지만, 실제로 dataq.or.kr 홈페이지에 들어가서 실습환경을 보면 3개의 데이터가 분리되어 있고 최종적으로 y_test값을 제출하는 형식이라서 이번에는 나누어져 있는 데이터로 진행을 해보려고 한다. (실제 실무에서는 이렇게 친절하게 나눠져 있지 않고, 앞으로의 출제 형식 자체도 전체 데이터 하나를 직접 나누어서 해야할 수 도 있을 것 같다.) 1. 데이터 read import pandas as pd import numpy a..

작업 2유형 분류문제에 이어서 회귀문제 코드패턴을 다루고자 한다. 사실 분류 모델과 비교 했을때, 전반적으로 달라지는 것들은 없으나, 정형화 공식 (역시 4개 파트로 나눌 수 있다.) 1. 데이터 가져오기 2. 결측치 확인 및 대체하기(제거하기) ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ 3. 라벨 인코딩 (범주형 -> 수치형) 4. 원핫 인코딩 (범주형 ->수치형) * 3, 4 부분에서 수치형 -> 범주형 같은 경우에는 binning의 과정을 해야 된다. (회귀(예측) 문제일 경우) 5. 파생변수 생성 6. 스케일링 (1. StandardScaler 2. MinMaxScaler) 1은 범주형 데이터일 경우 2는 수치형일 경우 변환해준다. ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ..

빅데이터 분석기사의 2유형은 전체 100점 배점중 40점을 차지하는 한 문제가 나온다.필답형 문제 (30점)이나 1유형 (30점)을 만점을 받을 자신이 있으면 날려도 되지만, 보통 그렇게 하기 힘든 부분이다.그래서 꼭 부분점수라도 받아야 하는 파트이다. 머신러닝 모델링을 하여 결괏값을 내는 것 이외에도 마지막에 저장을 해서 제출하여야 한다.(1유형은 print함수로 결과값만 스크린에 출력하면 된다.) 현재까지의 기출이나 교재를 봤을때의 정형화 시킨 공식은 다음과 같다.사람마다 작성법이 달라지고 코딩 스타일이 다르므로 이 틀에서 살만 덧붙이면 될 것 같다. 정형화 공식 (4개파트로 나눌 수 있다.)1. 데이터 가져오기2. 결측치 확인 및 대체하기(제거하기)ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ..

데이터분석 전문가(ADP) 시험인 경우에는 오픈북이라서 책을 들고 들어갈수 있고 시험장에서 데이터 분석 전문가 가이드 를 제공한다고 명시가 되어 있다. 반면, 빅데이터 분석기사의 실기 시험은 오픈북 시험이 아니다. 검색도 불가능하고 https://dataq.goorm.io/exam/116674/%EC%B2%B4%ED%97%98%ED%95%98%EA%B8%B0/quiz/2 구름EDU - 모두를 위한 맞춤형 IT교육 구름EDU는 모두를 위한 맞춤형 IT교육 플랫폼입니다. 개인/학교/기업 및 기관 별 최적화된 IT교육 솔루션을 경험해보세요. 기초부터 실무 프로그래밍 교육, 전국 초중고/대학교 온라인 강의, 기업/ edu.goorm.io groom IDE를 쓰는 형식이라서 코랩에서 제공하는 자동완성기능 또한 안..

대망의 빅데이터분석기사 필기 시험에 합격하였다. 올초 국비교육을 받으면서 상반기에 보려고 했던 시험인데, 해커톤과 빠듯한 교육일정으로 스터디를 참여하고 있었지만, 응시를 하지못했고 이번 하반기에 응시를 해서 한번에 합격을 하였다. 3, 4과목 모델링, 결과해석 파트는 국비교육때 매번 했던 부분이였고, 1, 2과목이 조금 생소한 부분이였는데, 개인적으로는 1과목이 가장 힘들었다. 왜냐하면 순서를 외워야 할 것이 너무나도 많았기 때문이다. 저번에 치루었던 ADsP에서 1,2과목이 빅데이터 분석기사의 1과목인데, 사실상 1과목 하나만으로 ADsP1,2 과목보다 커버리지가 커서 공부량이 2배는 되는 느낌이었다. 2과목은 EDA, 기술통계, 추론통계가 주를 이루는 실질적으로 데이터 사이언티스트에게 가장 기본 덕목..