본문 바로가기

IT26

8회 빅분기 필기시험 대비 위한 MS Copilot 3가지 유형 연습 python 코드 문의결과 (빅데이터분석기사) 8회 빅분기 필기 시험 대비하여 3가지 유형에 대해 파악하였습니다. 그 과정중에 필기시험 면제기간 안내도 받았습니다. 이제는 다양한 사례를 대비해 python 코드 연습이 필요합니다. 이 번 포스팅은 MS Copilot 에게 3가지 유형에 대한 코드를 문의한 결과입니다. 제1유형 : 전처리 질문 1. 데이터 타입(object, int, float, bool 등) 2. 기초통계량(평균,중앙값,사분위수,IQR, 표준편차 등) 3. 데이터 인덱싱, 필터링, 정렬, 변경 등 4. 중복값, 결측치, 이상치 처리(제거 o 대체) 5. 데이터 Scaling(데이터 표준화(z), 데이터정규화(min-max)) 6. 데이터 합치기 7. 날짜/시간 데이터, index 다루기. 등등 관련 사례를 빅분기 실기 제1유형에 맞춰.. 2024. 4. 15.
8회 빅분기 필기시험 면제기간 (2년) 및 실기시험 유효기간 (빅데이터분석 기사) 빅분기 실기를 준비하는 과정에 필기시험 유효 기간 카톡 메세지를 받았습니다. 필자는 5회 합격하여 22년 10월 21일 공지를 받았습니다. 즉 11월 1일까지 접수기간인 9회 실기는 면제가 아닙니다. 이제 면제기간을 살리기 위해서라도 열심히 8회 빅분기 실기 시험 준비를 해야 겠습니다. 필기면제 기간 안내 및 유효기간 아래 메세지 마지막 문구 24년 10월 21일까지 면제 실기시험 접수기간이 필기시험 면제가간 내에 하루라도 포함 24년 빅분기 일정 및 실기시험 일정 8회 실기 접수 : 24년 5월 20일 ~ 24일 (면제 가능) 9회 실기 접수 : 24년 10월 28일 ~ 11월 1일 (면제 안됨) 2024. 4. 14.
8회 빅분기 실기 시험 준비, 작업 제3유형, 구글 Gemini 및 MS Copliot (Chat GPT) 분석 (빅데이터분석 기사) 빅분기 제3유형은 체험환경에서 통계분석을 예시로 하고 있습니다. 즉 추론통계 또는 기술통계검정을 문의합니다. 30점 (30%) 배점되며 문제가 2~3문제 이므로 2~3가지 경우의 코드 구현능력이 필요합니다. 필자는 통계검정이 취약한 분야 이므로 집중적으로 학습해야 할 분야입니다. 결론 구글 Gemini 가 답안 과정 더 신뢰되지만 2번의 보완질문 필요했음 MS Copilot 답변 코드 간단하나 답 소수점 형식 불일치 및 정확성 낮음 카이제곱 통계량 : 260.71702016732104 Parch 변수 계수 값 : -0.1858966930832436 오즈비 : -0.1858966930832436 구글 Gemini 답변 답 소수점 형식 일치 및 보완질문 필요 카이제곱 통계량: 260.717 Parch 변수의.. 2024. 4. 13.
구글 Gemini 및 MS Copliot (Chat GPT) 활용 8회 빅데이터분석 기사(빅분기) 실기 도전 작업 제2유형 제2유형 작업은 머신러닝 학습을 통해 평가지표 성능을 비교하고 예측값을 산출하는 문제입니다. 빅데이터분석 실기 체험은 ROC-AUC 평가지표 사용하여 성능점검을 하도록 질문하고 있습니다. 학습데이터에는 성별이 없지만 평가데이터는 성별 데이터가 업습니다. 학습데이터만으로 학습한 모델로 평가데이터에 없는 성별 데이터를 예측하는 문제입니다. 결론 결과는 구글 Gemini 및 MS Copliot 별로 ROC-AUC 값 약간 상이 MS Copliot ROC-AUC : 0.6506 구글 Gemini ROC-AUC : 0.6414 ROC-AUC 가 높고 코드 상대적 용이한 MS Copiolt 코드 채택 MS Copliot 코드 : 상대적 용이 구글 Gemini 코드 : 상대적 복잡 import pandas as pd.. 2024. 4. 10.
구글 Gemini 및 MS Copliot (Chat GPT) 활용 빅데이터분석 기사(빅분기) 실기 도전 작업 제1유형 2년전 필기 합격후 실기 시험을 응시하지 않은 빅데이터 분석 기사(빅분기)에 도전합니다. 그 사이 Chat GPT 가 출시되면서 학습방법의 많은 변화가 생겼습니다. 8회 빅데이터분석기사 실기에 도전하면서 도서를 구매했지만 Coploit 을 할용하여 학습을 병행하고자 합니다. 이번 포스팅은 실기시험 체험 제1유형 부분입니다. 결론 결과는 구글 Gemini 및 MS Copliot 모두 동일한 값을 출력하는 코드 생성 2개 생성형 AI 에서 fit() 과 transform() 을 함축한 fit_transform() 사용 2개 생성형 AI 결과와 기존 알고 있는 코드로 요약 내용 (아래-시험암기용) from sklearn.preprocessing import MinMaxScaler import pandas as.. 2024. 4. 10.
bpmn, process tree 해석, 파이썬(python) 프로세스 마이닝 (process mining) with pm4py 2.7.0 pm4py 공식 홈페이지에서 제공한 튜토리얼에서 소개한 4개 프로세스 마이닝에 대해서 간단히 정리해 봅니다. IT 시스템에 적용된 프로세스가 그동안 적재된 데이터로 어떻게 흘러가고 있는지 파악하게 되면서 향후 개선점을 도출하게 됩니다. bpmn, process tree에 대해 간단히 알아보겠습니다. bpmn 모델 데이터 흐름을 전후 관계 기반으로 프로세스를 정적으로 재현하는 알고리즘입니다. 프로세스 즉, 업무 절차라는 것은 한 방향으로 흘러가 도록 설계를 하지만 예외적으로 반복하거나 예외 상황을 허용합니다. 이런 허용인 업무 누락, 오류, 병목, 지연 등을 유발하게 되는 주요 악영향 요인입니다. 실습 예제인 "running-example.csv" 내용은 제품수리 절차에 대한 내용입니다. 데이터는 영어로 .. 2023. 3. 28.
파이썬(python)으로 구현하는 프로세스 마이닝 (process mining) with pm4py 2.7.0 세상 모든 일은 절차를 갖고 시간순으로 진행됩니다. 여기서 핵심 키워드는 "일", "절차", "시간"입니다. 소위 말하는 프로세스는 "일", "절차", "시간" 속성을 갖고 있으며, 이 3가지 요소를 가지고 프로세스의 반복, 병목, 지연을 찾아내는 기법이 프로세스 마이닝입니다. 그리고 이 프로세스 마이닝을 파이썬으로 구현가능하게 하는 라이브러리가 "pm4py"입니다. 설치 : pm4py + Graphviz 필요한 라이브러리는 pm4py 이며 다른 라이브러리와 똑같이 pip instal pm4py 로 설치 가능합니다. 그리고 알고리즘 도식화를 위해 Graphviz를 별도로 다운로드하고 설치합니다. Graphviz설치 시 주의점은 PATH 지정 및 python 재실행합니다. pip install pm4py .. 2023. 3. 27.
DAY14 로지스틱 회귀분석 및 군집분석-(Bing 챗(chat) GPT 생성한 파이썬 코드 첨삭) SAT점수와 성별로 입학여부를 로지스틱 회귀분석으로 학습하고 그 결과를 PLOT 하는 소스코드를 작성하였습니다. 그리고 국가별 위도/경도 정보를 군집분석하여 그 결과를 PLOT 하는 소스코드를 작성합니다. 빙 chat GPT에게 위 내용을 질문하여 얻은 결과이며 결과는 실습과 동일합니다. 미국 입학시험 (SAT) 결과 와 성별에 따른 입력여부 로지스틱 회귀분석분석대상 데이터 SATAdmittedGender1363NoMale1792YesFemale1954YesFemale1653NoMale먼저 데이터세트를 질문하여 표로 요약한 결과는 다음과 같습니다.소스코드 생성요청한 질문 결과는 다음과 같으며, 소스코드도 작성합니다. 질문 ) SAT 점수와 성별을 독립변수로하여 입학여부를 로직스틱 회귀분석하는 파이선 3... 2023. 3. 23.
DAY12 특징선택-feature selection 및 재현율 (recall)-(Bing 챗(chat) GPT 생성한 파이썬 코드 첨삭) lable 이 불균형을 이룬 상태에서는 특정선택과 재현율(recall) 지수가 중요합니다. 3주차 파이썬 데이터분석 교육 중 모델평가 이후에 특징선택(feature selection) 에 대해 배운것을 챗(chat) GPT 에게 질문하여 얻은 답변과 예제코드 입니다. 특징선택의 중요성 머신러닝은 데이터 건수는 최대한 늘려야 하지만, 데이터 특징(속성)은 최소한으로 줄여야 합니다. 데이터세트 중소기업청에서 제공하는 사출성형 공정데이터 이며, 설비가동시 불량품 발생에 대한 raw data 입니다. 대략적으로 피봇 요약하면 다음과 같습니다. 알고자 하는 목표변수는 PassOrFail 이며, 불량(N)/양품(Y) 값을 가지고 있습니다. 비율은 불량(N) : 양품(Y) = 0.9 : 99.1 입니다. 즉 불량(N.. 2023. 3. 21.
DAY 09 머신러닝 관련 Bing 챗(chat) GPT 생성한 파이썬 코드 및 동일 절차 Weka 실행 머신러닝으로 진입한 교육과정 중 기억나는 부분을 정리하기 위해 또 다시 Bing 챗(chat) GPT 로 코드를 생성하고 필자의 주관심사인 Java Weka 실행 절차를 문의하고 답을 얻었습니다. 파이썬의 최대 장점은 많은 레퍼런스(참조) 인데 이제 챗(chat) GPT 가 있으니 레퍼런스를 찾을 필요 없군요. 파이썬 : Seaborn 제공 유방암 데이터 SVM 학습 코드 (데이터 척도 평준화, 하이퍼라라메터 생성) Bing 챗(chat) GPT에게 아래와 같이 질문하였습니다. 질문) 파이썬 seaborn 에서 제공하는 유방암 데이타를 min max.scaling 을한후 하이파파라메터를.search gird로 찾으면서 svm.모델로 학습하고 평가하는 파이썬 코드 생성 답변) import seaborn a.. 2023. 3. 16.
DAY07 통계검정 (with OpenAI/Bing 챗(chat) GPT 생성한 파이썬 코드 첨삭) 빅데이터분석기사나 ADsP 응시 때 포기했던 통계분석이 이번에도 필자를 괴롭힙니다. 도대체 이해가 안 되는 내요입니다. 이번에는 강의에서 풀지 못했던 일부 문제를 Bing 챗(chat) GPT 의 도움으로 작성해 보았습니다. 잘 작성된 단측검정 코드로 양측검정 코드 생성을 요청하니 제대로 답해줬습니다. 자유도 30 (사건회수) + 검정통계량 1.5 / 1.9 / 2.4 일 때, 단측 t-검정 코드 생성 자유도 30 (사건회수) + 검정통계량 1.5 / 1.9 / 2.4 일때, 단측 t-검정 후 검정통계량, 신뢰구간, 유의 수준, 검정경례 산출 후 시각화까지 파이썬 코드 작성 요청 챗 gpt 실행결과의 코드는 아래 접은글에 작성되어 있습니다. 더보기 for i in [1.5, 1.9, 2.4]: t_che.. 2023. 3. 14.
DAY06 통계정리 (with OpenAI/Bing 챗(chat) GPT 생성한 파이썬 코드 첨삭) 저의 아킬레스건인 통계내용을 파이썬을 이용하여 정리해 봅니다. 교육에서 알려준 예시들을 상황에 맞는 분포함수를 사용하여 정리하고 코드를 기록합니다. 코드는 강의에서 내용을 복기하기 위해 OpenAI와 Bing 챗(chat) GPT를 사용하여 작성하였습니다. 균등분포 함수 예제) 어느 주식의 하루 동안 오를 확률과 내릴 확률이 50%라고 하자. 또한 매일 매일의 주가의 움직임은 독립이다. 이 주식의 가격이 1주일 동안 오를 확률은? 균등분포 함수를 사용하는 파이썬 코드 Chat GPT 답변) 주식의 가격이 1주일 동안 오를 확률은 이항분포를 사용하여 계산할 수 있습니다. 이항분포는 베르누이 시행을 n번 반복하여 그중 성공하는 횟수를 X라고 할 때, 이 X가 따르는 분포입니다. 여기서는 1주일 동안 7번의 .. 2023. 3. 13.
갤럭시 S22 울트라 결과적 무지출 구매, 저렴한 할인 구매가 아님 (기계값 - 3가지 혜택 = 1.2만원 오히려 받음) 갤럭시 S23 출시 1주일 전에 갤럭시 S22 울트라로 교체했습니다. 6년간 사용한 노트 8의 고장 때문에 긴급하게 교체하였습니다. 요금제 기계값 할인, 만기 도래 신용카드 교체, 집 인터넷 교체 혜택을 받으면서 결과적으로 오히려 1.2만원 받는 구매였습니다. 구매 사유 : 6년 핸드폰 고장으로 교체 지금 오히려 돈을 번 이 갤럭시 S22 울트라로 포스팅을 하고 있습니다. 6년 동안 사용했던 갤럭시 노트 8이 갑자기 하루에 6~7번 재부팅하는 현상이 발생해 갤럭시 S22를 구매했습니다. 워낙 제품을 하나 사면 고장 날 때까지 오래 사용하다 보니 이렇게 갑자기 뭔가를 교체하면 리셋 부담감이 있습니다. 구매 시기 : 23년 1월 31일 갤럭시 S23 출시 1주전 핸드폰을 교체할 때마다 꼭 신제품 출시 진적이.. 2023. 2. 12.
갤럭시 모태 둘째 딸의 아이패드 에어5 스페이스 그레이 256 GB 개봉 후기 (iPad Air 5 256 GB) 외국어 고등학교 입학하게 된 둘째 딸에게 지금까지 뭘 제대로 사준 적이 없었습니다. 지난 17년간을 소급해서 아이패드 에어 5 스페이스 그레이 256 GB와 애플 펜슬 그리고 보험가입까지 구매해 주었습니다. 첫째 딸도 아이패드를 필기장 대신 사용하면서 학원선생에게 판매 권유를 받을 정도로 잘 쓰더군요. 디지털 기기에 어색함이 없는 둘째 딸의 개봉 후기입니다. 아이패드 에어5 의 경우 내장 메모리가 64 GB와 256 GB 2가지만 있고 128 GB 가 없습니다. 2 메모리 종류 가격 차이는 25만 이지만, 64 GB를 싸게 구매해봤자 외장 메모리 추가 안 되는 특성성 몇 년 뒤에는 다른 기종을 또 구매하느니 처음부터 256 GB로 결정했습니다. 64GB 예전 기종은 사용하는 지인 말로는 구매후 몇년이 지.. 2023. 1. 31.
23년 빅데이터분석기사(빅분기) 일정 및 한국데이터검증원(데이터자격시험) 홈페이지 개편 22년에 발표된 올해 23년 빅데이터분석기사(빅분기) 시험일정은 필기/실기 2회 실시합니다. 여전히 빅분기와 차이점이 애매한 ADP와 ADsP는 연 4회 실시합니다. 23년 1월 데이터자격검정 홈페이지가 개편이 되면서 달력에 시험일정이 표현되어 수험일정 수립에 편의성을 제공합니다. 23년 빅데이터분석기사 일정 : 연 2회 실시 6회 필기 : 3월 접수, 4월 시험, 5월 결과/서류제출 7회 필기 : 8월 접수, 9월 시험, 10월 결과/서류제출 6회 실기 : 5월 접수, 6월 시험, 7월 결과 7회 실기 : 10월 접수, 11월 시험, 12월 결과 홈페이지 개편 : 일정 수립 편의성 제공 개편 전에는 응시과목을 deck 형으로 나열하였다면 개편되면서 달력 형태로 제공하여 일정수립 편의성을 제공합니다. 그.. 2023. 1. 25.
필기 시험 합격 : ADsP 취득자의 5회 빅데이터분석 기사(빅분기) 자격증 도전 1.5개월차 빅데이터분석기사 필기를 다행히 합격했습니다. 기쁨도 잠시 집안일이 해결이 안되니 이렇게 노력을 해봐야 무슨 소용인가 싶기도 하지만 현상유지 또는 미래발전을 위한 노력은 조금씩 진행합니다. 특이하게 4대보험 가입확인서도 필요하여 발급 방법도 알아 봅니다. 합격결과 좀 특이하게 필기 시험이 합격 점수를 넘더라도 증빙 서류가 필요합니다. 제출문서 필자인 저는 직장인 이기에 경력관려 제출서류는 경력증명서와 4대보험 가입확인서 1통씩 입니다. 경력증명서는 회사에서 신청하면 되는데 4대보험 가입확인서는 "4대사회보험 정보연계센터" 사이트에서 발급가능합니다. 4대보험 가입확인서 발급 (4대사회보험 정보연계센터) 별도 로그인 없이 바로 무료로 발급 가능합니다. 향후 일정 업데이트 재직증명성와 4대보험 가입확인서를 10.. 2022. 10. 17.
필기 시험후기 : ADsP 취득자의 5회 빅데이터분석 기사(빅분기) 자격증 도전 1개월차 1개월 단기간만에 준비했던 빅분기 자격증 응시 후기입니다. 변명이지만 전세 세입자 문제, 원유 인버스 투자 등 신경 쓸게 많았던 기간에 자격증까지 준비하려니 부족했었습니다. 어찌 되었건 가을을 맞이한 화창한 10월 첫째날 ADsP 취득자의 빅데이터 분석 기사 5회 차 응시 후기입니다. 응시장소 특별시, 광역시에만 가능합니다. 저는 송파구 문현중학교에서 시험을 봤는데 집에서 대중교통(1650번 광역버스) 접근이 용이했고 주차도 여유로웠습니다. 시험시간 오전 10시 부터 2시간 주어지지만 1시간 정도 소요되었습니다. 잘 모르는 문제는 빠르게 찍고 넘어가서 시간을 단축했습니다. 시험 내용 1과목 빅데이터 기획은 쉬웠으나, 2과목 통계분석은 역시 쉽지 않았습니다. 3,4 과목은 준비 여부에 따라 난이도는 달랐을.. 2022. 10. 1.
이기적 필기 CBT 무료 온라인 모의고사 : ADsP 취득자의 5회 빅데이터분석 기사(빅분기) 자격증 도전 9일차 시험공부 방법 중에 하나가 시험장에서 문제를 풀어가면서 공부한다는 우스개 소리가 있는데 그만큼 많은 문제 풀이도 중요합니다. 이기적 빅데이터 분석 필기 출판사인 영진닷컴에서는 문제 풀면서 공부할 수 있는 무료 온라인 모의고사를 제공합니다. 접속할 때마다 새로운 문제를 출제됩니다. 어쩌다 보니 책과 출판사 선전으로 보이는데 필자는 책을 보통 1권만 구매해서 집중적으로 풀기 때문에 출판사를 칭찬하는 것은 아니고 이런 서비스도 제공한다는 소개로 봐주십시오. 영진닷컴 무료 온라인 모의고사 접속 방법 https://license.youngjin.com/ 접속 후 로그인 없이, CBT 서비스(온라인 모의고사) -> 빅데이터 분석 기사 필기 -> 시작하기 순으로 클릭하면서 모의고사 화면으로 접속할 수 있습니다. 1개.. 2022. 9. 7.
이기적 요약본 핵심 맥락 도식화 : ADsP 취득자의 5회 빅데이터분석 기사(빅분기) 자격증 도전 7일차 23년 이기적 빅데이터 분석기사 필기 요약본 중에 제일 중요 (★★★) 하다고 표기된 4개 챕터 간의 맥락을 연결하였습니다. 아무리 암기를 통해 필기시험을 응시한다고 하지만 최소한의 맥락 이해는 필요해 정리하였습니다. 빅데이터 기술 및 제도와 분석 방안 수립은 비슷한 내용인데 특히 분석과 평가/전개 부분에 대해 별도 챕터를 만들 정도로 깊이 있게 다루고 있습니다. 빅데이터 분석 로직트리는 데이터 표본 검정을 할 것이냐 데이터 전수 분석을 할 것이냐에 따라 통계분석과 머신러닝으로 나뉩니다. 통계분석은 2장에서 정리해야 하는데 중요도가 모두 별2개 이하였고 요약에서 조차 너무 복잡한 수식만 나열한 것이 아쉽지만 최소한 1종 오류 및 2종 오류가 어떤 뜻인지 3.2.1 분석기법에서 요약하였습니다. 머신러닝은 .. 2022. 9. 5.
ADsP 취득자의 5회 빅데이터분석 기사(빅분기) 자격증 도전 6일차 : 꼭 외워야할 9가지 2x2매트릭스 어차피 시험을 봐야 하므로 반드시 외워야 하는 것들이 있습니다. 1+1=2 이듯이 이해하지 말고 그냥 외워서 풀어야 할 답들입니다. 총 9가지이며 연관분석 측정지표만 제외하면 2x2매트릭스로 이루어져 있습니다. ADsP 자료지만 빅데이터 분석기사 기준으로 재정리 하였습니다. 1. 기획 암묵지와 형식지의 지식 상호 관계 분석 대상과 인지 상황에 따른 분석 방향성 결정 방법 난이도와 시급성에 따른 과제 우선순위 선정 방법 분석 조직 발전 단계 2. 탐색 통계분석 모델 선정 구분법 추론 통계분석 1,2종 오류와 적용방법 3. 모델링 잡음 영향 및 가중치 활용 머신러닝 4. 결과 해석 오분류표에 의한 성능 측정식 및 AUC 연관분석 측정지표 2022. 9. 4.

티스토리툴바