KISTI 빅데이터 분석가 과정 검색 결과

해당 글 35건

최종 멘토 미팅

전체 건수가 몇 건 상품을 몇백개를 끊었고 그거에 붙인 유저가 몇만건이었고 그래서 전체 클러스터가 얼마엿는데 -1, 0, 1, ... 이렇게 몇명으로 분리가 되어서 최종적으로 구한 유저의 클러스터는 몇백명 product을 먼저 고르고 user를 골랐기 때문에 당연히 나오는 결과들은 product에 치우칠 수밖에 없다 user를 먼저 랜덤하게 고르고 dbscan을 시행하면 무슨 물건을 산 유저들인지 모르기때문에 거기서 묶인 유저들은 비슷한 걸 산 유저들끼리 - 우리가 그 전제를 전혀 모르는 - 궁극적으로 order list를 고른다면 거기에 어떤 user가 들어있는지, 어떤 상품이 들어있는지 전혀 알 수 없다 랜덤으로 3만건을 골라내서 user의 특성을 보고 product의 특성을 봐야 우리가 알지 못하는..
KISTI 빅데이터 분석가 과정/그룹 프로젝트 2019. 9. 24. 11:53

09.19 일정표 점검 및 마무리계획

날짜 \ 요일 월 화 수 목 금 비고 1주차 (8/19 - 22) 주제 선정 주제 선정 주제 선정 주제 선정 2주차 (8/26 - 30) 멘토 미팅 - 주제확정 데이터 분석(EDA) 데이터 분석(EDA) 데이터 분석(상관분석, 연관분석) 3주차 (9/2 - 6) 데이터 분석(상관분석, 연관분석) 비상사태 1,2주차 발표 멘토 미팅2 -Word2Vec 슈퍼컴 컨퍼런스 참석 슈퍼컴 컨퍼런스 참석 Word2Vec 공부 및 시도 4주차 (9/9 - 13) 멘토미팅3 -Cluster Product별 K-Means 시도DBSCAN 공부 추석 (이동) 추석 전날 추석 당일 각자 맡은 Word2Vec 및 K-means, DBSCAN 공부 및 시도해오기 5주차 (9/16 - 20) user_id Word2Vec DBSC..
KISTI 빅데이터 분석가 과정/그룹 프로젝트 2019. 9. 19. 13:41

09.18 3,4주차 보고 및 멘토미팅

26일 전체과정 발표 - 피드백 받고 27일까지 최종 인쇄본 넘겨야 함 30일 전체 팀 대상 결과보고 user_id 기반 데이터 수 줄이기 확 줄여서 돌리고, 캐글 커널보다 로컬의 자원이 좋으니 사용하라 CF나 이미 user_id 로 Word2Vec 돌린거나 매커니즘이 같다 이미 같은 내용을 해놓은거고 거기서 결국 가까운 유저들은 비슷한 상품을 구매 - 취향이 비슷함을 의미한다. 이미 표시한 내용 (dbscan을 돌린게 없을뿐 일단 Word2Vec은 되니까) 한 명을 기준으로 취향이 같은 여러명의 장바구니 내역을 나열하고, 공통적인 상품들을 보면 추천 매커니즘이 나온다. 이미 표시가 된 것. product와 user는 연관 되어있다. user가 가장 많이 산 product만 보더라도, 그 product와..
KISTI 빅데이터 분석가 과정/그룹 프로젝트 2019. 9. 18. 15:56

09.16 오늘 한 것 기록

추석 연휴 포함 주말까지 4일이 지나고 월요일 오전 - 연휴동안 박사님께 메일로 문의한 내용 직접 개인방문하여 멘토링 오후 - 멘토링 받은 내용 토대로 user_id로 Word2Vec 성공 (plot은 여전히 commit중), DBSCAN 새연이 코드 긁어다 적용 각자 오늘 한 내용 간단히 공유하고 퇴근 :: 오전 박사님께 여쭤본 내용은 1) product_id로는 Word2Vec이 잘 되는데 user_id로 진행하려하면 unsupported 에러가 발생 input type이 int64여서 str로 변환해서 넣어야 한다고는 생각하는데 의도한 대로 형변환이 되지 않는 문제 → pandas를 사용해서 Series타입이 끼여 문제가 발생하는 것 같다고 판단 Word2Vec에 굳이 Series가 들어갈 필요 없..
KISTI 빅데이터 분석가 과정/그룹 프로젝트 2019. 9. 16. 20:24

09.09 Word2Vec 역할분담

1. 유저 정보 2. 물건 위주로 볼 것인지 - 물건 중심으로 사용자를 정리. 두 사람이 같은 물건을 살 수록 가까워지고... 3. 시간에 대해서 - similarity의 공간을 몇 개 만들어놓고 시작하는게 어떨까 위의 물건만 넣는 것은 이제 기본은 하지만, 큰 인사이트도 없고 너무 기본적인 거니까. 지금 할 수 있는건 물건에 대한 유사도 맵 뿐이니 사람과 시간에 대해서. product similarity based on - order_dow user similarity based on - product / p + 요일 / p + 시간 / p + 요일, 시간 Word2Vec product :: 매출 top1000의 prouduct들을 user_id+order_id로 묶어서 상관관계 분석 (o) :: 요일..
KISTI 빅데이터 분석가 과정/그룹 프로젝트 2019. 9. 9. 15:02

09.09 멘토 미팅

아침10시미팅 :: 지난 주말 word2vec 기초 돌려보는거 발표함 노이즈가 낀 것 같다 ex. Bag of Banana인지 Banana인지를 지금은 다 분리되어있는데 아무래도 회사 별 상품이다 보니 저 바나나들을 다르게 볼건지, 같게 볼건지를 정해야 할 것 같다. 보기에는 마지막 단어가 제품 명인것같은데 저걸 분류해서 새로이 그룹핑을 할 건지 ex. Organic "Strawberry", Bag of "Banana" Top10000쯤 가니 섹션이 명확해지는데 혹시 같은 회사의 제품들을 사람들이 사서 그런게 아닌지 - 그 부분 데이터가 없으니 알 수는 없음 이제 Word2Vec 기본은 쓸 줄 아는 것 같고, similarity 외에 쓸 수 있는 것이 뭐가 있는지 알아봐야 앞으로 뭘 할 지 시나리오 짜기..
KISTI 빅데이터 분석가 과정/그룹 프로젝트 2019. 9. 9. 11:39

09.04 멘토 미팅

Mento Meeting Note 데이터 분석 - 시작은 fiction 이럴 것 같다, 이랬으면 좋겠다. 생각을 갖고 분석을 해서 구체화 시키면 된다. 이러한 소설을 쓸 수 있을 것 같다. 소설에 분석으로 근거를 붙여서 설득을 시키는게 과제를 해결하는 양상. id가 숫자형이어도 개별적으로 의미하는거고 순수 의미가 x. 다른 것들과 의미가 단순하게 비교해서는 안나올수도 있기 때문에, 실제로 의미가 있을 만한 값을 생각해보고 상관분석을 하거나 히트맵을 그리거나 해야한다. 에라이하고 때려넣으면 안된다. 기대를 하고 적절히 처리해서 넣어야 함. 목표를 정하자. 2017년의 데이터 - 정확한 기간은 알 수 없으나 1년정도로 예상? 전체 주문 건수 : 3 million user : 약 20만명 department ..
KISTI 빅데이터 분석가 과정/그룹 프로젝트 2019. 9. 4. 16:06

09.04 1,2주 내용발표

각 조의 지난 1, 2주차 진행 상황을 보고하는 아침 발표 진행함. 회의록 기록해둔 것으로 발표하기로 함 → 선정한 프로젝트 설명하는 부분, 주제 구체화 부분 앞쪽에 추가하면 좋을 듯하다. (숙희언니 회의록 완전 체계적이다 ㅇ0ㅇ) ※ ppt화살표는 Alt+I+S의 화살표로 쓰기 그래야 안 깨진다. 깨알같은 전문성. ※ 글씨체, 폰트 사이즈, 디자인의 통일성은 기본. 문장형이 아닌데 마침표를 쓰는건 지양하고 어미를 통일시켜야 함. 아침시작미팅 지금까지 기초적인 분석을 개별적으로 나누어서, 자유롭게 해왔는데 시간적으로 매우 비효율적인 듯하다. 추석 전까지 모델을 완성하기로 한 만큼 또 언젠가 작업을 합쳐야 하니까 역할 중심으로 나눠서 두 팀으로 나눠 진행하기. 아이디어(비즈니스적 목표) / 역할 - 분석(..
KISTI 빅데이터 분석가 과정/그룹 프로젝트 2019. 9. 4. 12:01