전체 글 127

An error occurred during the signature verification 문제 해결

간만에 칼리를 실행하고, 바뀐 것에 대해 업데이트를 위해apt-get update 결과 아래와 같이 출력되었다. W: An error occurred during the signature verification. The repository is not update and the previous index files will be used. S: Some index files failed to download. They have been ignored, or old ones used instead. 별거없다. 아래와 같이 입력해주면 된다. wget -q -O - https://archive.kali.org/archive-key.asc | apt-key add 위의 사진처럼 해결됨을 확인 할 수 있다. 문제..

[알림] Hands-On Machine Learning with Scikit-Learn & Tensorflow

한빛미디어에서 Hands-On Machine Learning with Scikit-Learn and TensorFlow에 대한 출판권을 획득하여 곧 출간 예정이라고 합니다.따라서 그간 발행했던 글들은 비공개 처리하고자 합니다. [4장 ~ 13장] 나름 고생해서 쓴 글들이라 아쉬움이 크지만, 다행히 베타리딩 및 추천사에 참여하기로 하였습니다!!혹시라도 책 내용이나 궁금한 사항에 대해 댓글을 남겨주시면, 최대한 아는 한에서 답변을 드리고자 합니다.원서로 공부하기 어려웠던 분들은 구입하셔서 보시면 많이 도움 될 것 같습니다!!

기타/머신러닝 2018.02.18

ubuntu 16.04.2 sub-process returned an error code 문제

우분투 17.01버전이 나왔다고는 하나, 왠지모르게 신뢰할 수 없어 16.04.2 버전으로 설치함설치 후 apt-get update를 하는데 아래와 같은 메시지가 출력됨.. E: Problem executing scripts APT::Update::Post-Invoke-Success 'if /usr/bin/test -w /var/cache/app-info -a -e /usr/bin/appstreamcli; then appstreamcli refresh > /dev/null; fi'E: Sub-process returned an error code 한줄이면 끝sudo apt-get remove libappstream3 다시 apt-get update를 하면 정상적으로 동작하는 것을 확인 할 수 있음!

[chapter3] Hands-On Machine Learning with Scikit-Learn & Tensorflow

책: O'REILLY의 Hands-On Machine Learning with Scikit-Learn & TensorFlowURL: http://shop.oreilly.com/product/0636920052289.do본문에 사용되는 사진들은 모두 위의 책에서 발췌소스코드: https://github.com/ageron/handson-ml틀린 내용이 있으면 언제든지 댓글 달아주세요! (오역은 어느정도 이해해주시길) chapter3. Classificationchap1에서는 가장 일반적은 지도학습은 회귀(regression)와 분류(classification)이라고 언급했다.chap2에서는 선형 회귀(Linear Regression), 결정 트리(Decision Trees), 랜덤 포레스트(Random F..

기타/머신러닝 2017.09.19

[chapter2] Hands-On Machine Learning with Scikit-Learn & Tensorflow

책: O'REILLY의 Hands-On Machine Learning with Scikit-Learn & TensorFlowURL: http://shop.oreilly.com/product/0636920052289.do본문에 사용되는 사진들은 모두 위의 책에서 발췌소스코드: https://github.com/ageron/handson-ml틀린 내용이 있으면 언제든지 댓글 달아주세요! (오역은 어느정도 이해해주시길) chapter2. End-to-End Machine Learning Project 이번 장에서는 머신러닝의 프로젝트의 처음에서 끝까지 살펴보고자 한다. 주요 단계로는 아래와 같다.Look at the big picture.Get the data.Discover and visualize the ..

기타/머신러닝 2017.09.06

[chapter1] Hands-On Machine Learning with Scikit-Learn & Tensorflow

책: O'REILLY의 Hands-On Machine Learning with Scikit-Learn & TensorFlowURL: http://shop.oreilly.com/product/0636920052289.do본문에 사용되는 사진들은 모두 위의 책에서 발췌소스코드: https://github.com/ageron/handson-ml틀린 내용이 있으면 언제든지 댓글 달아주세요! (오역은 어느정도 이해해주시길) chapter1. The machine Learning Landscape 머신러닝이란 무엇인가?General Definition[Machine Learning is the] field of study that gives computers the ability to learn without be..

기타/머신러닝 2017.08.28

[Intro] Hands-On Machine Learning with Scikit-Learn & Tensorflow

http://kkn1220.tistory.com/133파이썬 라이브러리를 활용한 머신러닝 책을 보던 중, 정확한 이해 없이 진행하는 것은 무의미하다고 판단하여 책을 변경하였다. 위의 책도 물론 좋지만, 어느정도 머신러닝 알고리즘에 대해 이해하는 사람에게 더 유효 한 것 같다. O'REILLY의 Hands-On Machine Learning with Scikit-Learn & TensorFlow라는 유명한 책인데, 이 책은 우선 영어다...번역본도 나올 것 같지만, 예상 할 수 없어 아마존 킨들에서 바로 구입하였다. 아무래도 책을 계속 가지고 다니기는 어려움이 있어 바로 읽을 수 있는 킨들로 구매를 하였다.(https://www.amazon.com/Hands-Machine-Learning-Scikit-Le..

기타/머신러닝 2017.08.28

파이썬 라이브러리를 활용한 머신러닝(2장 지도학습)

이 글은 파이썬 라이브러리를 활용한 머신러닝 책을 본 사람에게만 유효. (안드레아스 뮐러, 세라 가이도 지음. 박해선 옮김. O'REILLY)파이썬 라이브러리: scikit-learnjupyter notebook을 제공하기 때문에, 파이썬 코드나, 각각에 대한 그래프를 확인 할 수는 있지만, 글의 경우 잊어먹기 쉽기 때문에, 소장을 위한 포스팅 교재 소스 코드: https://github.com/rickiepark/introduction_to_ml_with_python/ 2장. 지도학습 지도학습에는 분류와 회귀가 있음.- 분류는 미리 정의된, 가능성 있는 여러 클래스 레이블 중 하나를 예측. 이진 분류(binary classfication), 다중 분류(multiclass classfication)으로 ..

기타/머신러닝 2017.08.03

아나콘다 이전 버전 설치 및 tensorflow 설치

현재 기준(2017년 4월 17일) 아나콘다 설치 시 파이썬이 3.6으로 기본 설치되어 윈도우 사용자 기준으로 pip으로 tensorflow가 설치가 안되는 일이 발생한다. 리눅스나 mac에서는 repository 지정해놓는 글을 본 것 같은데 윈도우는 못찾아서... (Could not find a version that satisfies the requirement tensorflow (from version: )) 뭐 물론 파이썬3.6에서 3.5 환경에 맞게 바꿔주거나 하는 방법도 있겠다만, 아나콘다 설치 시 3.6을 디폴트로 설치가 되었기때문에 이래 저래 환경 변수 바꿔주는게 번거로울 수 있음 아래 URL에 접속하면 이전버전의 설치가 가능하다.뭐 패치가 되겠지만, 이전버전이 필요할 수도 있기 때문에..

Spark Cluster 운영

그림 발췌https://blogs.msdn.microsoft.com/bigdatasupport/2015/09/14/understanding-sparks-sparkconf-sparkcontext-sqlcontext-and-hivecontext/ Cluster에서 운영- 분산 모드에서 스파크는 하나의 Driver Program과 여러 Worker Node 즉, Master/Slave 구조를 가진다.Driver는 Worker Node의 Executor와 통신하는데, Driver는 자신만의 자바 프로세스에서 돌아가며, Executor 또한 독립된 자바 프로세스다.- 하나의 Spark Application은 Cluster Manager라고 불리는 외부 서비스를 사용하여 여러 개의 머신에서 실행 된다. - Driv..