»
S
I
D
E
B
A
R
«
다양한 현실 세계 예제로 스파크의 진면목을 경험한다.
Jun 23rd, 2016 by Wegra Lee

9가지 사례로 익히는 고급 스파크 분석

★ 스파크 실전편! 실무와 가장 가까운 경험을 제공한다.
이 책은 기능과 API를 단조롭게 나열하지 않는다. 현실과 동떨어진, 예제를 위한 예제를 따라 하지도 않는다. 대신 우리 주변에서 찾을 수 있고 우리 삶과 밀접한 실제 데이터를 가져와 함께 분석하고 다듬어본다. 그것도 하나가 아니라 9가지다. 음악 추천부터 이상 감지, 교통, 금융, 영상 데이터 등. 관심 가는 장을 먼저 봐도 좋고, 차례대로 천천히 따라 해봐도 좋다. 그럼 가장 진보한 분석 도구인 스파크로 다 함께 데이터의 바다를 항해해보자!

★ 현실 세계 데이터셋과 스파크의 만남
1. 오디오스크로블러(AudioScrobbler) 데이터셋으로 음악 추천하기
2. 의사 결정 나무로 산림 식생 분포 예측하기
3. K 평균 군집화로 네트워크 이상 감지하기
4. 숨은 의미 분석으로 위키백과 이해하기
5. 그래프엑스(GraphX)로 동시발생 네트워크 분석하기
6. 뉴욕 택시 운행 데이터로 위치 및 시간 데이터 분석하기
7. 몬테카를로 시뮬레이션으로 금융 리스크 추정하기
8. BDG 프로젝트와 유전체학 데이터 분석하기
9. 파이스파크(PySpark)와 썬더(Thunder)로 신경 영상 데이터 분석하기


미리보기도 이렇게~

예비 저자를 위한 ‘독자 페르소나’ 활용 소개
Sep 8th, 2015 by Wegra Lee

곧 출간할 『프로젝트 성패를 결정짓는 데이터 모델링 이야기』의 원고 검토를 위해 저자와 함께 써 본 독자 페르소나(persona)입니다. 페르소나는 대상 독자층을 명확히 드러내 책 전반에 걸쳐 글의 흐름, 다루는 내용, 깊이(난이도)를 일관되게 유지하는 데 큰 도움을 줍니다. 중간중간 스스로 페르소나의 인물이 되어, 혹은 원고를 검토해줄 지인에게 페르소나를 함께 건네주어 독자의 눈높이에서 글을 바라보는 것이죠.

내 책을 읽어 줄 독자가 얼마나 되는가를 대략 가늠해보는 수단이 되기도 합니다.

처음 책을 써보려 하는 예비 저자께 특히 강추합니다. ^^

__

인적사항: 나독자 / 32세 / 남자
직업: 소프트웨어 개발자 (주로 백엔드)
경력: 컴퓨터학부 졸업, 입사 4년차
성격: 자기 실력을 믿고, 그 결과에서 자부심을 얻고 싶어한다.
좌우명: “백년주택은 뼈대에 돈이 많이 든다” [출처]
싫어하는 말: 대충대충. 돌아가기만 하면 되지.
고객의 목소리: 내게 데이터 모델링의 원리를 깨우쳐줄.. 잘하고 있다는 확신을 갖게 해줄 멘토가 필요해!

개발 경험 / 숙련도:
* 언어: 자바(중고급), SQL(초중급)
* 데이터 모델링(초급) 학부 때 데이터베이스 과목은 수강하였다.
… 회사에서는 주로 선임 개발자나 전문 모델러가 건네준 설계대로 구현하는 역할을 하였다(SQL 정도는 부담없이 사용한다).
… 구체적인 모델링 원리와 이론은 가물가물하지만 책/검색 등으로 금방 기억을 떠올릴 수는 있다.
… 실무/응용 경험이 부족해 막히는 경우가 잦고, 해 놓고도 제대로 했는지 스스로 확인할 수 없다.

상황 (맥락, 니즈, 행동 패턴, 문제점):
나독자는 입사 후 3년 동안 몇 개의 프로젝트를 경험하며 애플리케이션 개발에 나름 자신이 붙고 있었다. 항상 시간에 쫓겨 버그투성이의 프로그램을 개발하던 것에서 차츰 벗어나, 이제는 요구사항을 정확히 만족하면서 효율적이고 안정적인 코드를 만들어 내고 있다. 객체지향 방법론과 패턴도 적용해가며 이제 큰 부끄럼 없이 남에게 코드를 보여주고 설명할 수 있는 수준이 되었다.
그런데 이번에 새로 시작한 프로젝트는 업무도 낯설고 그동안 해보지 않았던 데이터베이스 설계 역할을 맡게 되었다. 처음엔 객체 설계랑 비슷하려니 생각했지만 막상 해보니 곧 또 다른 세상임을 깨달았다. 결과적으로 초반의 데이터 모델링 진도는 지지부진하여, 몇 년 만에 느껴보는 부담감이 커졌다. 신입 때는 잘 몰라도 ‘신입이니까’라 생각하며 편히 지낼 수 있었지만, 뒤에서 지켜보는 후임도 생긴 지금의 부담은 여태껏 느껴보지 못한 무게다.
그간 직접 체험과 주변 사례를 통해 ‘일단 돌아가게 만들기’의 폐해를 잘 알고 있다. 이번에도 어찌 되었든 돌아가게는 만들겠지만, 원리를 깨우쳐 제대로 확신을 가지고 진행하고 싶다.
인터넷과 몇몇 서적을 훑어보았다. 하지만 인터넷에서 찾은 지식은 단편적이고, 책들은 마치 수험서처럼 아주 작은 것까지 모두 설명하려 하거나 너무 성능 최적화에 치우친 느낌이다. 모델링 전체를 관통하는 본질적인 이야기는 찾을 수 없었다. 어쩌면 너무 많은 잔가지와 디테일에 파묻혀 눈에 띄지 않았을지도 모르겠다.

목표:
후임에게 부끄럽지 않도록 새로운 프로젝트와 역할에 성공적으로 안착한다.
객체지향과 패턴의 원리를 깨우쳐 코딩에서 자신감을 얻었듯, 데이터 모델링도 그 본질적 원리를 제대로 깨우친다.
깨달은 원리를 바탕으로 앞으로 어떤 과제가 맡겨져도 완수할 수 있다는 자신감을 얻는다. 물론 계속 고민하고 더 배워야겠지만.. ^^

색다른

»  Substance: WordPress   »  Style: Ahren Ahimsa