정보통신과 컴퓨팅 기술의 비약적인 발전과 더불어 빅 데이터 분석기술이 현대를 포함한 미래사회의 정치, 경제, 문화 및 과학기술 등 전 영역에 걸쳐 영향을 미칠 것으로 보이며 그 중요성이 시간이 갈수록 점점 크게 부각되고 있다. 여러 종류의 빅데이터를 수집하고, 분석하며, 시각화하는 빅 데이터 기술은 인간의 사회생활 변화 및 환경 변화를 더욱 더 정확하게 예측하여 정부나 기업체 및 단체의 운영효율을 증대시킬 수 있다. 더구나 빅 데이터는 정보화 사회에서부터 점차 개인화 되어가고 있는 사회 구성원 및 경제 주체에 따라 맞춤형 정보를 제공하고 분석 가능하게 하여 새로운 기회를 제공할 수도 있다.
빅 데이터를 분석하기 위해서는 확률 및 통계 이론을 기본적으로 알아야 할 필요가 있다. 통계학이란 관심의 대상에 대한 자료를 효율적으로 수집, 정리하고, 관찰과 조사로부터 얻은 자료에 포함된 정보를 바탕으로 조사대상 전체의 특성을 추론하는 방법을 제공한다. 그리고 확률 개념은 통계적 방법을 보완하고 통계적 추론의 설득력을 담보하는 중요한 요소이며 통계분석으로 얻어진 결과를 해석할 때 핵심적인 역할을 한다.
이와 같이 데이터 분석 기술의 중요성이 인식되면서 파이썬 언어의 중요성도 점차 부각되고 있다. 파이썬은 데이터 분석에 중심을 두고 개발된 프로그래밍 언어인 만큼 관련 패키지가 워낙 다양하기 때문이다. 파이썬은 다양한 플랫폼에서 사용할 수 있고 풍부한 라이브러리와 모듈을 갖고 있다. 또한 오픈 소스로서 통계학자, 생물학자 등 데이터 분석 전문가들이 빠른 속도로 패키지를 갱신하여 활용성이 풍부한 장점도 있다.
이 책에서는 파이썬의 기본 사용법과 함께 확률과 통계의 이론과 자료 분석방법을 다룬다. 파이썬 라이브러리나 패키지를 강하게 연계하여 좀 더 흥미롭게 데이터 분석의 기본이 되는 기초 확률과 통계에 접근하고자 한다. 1장에서는 통계분석의 기초개념으로 통계학과 자료 분석 및 기초통계량의 개요를 다룬다. 2장에서는 확률과 확률분포에 대한 정의와 개념을 다루며 확률변수, 확률밀도함수 등을 포함한다. 3장에서는 통계분석에서 많이 사용되는 이산확률분포와 연속확률분포 및 이와 관련된 파이썬 내장함수를 소개한다.
4장에서는 표본과 표본분포 및 표본평균과 표본분산을 다루고 5장에서는 통계적 추론을 다루는데 여기에는 점 추정과 구간 추정을 포함한다. 6장 가설검정에서는 모평균과 모분산 및 모비율의 검정을 포함하여 두 모집단에 대한 모수의 비교를 다루고 파이썬이 제공하는 관련되는 검정함수를 소개한다. 7장에서는 범주형 자료 검정과 분석 및 비모수적 통계분석방법을 다룬다. 8장에서는 단순선형회귀 모형과 다중선형회귀 모형을 포함하여 분산분석과 상관분석을 다룬다.
부록의 두 장에서는 파이썬의 설치와 실행 및 자료형과 연산자, 자료의 입출력 등을 다루고 있어 파이썬에 처음 접하는 독자도 무리 없이 접근할 수 있다. 파이썬에 대한 기초지식이 있는 독자는 부록을 건너뛰고 본문의 차례에 따라 무리 없이 학습할 수 있다. 파이썬 언어 프로그래밍이 처음인 독자는 부록 A1과 A2를 필독한 후 본문의 차례를 따르기를 권한다. 본문 내용을 요약하면 통계분석의 기초, 확률과 확률분포의 기본, 통계적 추정과 가설검정을 다루고 있으며 독자들이 내용을 쉽게 습득하도록 구성하고 있다. 그러므로 대학에서 파이썬에 관심을 두고 통계학을 담당하는 분들에게 이 책이 큰 도움이 되리라고 자신한다.
수년간의 강의를 통하여 배경이론의 내용과 알고리즘의 오류수정을 거쳤지만 미흡한 부분이 나올 수 있다. 이 점은 양해를 바라며, 출간 후 나올 수 있는 수정사항 등은 자유아카데미 홈페이지(www.freeaca.com) 자료실에 제공할 예정이다. 끝으로 본 교재를 통하여 확률 및 통계 이론을 습득하고 관련된 파이썬 프로그램과 패키지를 활용하여 데이터 분석의 기본이 되는 확률통계 역량을 향상하기를 진심으로 바란다.
