Hadoop spark 썸네일형 리스트형 [Hadoop] Spark 소개, 특징, 이해하기 1. Spark 소개 Apache Spark은 오픈소스 컴퓨팅 시스템으로 데이터 분석을 빠르게 하는 것을 목표로 한다. 프로그램을 빠르게 실행시키기 위해서 Spark는 RDD data abstraction을 기반으로 한 실행 모델로 임의의 긴 수식 그래프를 최적화하는데 도움을 주거나, in-memory 컴퓨팅을 지원한다. 이것은 디스크 기반 엔진들보다 쿼리를 빠르게 한다. 2. Spark 특징 In-memory 분산 데이터 분석 in-memory computing : 운영을 위한 데이터를 하드디스크가 아닌 메인 메모리에 올려 실행하는 것 목표는 job의 실행속도를 빠르게 하는 것이다. 예시 : 일괄처리(Batches), Machine Learning, Interactive query 기존 MapReduc.. 더보기 이전 1 다음