본 내용은 러닝스파크 책에서 긁어옴
Pair RDD
- Spark는 key/value 쌍을 가지는 RDD에 의해 특수한 연산을 제공. 이 RDD를 Pair RDD라 부름
- Pair RDD들은 각 key에 대해 병렬로 처리하거나 Re Grouping할 때 유용
Pair RDD Transformation
- {(1,2),(3,4),(3,6)}
두 Pair RDD Transformation
- rdd1: (1,2),(3,4),(3,6)} rdd2: {(3,9)}
Pair RDD Actions
- {(1,2),(3,4),(3,6)}
반응형
'기타 > 분산 컴퓨팅' 카테고리의 다른 글
Spark Data 불러오기/저장하기 (0) | 2017.04.07 |
---|---|
SparkContext, Reduce/Group By Key (0) | 2017.04.07 |
Spark RDD 개념 및 예제 (0) | 2017.04.07 |
Apache Spark 설치 (0) | 2017.04.07 |
Apache Spark란 무엇인가? (0) | 2017.04.07 |