摘要:本文摘自書籍《Flink基礎教程》 一、一致性的三種級別 當在分布式系統中引入狀態時,自然也引入了一致性問題。一致性實際上是“正確性級別”的另一種說法,即在成功處理故障并恢復之后得到的結果,與沒有發生任何故障時得到的結果相比。在流處理中,一致性分為 3 個級別。 at-most-once:數據最多被 閱讀全文
posted @ 2020-05-06 20:55 有潔癖的碼農 閱讀 (26) 評論 (0) 編輯
摘要:要在集群上的Spark Streaming應用程序中獲得最佳性能,需要進行一些調整。調整主要考慮兩個方面: 通過有效地使用群集資源來減少每批數據的處理時間。 Spark可以進行許多優化,以最大程度地減少每批的處理時間。因為Spark streaming的DStream其實就是一組RDD的集合,所以對 閱讀全文
posted @ 2020-05-05 21:13 有潔癖的碼農 閱讀 (6) 評論 (0) 編輯
摘要:參考鏈接:http://spark.apache.org/docs/latest/streaming-programming-guide.html 一、Spark Streaming 介紹 Spark Streaming是核心Spark API的擴展,可實現實時數據流的可伸縮,高吞吐量,容錯流處理。 閱讀全文
posted @ 2020-05-05 15:32 有潔癖的碼農 閱讀 (10) 評論 (0) 編輯
摘要:官網說明:http://spark.apache.org/docs/2.1.1/tuning.html#data-serialization 一、JVM調優 1.1、Java虛擬機垃圾回收調優的背景 如果在持久化RDD的時候,持久化了大量的數據,那么Java虛擬機的垃圾回收就可能成為一個性能瓶頸。因 閱讀全文
posted @ 2020-05-04 23:03 有潔癖的碼農 閱讀 (19) 評論 (0) 編輯
摘要:梳理一下Spark中關于并發度涉及的幾個概念: 輸入可能以多個文件的形式存儲在HDFS上,每個File都包含了很多塊,稱為Block。當Spark讀取這些文件作為輸入時,會根據具體數據格式對應的InputFormat進行解析,一般是將若干個Block合并成一個輸入分片,稱為InputSplit,注意 閱讀全文
posted @ 2020-05-04 17:14 有潔癖的碼農 閱讀 (11) 評論 (1) 編輯
摘要:一、共性 1.1、RDD 從一開始 RDD 就是 Spark 提供的面向用戶的主要 API。從根本上來說,一個 RDD 就是你的數據的一個不可變的分布式元素集合,在集群中跨節點分布,可以通過若干提供了轉換和處理的底層 API 進行并行處理。關于RDD的詳細介紹可以參考這篇文章:https://www 閱讀全文
posted @ 2020-05-04 16:46 有潔癖的碼農 閱讀 (6) 評論 (0) 編輯
摘要:一、spark的序列化 1.1、官網解釋 http://spark.apache.org/docs/2.1.1/tuning.html#data-serialization 序列化在任何分布式應用程序的性能中起著重要作用。將對象序列化或消耗大量字節的速度慢的格式將大大減慢計算速度。通常,這將是您應該 閱讀全文
posted @ 2020-05-03 00:40 有潔癖的碼農 閱讀 (10) 評論 (0) 編輯
摘要:一、RDD(彈性分布式數據集) RDD 是 Spark 最核心的數據結構,RDD(Resilient Distributed Dataset)全稱為彈性分布式數據集,是 Spark 對數據的核心抽象,也是最關鍵的抽象,它實質上是一組分布式的 JVM 不可變對象集合,不可變決定了它是只讀的,所以 RD 閱讀全文
posted @ 2020-05-02 13:19 有潔癖的碼農 閱讀 (127) 評論 (0) 編輯
摘要:代碼地址:https://gitee.com/xiexiandong/abc_bigdata.git 1、理解State(狀態) 1.1、State 對象的狀態 Flink中的狀態:一般指一個具體的task/operator某時刻在內存中的狀態(例如某屬性的值) 注意:State和Checkpoin 閱讀全文
posted @ 2020-04-29 16:57 有潔癖的碼農 閱讀 (103) 評論 (0) 編輯
摘要:一、概述 上圖是flink的分層模型,Table API 和 SQL 處于最頂端,是 Flink 提供的高級 API 操作。Flink SQL 是 Flink 實時計算為簡化計算模型,降低用戶使用實時計算門檻而設計的一套符合標準 SQL 語義的開發語言。 Flink 在編程模型上提供了 DataSt 閱讀全文
posted @ 2020-04-28 21:32 有潔癖的碼農 閱讀 (21) 評論 (0) 編輯
全民捕鱼游戏怎么玩