微信邦

 找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

掃一掃,訪問微社區

返回列表 發新帖
查看: 2279|回復: 0
打印 上一主題 下一主題

首屆Apache Hadoop技術社區中國Meetup在京舉辦(內附完整PPT)

[復制鏈接]
跳轉到指定樓層
樓主
發表于 2019-8-16 17:17:03 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式
生活圈制作

近日,在Apache Hadoop社區主導及邀請下,騰訊開源、騰訊大數據、騰訊云聯合承辦了Hadoop技術社區在中國的首次Meetup。圍繞Hadoop技術實踐,來自騰訊、Cloudera、京東、小米、阿里、滴滴、華為、字節跳動的多位嘉賓參與了分享討論。

騰訊開源運營負責人王春雨表示:“中國企業的參與是開源生態建設不可或缺的一部分。騰訊作為國內開源的先行者,將持續投入社區協同合作,以開放的心態,推動更多開源社區之間的交流對話,助力技術生態發展。”

Hadoop是由Apache基金會所開發的分布式系統基礎架構。自2006年誕生以來,Hadoop改變了企業對數據的存儲、處理和分析的過程,形成了一個極其豐富的技術生態圈,并在經歷了大數據技術高速發展之后,迎來了3.x的時代。

作為Apache Member, HadoopPMC & Committer, Hadoop社區負責人之一,堵俊平于2011年開始持續關注Hadoop技術的進展,參與社區貢獻,并積極推動 Hadoop技術在全球各地的落地推廣。他同時也是騰訊TEG數據平臺部海量存儲與計算研發負責人、騰訊開源聯盟主席、開源管理委員會委員。據介紹,騰訊是最早采用Hadoop技術的中國公司之一,這兩年向社區貢獻了大量patch和特性,包括HDFS穩定性增強、YARN增強型資源隔離方案、Ozone項目的新特性等,并作為國內首家企業率先在社區發布2.8.4與2.8.5 release。

堵俊平展示了大數據Hadoop技術與社區發展的Roadmap。包括存儲平臺(HDFS,Ozone)向大規模、云、容器化、機器學習等方向的演進路線以及近期的熱點feature,包括RBF(Router Based Federation),即基于路由機制的集群聯邦方案來應對海量數據存儲的增長,HDFS對外部對象存儲的管理,OpenTracing機制的支持,以及Ozone的特性。據悉,Hadoop項目的近期發布計劃將包括2.8.6, 3.1.3,3.2.1和3.3.0。

堵俊平表示,此次Meetup將是Hadoop社區交流的良好開端,騰訊將積極參與社區交流,貢獻自己的技術實踐,推動Hadoop技術生態發展。未來Apache Hadoop社區在中國的Meetup將沿用之前在硅谷的方式,即:由Hadoop PMC組織發起,志愿參與社區貢獻的公司來自愿承辦,開源貢獻者共同參與并提交議題,活動向開源社區所有用戶與貢獻者免費開放。未來,Hadoop社區將在中國形成每季度舉辦一次中小型的Meetup的慣例,甚至開創新的形式,包括舉辦較大規模的HadoopCon。

騰訊大數據工程師、Apache Hadoop Committer & PMC member陳怡以Ozone為例,介紹了Hadoop原生對象存儲服務的解決方案。


Ozone是由Hadoop社區新發起的一個強一致性分布式對象存儲服務,旨在解決目前HDFS Namenode的擴展性上限問題。Ozone 擁有和HDFS一樣的可靠性,一致性和可用性,支持Hadoop文件系統接口,無縫對接YARN,SPARK 和HIVE。支持S3接口,提供CNCF CSI驅動。Ozone不僅適用于on-premise大數據環境,同時也是大數據上云,云端存儲的一個很好的選擇。

陳怡在分享中介紹了Ozone的動機和目標,namespace管理和數據管理分離的構架,支持的對象存儲的語義,對象讀寫流程,訪問控制,用戶可自定義的彈性網絡拓撲結構,和Kubernetes集成的支持等等將要發布的0.5版本的新特性。

騰訊高級工程師、Hadoop YARN和Kubernetes社區活躍貢獻者龔軍、陳東東則介紹了騰訊大規模YARN集群實踐。騰訊的Hadoop YARN集群在2014年就已經支持單集群8800臺上的規模,每日調度上億的container。龔軍分享了優化調度器性能的一些基本思路和方法,包括改進熱點代碼的算法、降低時間復雜度、避免重復的查找與計算、減少鎖競爭以及優化鎖粒度等。通過這些調度性能優化,使YARN能滿足大規模集群的吞吐量。


陳東東則主要介紹了如何使用cgroup對底層資源進行彈性控制,確保業務的請求資源可以得到保障,特別是對多資源緯度的管理,包括cpu、內存、網絡io、磁盤io等,同時在有空閑資源的情況下,可以臨時借用更多的資源,以此來提高底層資源利用率。


此外,Cloudera、京東、小米、阿里、滴滴、華為、字節跳動的多位嘉賓也參與了分享,分別圍繞Hadoop在各大企業的大規模實踐、HDFS的改進優化,YARN與機器學習和云原生結合,以及架構演進等話題進行了討論。


掃碼關注“騰訊技術工程”公眾號,回復“PPT”即可領取嘉賓的演講PPT。如果你還想了解更多,請點擊底部“閱讀原文”或者掃描下方二維碼查看現場直播回放。

分享到:  QQ好友和群QQ好友和群 QQ空間QQ空間 騰訊微博騰訊微博 騰訊朋友騰訊朋友 微信微信
收藏收藏
回復

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

微信邦網聯系QQ|Archiver|手機版|小黑屋|魯公網安備 37082802000167號|微信邦 ( 魯ICP備19043418號-5

GMT+8, 2019-11-8 22:35 , Processed in 0.211063 second(s), 23 queries .

Powered by Discuz! X3.2

© 2001-2013 Wxuse Inc. | Style by ytl QQ:1400069288

快速回復 返回頂部 返回列表
赛马会图标