IBM新增 Apache Spark支援

分類: PC零組件 新品報導   4/6/2016   IBM


IBM最新z/OS平台可支援Apache Spark,方便企業更簡便、更快速地取用及分析IBM z Systems大型主機內的資料,為資料科學家與開發商創造新契機,結合先進分析技術與系統內豐富資料,擁有即時分析能力。

IBM z/OS 平台可支援Apache Spark,使開源分析架構Spark可自然地在z/OS大型主機作業系統內運作。此新平台現已上市,幫助資料科學家在系統源頭分析資料,不需擷取、轉換與載入(ETL),打破分析資料庫與底層檔案系統的連結。


[廣告]

在認知時代中,資料是新的天然資源,電腦系統能夠瞭解、歸納並學習這些資料,企業則必須在洞見價值尚未消失前,及時地開發與利用。該平台包含z Systems事業夥伴開發的加速器,讓組織能更輕易的利用z Systems資料與性能,以瞭解市場變遷及滿足個別客戶需求,並即時調整業務,縮短創造價值所需的時間。

全球多家大型銀行、保險業者、零售商及運輸公司均已使用z Systems處理重要資料及交易,其中內含業界最快速的商業微處理器,能在交易中執行分析工作,並在兩毫秒內計算交易的預測模型。各組織如今可運用這些功能,透過Spark運用先進的內存記憶體分析,無需將資料移到大型主機外,如此可節省時間與金錢,也降低潛在風險。

IBM新興網路技術研究員Rod Smith指出,「企業不論規模大小,都逐漸轉型為即時數位組織,企業必須掌握內部所有資料的全貌,但不能耗費過多時間或提高ETL風險。透過Apache Spark可於z Systems等IBM平台內自然運作,客戶能在存有重要資料的交易系統內完成分析,同時從其他資料來源挖掘相關資訊,實踐與客戶即時互動、創造營收」。

支援Apache Spark的IBM z/OS平台內含Spark的開源功能,包括Apache Spark核心、Spark SQL、Spark Streaming、機器學習資料庫(MLlib)與Graphx,搭配業界中唯一大型主機內建Spark資料提煉解決方案。全新IBM z/OS平台協助企業提升汲取洞見的效能與安全性,特色包括:
• 簡化開發-開發者與資料科學家能運用本身既有的專業及程式語言,如Scala、Python、R及SQL,縮短評估可行作為所需的時間。
• 簡化資料存取-優化資料抽象化服務後能降低複雜度,並透過Apache Spark APIs的常見工具,以IMS、VSAM、DB2 z/OS、PDSE或SMF等傳統格式,流暢存取企業資料。
• 就地化資料分析-Apache Spark使用內存記憶體的方式處理資料,以加速傳送結果。該平台包含資料提煉與整合服務,協助z/OS分析應用程式並善用標準Spark APIs,如此可讓組織恰當準確地分析資料,免除與ETL有關的高成本處理及安全考量。
• 開放源碼功能-本平台提供Apache Spark開源碼、專為海量資料設計的內存記憶體處理引擎。

IBM也與DataFactZ、Rocket Software及Zementis三家夥伴合作,使用支援Apache Spark的 IBM z/OS 平台建立客製化解決方案:
• DataFactZ為IBM的新合作夥伴,共同以Spark SQL及MLlib為基礎,開發Spark分析工具,處理大型主機內的資料與交易。
• Rocket Software為IBM長期合作夥伴,合作項目包括z/OS Apache Spark,例如客戶在最新的Rocket Launchpad解決方案內,可使用z/OS上的資料試用該平台。
• Zementis在自有z/OS交易內預測分析工具中,搭配Apache Spark標準執行引擎,這項解決方案協助用戶建置與執行先進的預測模型,估算終端用戶的需求、計算風險,並在最大衝擊時即時偵測錯誤,同時處理交易內容。

最新支援Apache Spark的z/OS 平台與夥伴解決方案結合後,可協助在不同來源中收集資料的資料科學家及數據整理專業人員,使用偏好的格式及工具,從各方蒐集與分析資料。

IBM去年投入一項Spark計畫,由逾3,500名內部研究與開發者參與框架架構相關專案,為繼續推動大型主機開源分析技術,z Systems已成立GitHub組織,讓開發者彼此合作並打造z/OS上的Spark工具,例如結合Project Jupyter 與各種 NoSQL資料庫之後,可打造兼具彈性與延展性的資料處理及分析解決方案。

這項計畫讓開發者可自選工具及程式語言,促進現代開源工具更加普及化,並提供新視覺輔助工具,可在分散資料環境內監控分析結果,促進現代資料處理技術與技能。


相關文章:

IBM 發布單框設計為雲就緒大型主機  [4/12/2018]
IBM 推出「認知物聯網」結合 IoT 與 Watson 認知運算技術  [6/21/2016]
IBM 推出全 Linux 大型主機  [8/21/2015]
[「擇法善思林之蘭室藏津」的緣起]
《影后》金鐘入圍恐網內互打?曾莞婷對上楊貴媚、鍾欣凌驚吐現狀
京華城案勘驗偵訊錄影 為「檢察官台語訊問」檢、辯吵起來
搶亞洲資產管理中心大餅 勤業眾信成立「亞資創新服務中心」
出席APPU開幕 賴清德:台灣未來將結合美日澳與邦交國合作
「蔣」不聽!北市民抗議突襲拆公館圓環 苗博雅:天兵政策
李俊昊AAA倒數!今現身台北吸300人朝聖 曾敬驊也被迷倒了
嘉縣中埔如親托嬰中心暨親子館近完工 預計年底前啟用
高市刑大大隊長鄢志豪追緝槍手累倒 仍在病房指揮辦案
第5屆航港大數據創意應用競賽 報名隊伍增近1倍創新高
瓦斯表籍登載錯誤8年 用戶遭追繳1.9萬 竹瓦致歉將協商補繳費用
北市府引進「中國機器狗」還扯美國製 綠議員要求停止測試計畫
滿頭白髮移送畫面曝!涉收賄、詐領助理費829萬 陳歐珀起訴求刑24年2月
高美濕地遊客中心整修一延再延 網美露營區荒廢一整年
醫師打卡惹議 衛福部:加班免稅須設條件與計算 未要求打卡
深化國際運動觀光合作 南韓體育參訪團赴台南考察
[擇法善思林之蘭室藏津]