搜索歷史

熱搜詞

原創(chuàng)

活動(dòng)

創(chuàng)新2.0

I T

產(chǎn)業(yè)

當(dāng)前位置：首頁 >互聯(lián)網(wǎng)?IT > 大數(shù)據(jù) > 大數(shù)據(jù)分析 > 正文

TDH4.2實(shí)現(xiàn)分布式事務(wù)處理新突破,國產(chǎn)大數(shù)據(jù)平臺(tái)大幅領(lǐng)先

來源：企業(yè)網(wǎng) ：佚名 2015-10-13 15:03:30

近日，星環(huán)科技的Transwarp Data Hub大數(shù)據(jù)平臺(tái)再次更新。

近日，星環(huán)科技的Transwarp Data Hub大數(shù)據(jù)平臺(tái)再次更新。最新發(fā)布的TDH 4.2，基于過去的產(chǎn)品作了全面的改進(jìn)，其性能在業(yè)內(nèi)已處于國際領(lǐng)先地位。尤其是對(duì)SQL的支持上，它實(shí)現(xiàn)了99%的SQL 2003支持，唯一支持PL/SQL的引擎(98%)，唯一支持ACID分布式事務(wù)的SQL引擎;第一個(gè)支持SSD的基于Hadoop的高效計(jì)算引擎;支持多種主流報(bào)表工具和ETL工具，定位數(shù)據(jù)倉庫和數(shù)據(jù)集市市場(chǎng)，可用于補(bǔ)充或替代Oracle、DB2等分析用數(shù)據(jù)庫。支持索引、全文檢索，支持圖數(shù)據(jù)庫和圖算法，支持非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)等。同時(shí)，支持最多的分布式統(tǒng)計(jì)算法和機(jī)器學(xué)習(xí)算法，同時(shí)整合超過5000個(gè)R語言算法包，適合金融業(yè)風(fēng)險(xiǎn)控制、反欺詐、文本分析、精準(zhǔn)營銷等應(yīng)用。TDH的產(chǎn)品架構(gòu)圖如下:

Transwarp Discover

TDH 4.2 推出了全新的數(shù)據(jù)挖掘產(chǎn)品Discover，整合了R語言運(yùn)行環(huán)境、RStudio圖形化開發(fā)環(huán)境，包括了55種新開發(fā)的分布式機(jī)器學(xué)習(xí)算法以及R語言原生的數(shù)千個(gè)算法包，為用戶提供了全面的數(shù)據(jù)分析和挖掘工具。Discover可以和Inceptor無縫連接，采用R語言原生的Data Frame接口和函數(shù)進(jìn)行SQL操作。此外Discover支持基于LDAP和Kerberos的安全認(rèn)證機(jī)制以及訪問控制，保證了數(shù)據(jù)的安全性。

Transwarp Inceptor 4.2

Inceptor 4.2在分布式事務(wù)處理上取得新突破，可以滿足數(shù)據(jù)倉庫和數(shù)據(jù)集市市場(chǎng)上的數(shù)據(jù)一致性和高可用性要求。Inceptor 4.2支持串行化和可串行化的快照隔離兩種數(shù)據(jù)隔離方式，支持容錯(cuò)機(jī)制保證系統(tǒng)高可用性。

Inceptor 4.2增強(qiáng)了數(shù)據(jù)增刪改方面的功能，增加了對(duì)分區(qū)表的事務(wù)支持，加強(qiáng)了復(fù)雜的CRUD與Merge Into的語法支持，并優(yōu)化了事務(wù)表的統(tǒng)計(jì)性能。

在PL/SQL的支持上，Inceptor 4.2完善了更多功能來幫助開發(fā)人員提高開發(fā)效率，包括支持函數(shù)重載，任務(wù)的顯示與關(guān)閉，精確的報(bào)錯(cuò)信息等，并解決了高并發(fā)情況下的一些問題。

在可用性方面，Inceptor 4.2增加了對(duì)Parquet文件的支持，并解決了Metastore的高可用性問題。此外，Inceptor 4.2支持通過SQL設(shè)定多租戶的硬盤、內(nèi)存和CPU等資源的配額，支持LDAP & Kerberos 集成認(rèn)證等，確保數(shù)據(jù)的安全和平臺(tái)的可管理性。

Transwarp Stream 4.2

Transwarp Stream在系統(tǒng)高可用性上做了更多的增強(qiáng)。Stream 4.2 新開發(fā)了Lazy Receiver進(jìn)行流控，防止一直讀數(shù)據(jù)導(dǎo)致任務(wù)崩潰后，出現(xiàn)大批數(shù)據(jù)丟失的情況;也支持流任務(wù)在發(fā)生失敗后自動(dòng)重啟。此外，Stream 4.2正式增加了WAL (Write-ahead Log)功能，保證系統(tǒng)的高可用性。

TDH 4.2 提供了更多的組件和服務(wù)，包括可視化的交互工具HUE，數(shù)據(jù)裝載工具Sqoop2，任務(wù)調(diào)度工具 Oozie 4.2，以及Hyperbase數(shù)據(jù)加載工具SQL Bulkload等。此外，全部組件都支持Kerberos & LDAP安全控制，保證所有組件的任務(wù)和數(shù)據(jù)安全。

為了更生態(tài)圈更好的對(duì)接，Inceptor 4.2發(fā)布了Linux版本ODBC，并且所有版本的JDBC/ODBC都支持基于Kerberos或LDAP的安全控制。此外，TDH 4.2加強(qiáng)了跟業(yè)界的整合，已經(jīng)原生支持ETL工具DataStage 11.3等工具。

星環(huán)科技是目前國內(nèi)極少數(shù)掌握大數(shù)據(jù)核心技術(shù)的高科技公司，專注于企業(yè)級(jí)大數(shù)據(jù)核心平臺(tái)數(shù)據(jù)庫軟件的研發(fā)與服務(wù)。公司產(chǎn)品Transwarp Data Hub (TDH)以其業(yè)界最完整的SQL on Hadoop支持; 獨(dú)特的對(duì)分布式ACID數(shù)據(jù)一致性支持;以及對(duì)SSD優(yōu)化提高集群性價(jià)比等特點(diǎn)，比肩硅谷同行。產(chǎn)品的功能和性能在業(yè)界處于領(lǐng)先水平。在全球去IOE的大背景下，TDH已成為在數(shù)據(jù)倉庫，數(shù)據(jù)集市等領(lǐng)域替代傳統(tǒng)數(shù)據(jù)庫公認(rèn)的大數(shù)據(jù)產(chǎn)品。

編輯：景堯婷

關(guān)鍵字：大數(shù)據(jù)