公司新闻
行业动态
建站常识
网站优化
星环科技的“颜色日历”
来源:之家网站 | 作者:topcolordl | 发布时间: 1179天前 | 610 次浏览 | 分享到:
屏幕的最左方是“蓝色”框架,是大数据的原始软件栈;屏幕的最右方是“绿色”框架,是现在星环科技的大数据软件栈,两者几乎没有相同之处。屏幕的中间,则是星环科技历年来的“技术日历”,“绿色”逐渐增加,“蓝色”逐渐变少,由“蓝”变“绿”,就代表了星环科技的技术创新史。

1

至今仍未被超越

“至今,仍然未被超越。”2019前沿科技论坛,星环科技CEO孙元浩,至少三次提到了,“领先全球1~2年”。过去六年中的每一阶段,星环科技都奉献了世界级的技术创新。对Spark引擎的改造,解决了海量数据的处理问题,也兼容了不同类型的数据库;推出ArgoDB内存数据库,率先支持全闪存服务器,所有“急性子”的业务不再有焦虑感;全球首提“数据云”概念,展现了企业数据基础设施本应有的顶层设计。


的确,不必先谈什么家国情怀,也不必纠结什么中美经济摩擦下的技术封锁,“星环式”技术创新,已经为中国科技企业,提供了发展蓝本模型,至少在大数据和人工智能领域,至少我们知道如何将人口红利、市场红利,转变为数据红利、技术红利、创新红利。

“星环科技不停在被客户推动,也不停地进行技术突破。”孙元浩的核心观点是:“核心技术突围,不能依靠成本优势,而要重点发展原创性技术。这意味着不仅要用自主研发的技术,代替原有技术,更要做到世界领先的原创新技术代替国外技术。”

2

星环科技由“蓝”变“绿”

“星环”这一名字来源于《三体》,程心逃离地球,飞船的名字也叫“星环”,英文即是Transwarp。显然,星环科技并是不想逃离大数据,但在过去六年中,其撰写了1200万行软件代码,逃离了原始Hadoop框架的束缚。

简练但详细地梳理,星环科技的大数据技术演进路线,也是其“蓝”变“绿”的“颜色日历”。2003年前后,Google连续发表三篇论文,奠定了大数据的框架基础。此后基于理论又形成了Hadoop原始的“3+1”式软件栈:即分布式文件系统HDFS、分布式计算MapReduce、Hbase NoSQL数据库,以及YARN资源调度。

此即是Hadoop平台初期的“纯蓝”软件栈,但“纯蓝”软件栈在中国市场明显水土不服。此时中国企业拥有10TB以上数据,已是司空见惯。而MapReduce引擎看似稳定,但读取和计算海量数据,确实力不从心,等待被执行的文件因此“通宵排队”。

其实,与MapReduce引擎同时出现的,还有Spark引擎。Spark引擎理论最早出现于2009年,初期貌不扬并未收到关注。为何?如果数据散落在100台机器中,MapReduce引擎计算需要20分钟,但以Spark引擎计算,只需要20秒。不过Spark也有一致命弱点,其本质是基于内存计算设计,虽然快但不够稳定,应用运行过程中,经常“爆掉”瘫痪。

3

星环科技的第一块绿色图标

“星环科技创立初期,就全力于Spark引擎的改造,并基于Spark引擎的改造,推出了Inceptor分析型数据库。”至此,星环科技的大数据软件栈中,出现了第一块绿色图标。当时这家公司,几乎将所有的研发资源,都投入在Inceptor数据库的研发中,这也是2014年,星环科技TDH3.0版产品的最大亮点。

至于Inceptor数据库的性能,4年之后业内已有公论。2018年,星环科技通过TPC-DS的测试,该测试体系于2006年被提出,但12年中没有一家企业通过测试。哪怕是Cloudera或者甲骨文,这一对新老大数据企业的“骄傲”,也屡次铩羽而归。

星环科技通过了TPC-DS的测试,而且是在10TB的大数据量环境下测试通过。此后的三个月公示中,也没有受到业内异议。“这标志着星环科技分布式数据库的功能,已经可与传统关系型数据库媲美,也代表分布式数据库已经可以取代传统关系型数据库,进行复杂模块化数据处理。”孙元浩说。

4

Hadoop发行版并没有意义

当然必须说明,星环科技对分布式数据库的创新,还不止于技术。“如果星环科技只是将技术打包,推出Hadoop发行版,并没有太多意思。”星环科技研发总监刘汪根说。


“但如果将Inceptor分析型数据库,准确地定位在企业数据仓库,就能更贴近业务痛点,极大地提升工作效率。”刘汪根说:“例如,抓取财务数据、生产数据、人力资源数据,形成企业经营分析报表。传统数据库并不能有效支撑,而如此复杂的加工过程,通过应用企业数仓,则可快速生成输出结果。”

技术上的完美突破,和准确的市场定位,使星环科技迅速在金融行业站稳了脚跟。至今,星环科技产品已经服务于全国150余家金融机构,因为,以结果为导向的金融客户,找不到比星环科技更好的平台。

5

第二块绿色图标

时间进入2016年,Inceptor分析型数据库已经在市场中颇有名气。而回到技术应用视角。此时,金融用户开始关注实时行情数据,开始关注实时反欺诈、现金贷款服务。同时交通、制造、公共安全等领域,也有类似实时计算的应用场景,例如交通违章抓拍、雪亮工程等。

“其实,星环科技从2014年就已经开始研发,2016年推出了Slipstream流处理引擎。”刘汪根说。Slipstream流处理引擎,就是星环科技的第二块绿色图标,其达到了毫秒级别的低延时,也是世界上第一款可以实现复杂事件处理的模型,具有机器学习等功能。

举例说明,在交通领域的某些应用中,如果使用Spark Streaming或者是Flink所提供的编程接口,需要数天以上才能完成报表展示。而使用Slipstream流处理引擎,只需要几分钟时间。

此即是Slipstream流处理引擎的创新价值。而借助该引擎的技术特点,星环科技的产品应用领域,也已经跳出金融领域,进入交通、公共安全、智慧制造等领域。产品应用也不仅是企业数据仓库,还融入了各类智慧解决方案中。例如,其解决方案内植到交通布控系统,并部署于全国300余个城市。

6

革命性的星环科技TDH5.0

时间继续向后推进,即进入2017年。此年,星环科技举办了第一届前沿科技论坛,孙元浩身着全套宇航服装备亮相会场,宣布完成C轮2.35亿元融资,并推出星环科技TDH5.0版,现在看来,该产品依然具有革命性意义。

应该说,此时云计算应用趋势已经明朗,数据上云已成必然。但在大趋势下,星环科技选择了以“容器和K8S”技术,重构底层的计算模式,并投资研发Resource Orchestration System资源调度系统。该系统则取代了原有框架中的“YARN”,这也是星环科技的第三块“绿色拼图”。而正是基于上述技术更新,即形成星环科技TDH5.0版。

应该说,TDH5.0版是星环科技的一款划时代产品,其推出了革命性的多租户资源管理技术,底层全容器化、微服务化,可以灵活部署于公有云、私有云,或传统IT架构。同时,数据和应用也因此打通。

更重要的是,因为TDH5.0版的推出,星环科技“数据云”的雏形理念已经形成,这对其今后的业务发展,至关重要。也就是说,此时的星环科技已不只是一家大数据企业,其向上生长出了AI能力,推出Sophon通用型人工智能平台;向下延伸推出了容器云平台。

由此,大数据平台可以部署在弹性的物理设施中,应用场景进一步得到扩展。既能为管理决策层服务,也能支撑一线业务部门使用。“数据云”也因此成为企业数字基础设施的顶层设计。而补充一句,在2018年,Cloudera与Hortonworks合并之后,也宣布将推出“数据云”,但至今该承诺并没有得到兑现。

7

又一次未被超越

时间进入2018年,这又出现了一次,孙元浩所说的“至今,仍然未被超越。”其实,在2014年,星环科技已经意识到SSD闪存将成为未来趋势,并开始投入研发ArgoDB内存数据库。原有数据仓库适合非时效性数据处理,今晚提供数据,明早完成加工就算按时完成工作。而ArgoDB则更适合“急性子”的业务需求,极致的性能可以应对任何临时突发需求,适合于数据集市等应用场景。


值得关注,也是在此次2019第三届前沿技术峰会,星环科技正式与于英特尔达成战略合作,此前基于对英特尔闪存产品的优化,ArgoDB性能已经实现了数倍提升。而此次,双方共同成立的技术创新联合实验室。也就是说,此前双方只是在“装修”阶段合作,现在双方在房屋设计、地基建设阶段,就开始软件架构级合作。

当然,更重要的是。在2018年,星环科技准确地判断出未来大数据的五大特征:数据湖、数据仓库、数据集市等数据平台的融合;开发方式的融合;BI与AI的融合;人工智能、大数据、云计算的融合,应用、数据、服务相互促进,并融合成为生态。由此,星环科技率先定义了大数据3.0概念,其“数据云”平台也日臻成熟。

8

最后的绿色拼图

还要回到2018年,星环科技推出了Transwarp Data Cloud新一代智能大数据云平台,这是对其容器云平台的进一步升级。此外,星环科技还研发推出StellarDB图数据库,该产品的应用场景也十分广阔。

其实,图数据库与关系型数据库,属于同一时代产物,但受限于当时的计算能力,并未得到重视。但2016年前后,计算能力已经不是瓶颈,星环科技也在此时投资研发,并在2018年推出StellarDB图数据库。该产品可广泛应用于企业知识图谱、公共刑侦、反洗钱、在线营销等场景,根据人际关系中寻找蛛丝马迹,进行商品推荐,进行行为轨迹重构。

而进入2019年,星环科技又进行了底层技术更新,以自研的存储引擎,更换了HBase数据库和Elastic搜索的原有内置引擎。至此,星环科技通过自研的1200万行软件代码,完成了所有的“绿色拼图”。而2020年,星环科技还将推出自主研发的TDFS文件系统。

9

“技术日历”的背后

上述即是星环科技,由“蓝”变“绿”的所有“技术日历”。看的早、看的准、坚定投,这是技术驱动型公司,本应具有的特质,也是星环科技的创新思路。

Spark引擎、图数据库等,此前这些技术并不被产业看好,但星环科技加以研究,使其成为大数据领域不可忽视的技术分支。同时,当产业都意识到,实时数据处理应为趋势,其实星环科技早在2014年,就已经开始投入研发。当产业开始认知,大数据上云必成趋势时,星环科技也是早在2014年,就开始投入容器云,以及资源调度系统的研发。

这就是星环科技,专注于底层基础软件平台的企业。国内客户确实重应用,轻基础平台,但星环科技是逐步将业务做厚,并形成了以应用驱动、以数据驱动的技术创新路线。云计算、大数据、人工智能,这些概念也确实都是美国人提出,但中国每年产生了世界上最多的数据,也理应产生世界上最多大数据、人工智能创新。

“而星环科技与用户之间,已经形成‘共生关系’。新产品推动新业务、新业务产生新数据、新数据带动新计算。只有产品足够优秀,只有抓住企业核心需求,才能不断提升用户应用效率,才能不断激发星环科技的科技创新。”孙元浩说。