目前Spark Application处理的数据量和性能

目前Spark Application处理的数据量和性能

今年最值得开心的事情,就是Spark Application在客户局点跑的效果。虽然里面涉及的算法由于涉密所以不能透露,但是性能杠杠的还是值得高兴一下的。

每秒钟的数据量大概为40万~80万条。

实时Spark Application的性能(开5分钟的时间窗口):

5分钟内可以处理完,没有延迟和堆积。

离线Spark Application的性能(一天跑一次,一次处理前一天的数据):

大概4.5个小时处理完毕,一天的数据量为几百亿级别,输入数据大小为2.1TB左右:

可以这么刚,我还是非常欣慰的。

相关内容

Windows XP屏幕亮度调节全攻略:告别暗淡,享受舒适视界
英雄战境所有英雄大全,多维度对比人物实力排名
仙气超甜的可爱女生网名(500个)
365bet赌城投注

仙气超甜的可爱女生网名(500个)

07-05 ☯ 149