框架|上海交通大学过敏意：面向城市治理的图智能分析框架( 二 )

时间：2021-11-22 14:38 傻大方

按关键词阅读：

【 框架|上海交通大学过敏意：面向城市治理的图智能分析框架】

文章插图

（3）医疗健康服务。生命健康基因图谱的分析，也是图的重构、图的迭代、图的分析。还有人脑网络的功能区域分析，现在脑电采集实际上都可以从图的结构里面反映出来，所以有大量的个性化的图的分析。
框架|上海交通大学过敏意：面向城市治理的图智能分析框架

文章插图

（4）交通出行指导。道路出行中最短路径算法本身就是一个图问题。但是增加了手机数据、路网数据及工具监控数据等，那么这些图就变得越来越复杂。还有充电智能调度，现在我们新能源的车越来越多，新能源的充电桩以及充电桩的位置等都是图的查询和分析问题。

文章插图

（5）城市大脑运维。城市大脑的基础设施有云计算、大数据、大数据平台。这一平台现在用到了云原生的技术，云原生的技术就要用到微服务。微服务里面就有很多调度的问题，实际上微服务本身的联结就是一张图结构。要提升系统性能，就要进行图的分析和精细化查询。还有硬件资源管理，捕捉资源瓶颈，用户动态图的系统变化等，这些都是图的结构、分解和图的综合等，实际上都可以归纳到图的特征的问题。

因此目前对图的分析和图的管理越来越迫切，现在我们国家以及世界上很多科研机构公司等都研发了一些面向图计算的工具，但还是遇到了问题。

应对挑战的城市大数据协同计算框架

面对大规模结构化的城市治理任务，现有大数据计算平台存在收敛慢、吞吐低问题，影响城市治理决策。

（1）收敛慢：传统大数据框架如Spark/MapReduce不适应图的不规则访问模式。

文章插图

开发环境未针对图应用定制化设计，难以高效优质地进行执行阶段划分
我们以前“十三五”期间做的事情，基本上都是用的传统spark、MapReduce等大数据框架来做的，但是这些问题如果要弄到图里面预处理，比如说图要进行预置、分拆等等，用传统框架就不适用了，它会非常慢，要循环往复来做。
（2）吞吐低：现有主流图计算框架如PowerGraph/Ligra不支持高并发请求。
框架|上海交通大学过敏意：面向城市治理的图智能分析框架

文章插图

上述框架大都忽略了多用户请求执行共存的问题
现有主流图计算框架如PowerGraph/Ligra等框架都是单机、单用户的图计算结构，虽然克服了spark、Mapreduce等的缺点，它可以图分析、图分解、图查询等，但是如果面向城市治理这些就不适用了，因为城市治理是高并发的。也就是说这些框架对高并发的图的问题，都不太适用，所以就会遇到吞吐根本做不了城市大脑支撑的问题。
要解决上述问题就要做城市大数据协同计算框架。图计算将成为未来城市大数据协同计算框架中的关键一环，能够支撑大规模高并发场景的图智能分析尤其重要。

文章插图

城市大数据协同计算框架
我们以前做了很多Mapreduce、PowerGraph的处理，但是还缺乏图请求调度、图结构分析、图数据分割、图查询、图生成等面向图计算的工具。所以我们就一定要把这些工具给数据融合、数据感知开发出来。如果没有图分析、图查询、图管理、图结构分析等，是没有办法支撑整个城市大数据协同平台的。所以我们要在有限的资源下，处理高并发多元图数据分析的请求，对单用户的图计算框架实行高并发多用户的图计算框架的转变。
那么如何高效执行不同用户提交的多元化图计算请求呢？

并发图计算的复杂性及其瓶颈

并发图计算可以在有限资源下高效并发处理多元化图分析请求，或将成为新一代云计算中最主要的一类智能服务。它的三个核心步骤是并发图程序构建、并发图数据加载、并发图执行调度。