当前位置 博文首页 > 文章内容

    云计算的可信新边界:边缘计算与协同未来——【两万五千字长文】

    作者: 栏目:未分类 时间:2020-08-18 14:01:20

    本站于2023年9月4日。收到“大连君*****咨询有限公司”通知
    说我们IIS7站长博客,有一篇博文用了他们的图片。
    要求我们给他们一张图片6000元。要不然法院告我们

    为避免不必要的麻烦,IIS7站长博客,全站内容图片下架、并积极应诉
    博文内容全部不再显示,请需要相关资讯的站长朋友到必应搜索。谢谢!

    另祝:版权碰瓷诈骗团伙,早日弃暗投明。

    相关新闻:借版权之名、行诈骗之实,周某因犯诈骗罪被判处有期徒刑十一年六个月

    叹!百花齐放的时代,渐行渐远!



    摘要:伴随云计算的飞速发展,边缘计算将迎来爆发式的增长 …

    微服务架构的设计思想是把每个核心的能力设计得更加内聚、更加独立、可以很小的依赖系统环境,可以分散在各个机器、部署到容器,可以灵活的编排和管理。技术的演进,系统架构的演变支撑了边缘计算技术的诞生、落地和应用的可能。

    物联网和人工智能逐渐的发展,物已不再单纯是一个物,可以联网,可以数据流动,而不再固化、静态。物与人,人与物,数据的流动、分析可更好的反馈于物、服务于人、反馈于环境,安全、有效、低时延的智能分析服务需要边缘计算来支撑。

    通讯技术的发展,5G的时代是万物互联、人、环境、虚拟和现实之间的场景,是客户端节点接入数量和接入带宽翻十倍、百倍甚至更多的场景,是海量数据由边缘产生的场景。据IDC预测,到2025年全球联接总数达到1000亿,联接的背后会是数据的爆炸,集中式处理模型下核心网无法承载这么大数据的网络传输,数据也无法在云中心存储计算,需要更快速、近距离的在网络边缘分析、处理与存储,边缘计算市场规模将达数十万亿元。

    在现今的云市场,云计算的巨头依托先发优势大力发展边缘计算,将云计算技术下沉到边缘侧,下沉的云计算不一定非要由云服务商来提供,大型IT服务商都可独立开发边缘框架,只要能够连接云服务,谁都可以提供给边缘服务。工业企业依托丰富的工业场景,也在开展边缘计算的实践;电信运营商为迎接5G的市场机遇,全面部署边缘节点,为布局5G基础设施打好基础。

    伴随云计算的飞速发展,边缘计算将迎来爆发式的增长 …

    边缘计算【Edge Computing】

    先看个例子了解下边缘计算的特征,章鱼

    是地球上最魔性的动物,也是非脊椎动物中最聪明的生物类群之一,拥有巨量的神经元,60%分布在章鱼的八条腿上,仅有40%在大脑,因此它的触角有独立思考能力且反应敏捷,在捕猎时异常灵巧迅速,腕足之间配合极好,从不会缠绕打结,形成类似分布式计算的“多个小脑+一个大脑”组合。

    边缘计算就好比章鱼的触角,类属于一种分布式计算,从云端下沉到端口附近,也是计算的下沉,在靠近物和数据源头的一侧就地分析处理,融合网络、计算、存储、应用的分布式开放平台。提供最近端服务,更快服务响应,满足在实时、智能、安全与隐私保护等方面的基本需求。

    维基百科中,边缘计算被定义为一种分散式运算架构,即将应用程序、数据资料与服务的运算,由网络中心节点移往网络逻辑上的边缘节点来处理,将原本完全由中心节点处理的大型服务加以分解,切割成更小与更容易管理的部分,分散到边缘节点去处理。边缘结点指的是在数据产生源头和云中心之间任一具有计算资源和网络资源的结点。比如手机就是人与云中心之间的边缘结点,网关是智能家居和云中心之间的边缘结点。

    边缘计算架构层次上分为终端设备、边缘、云端三层,各层之间可以进行层间和跨层通讯。

    终端层由各种设备组成,主要完成收集原始数据并上报的功能,以事件源的形式作为应用服务的输入。边缘计算层由网络边缘节点构成,广泛分布在终端设备与计算中心之间,边缘节点的计算和存储资源是差别很大的,且边缘节点的资源动态变化,边缘计算层通过合理部署和调配网络边缘侧的计算和存储能力,实现基础服务响应。云计算仍是最强大的数据处理中心,边缘计算层的上报数据将在云计算中心进行永久性存储,边缘计算层无法处理的分析任务和综合全局信息的处理任务也仍然需要在云计算中心完成。

    亚马逊开创了边缘计算的先河,推出了AWS Greengrass功能软件;微软发布了Azure IoT Edge边缘侧产品,将云分析扩展到边缘设备,支持离线使用,同时聚焦边缘的人工智能应用;谷歌推出硬件芯片Edge TPU和软件堆栈Cloud IoT Edge,可将数据处理和机器学习功能扩展到边缘设备,使设备能对来自其传感器的数据进行实时操作,并在本地进行结果预测。

    国内阿里推出了Link IoT Edge平台,通过定义物理模型连接不同协议、不同数据格式的设备,提供安全可靠、低延时、低成本、易扩展的本地计算服务;华为推出了IEF平台,通过将云上应用延伸到边缘的能力,联动边缘和云端的数据,提供完整的边缘和云协同的一体化服务的边缘计算解决方案。在制造业,海尔、树根互联等依托丰富的工业场景,推出了各自的云边协同平台,帮助用户快速构建工业互联网应用,实现各类工业设备的快速接入…

    边缘计算具备六大特征:低延时、自组织、可定义、可调度、高安全、标准开放。

    边缘计算 Vs 云计算服务

    云计算是人和计算设备的互动,而边缘计算则属于设备与设备之间的互动,最后再间接服务于人。边缘计算可处理大量的即时数据,而云计算最后可以访问这些即时数据的历史或者处理结果并做汇总分析 …

    云计算的聚合服务模式

    云计算服务是一种集中式服务,所有数据通过网络传输到云计算中心进行加工处理。资源的高度集中与整合使得云计算具备高通用性,可集中式解决计算和存储问题。在万物互联背景下,网络边缘的设备数量和产生的数据呈爆发式增长,其聚合性服务模式无法高效、即时处理边缘侧数据,显示了此种模式的不足与场景适应性问题。

     实时性问题: 在需要精确到毫秒级的响应场景,时效性的延迟可能带来不可预知后果。处理速度受制于网络带宽、中心计算能力、总计算任务量等多因素,请求至响应的链路累计时延可能造成无法接受的处理时延。

     带宽制约与不足:将大量边缘侧数据传送至云中心,产生巨大的网络带宽压力。

     资源开销、能耗过大: 传输的开销,数据中心处理的任务、存储的大幅增长,造成极多能源消耗,成为限制云计算中心发展的瓶颈。

     数据安全和隐私:数据与用户生活密切相关,智能终端设备如室内智能摄像头,将数据传输到云端容易导致数据丢失或信息泄露等风险。

    边缘计算的不同之处

    1) 由于部署的边缘站点更靠近终端用户,传输更安全,数据处理更即时,有效改善了高延迟和连接不稳定的问题;

    2) 可实现边缘站点的大量扩展,将部署的边缘设备分布在相比于传统大型数据中心而言更多的、不同的位置,有更多的节点来负载流量,使得数据传输速度更快。同时更分散的节点所产生的影响更小,解决了设备散热问题;

    3) 边缘计算可能需要使用专门的硬件,比如用于AR/VR功能的GPU/FPGA平台;

    4) 掌握边缘站点的具体位置及识别访问链接在何处终止十分重要,一个需要靠近用户进行运行的应用需要在正确的边缘部位方可正常运行;

    5) 边缘计算架构中,整个应用池可被认为是动态的。由于其物理分离属性,某些情况下,边缘站点将通过广域网进行相互连接和核心连接,随着时间加入或断开;

    6) 边缘站点是远程且无人操作,需要有对站点进行间歇性网络访问的相应工具来实现远程管理;

    7) 边缘站点支持从大至数据中心,小至单个设备的不同站点数量和规模;

    8) 边缘站点可能受空间或电源要求等的资源限制,或向现有站点添加容量时也可能受到限制;

    9) 一些用例需要大规模的多租户

    10) 减小了对网络的依赖,离线状态下也能提供基础业务服务,确保“外部云”域不会影响服务。

    云、边计算的相似之处

    边缘计算类似于云计算(数据中心),体现在:

    1). 都包括计算、存储和网络资源;

    2). 其资源可由用户和应用共享;

    3). 从资源池的虚拟化和抽象化受益;

    4). 其发展得益于商品硬件的支持 ;

    5). 使用API来支持互操作性.

    两者归于整体与局部关系

    边缘计算的出现是为弥补现阶段云计算所面临的一些短板,配合、促进云计算的发展。边缘计算与云计算之间不是替代关系,而是互补协同关系。两者需要通过紧密协同工作才能更好的满足各种需求场景的匹配,从而放大边缘计算和云计算的应用价值。

    边缘计算可归结为广义云计算的一部分,泛指云厂商为客户完成的IT服务,是云计算的补充和延伸。简而言之:云计算把握整体,边缘计算更专注局部。

    云计算擅长全局性、非实时、长周期的大数据处理与分析,能够在长期维护、业务决策支撑等领域发挥优势;而边缘计算更适用局部性、实时、短周期数据的处理与分析,能更好的支持本地业务的实时智能化决策与执行,为云端提供高价值的数据。

    如果说云计算是集中式大数据处理,边缘计算则可理解为边缘式大数据处理。不同的是数据不用再传到遥远的云端,在边缘侧就能解决,更适合实时的数据分析和智能化处理,较单纯云计算更加高效且安全!两者实质上都是处理大数据的计算运行的一种方式。

    边缘计算中终端设备与云计算中心的请求与响应是双向的,终端设备不仅向云计算中心发出请求,同时也能够完成云计算中心下发的计算任务。云计算中心不再是数据生产者和消费者的唯一中继,终端设备兼顾数据生产者和消费者的角色,部分服务直接在边缘完成响应并返回终端设备,云计算中心和边缘分别形成了两个服务响应流。

    边缘计算的可信价值

    边缘计算是一种在网络边缘执行计算任务的新型计算模型,相比于云计算,它能够节省网络流量、提高响应速度和保护用户隐私,在物联网应用中显示出了优于云计算的性能。核心是将计算任务从云计算中心迁移到产生源数据的边缘设备上, 操作对象包括来自于云服务的下行数据和万物互联服务的上行数据。随着相关技术的发展,边缘计算将成为推动物联网服务升级的关键技术。

    边缘计算的优势

    1) 分布式和低时延计算

    整合了数据采集、处理、执行三大能力,避免了数据上传下达所产生的时延弊端,提升了本地设备的处理能力和响应速度,带来了综合成本的减少、运维效率的提升。

    2) 效率更高

    由于边缘计算距离用户更近,在边缘节点处实现了对数据的过滤和分析,因此效率更高

    3) 降低带宽限制的影响

    在网络边缘处理大量临时数据,不再全部上传云端,极大减轻了网络带宽和数据中心功耗的压力

    4) 更加智能化

    AI+边缘计算的组合出击让边缘计算不止于计算,更多了一份智能化

    5) 缓解流量压力

    在进行云端传输时通过边缘节点进行一部分简单数据处理,可减少从设备到云端的数据流量

    6) 更加节能

    云计算和边缘计算结合,成本只有单独使用云计算的39%。

    7) 提高数据的安全性

    边缘计算将用户隐私数据不再上传,而是存储在网络边缘设备上,减少了网络数据泄露的风险,保护了用户数据安全和隐私。

    8) 业务数据可靠性

    基于安全的数据才会有可靠的业务,边缘计算本身不把数据传向云端,在广域网发生故障的情况下,也能够实现局域范围内的数据服务,进而实现本地业务的可靠运行。

    9) 应用开发多样化

    未来会有一半以上的数据在其源头进行处理,也会有诸如工业制造、智能汽车、智能家居等多样的应用场景,用户可以根据自己的业务需求自定义应用。

    边缘计算的能力

    体现(不仅限于)在以下方面.

    1) 跨不同基础设施间的一致操作模式

    2) 在全球范围内数千个地点的大规模分布环境中的执行能力

    3) 为位于全球偏远地点的客户提供网络服务

    4) 满足应用程序集成、协调和服务的交付要求

    5) 打破硬件限制,降低成本

    6) 实现有限或间歇性网络连接

    7) 可处理具有严格低延迟要求的应用程序(AR/VR、语音等)

    8) 实现地理围栏,保证敏感隐私数据仅留在本地

    边缘计算的业务价值

    主要体现对客户端的减负和控制上,让很多过去无法想象的业务具有可行性。

    1) 硬件设计更灵活

    5G边缘网络可能比本地磁盘等零部件速度更快,这是从未有过的新变化。给客户端做减负,最终用户能感觉到流畅度提升和电量提升,部分用户还会为此付费;能让客户端和边缘端融合,甚至影响到硬件设计,比如买手机会考虑闪存空间比扩充内存合算,当文件从集中分散到就近边缘,客户读取网络文件的速度不比本地慢,就无需配置更贵的闪存。当网盘的数据大到无法下载到手机时,客户换新机时也得尽可能用同一品牌同一账户迁移。给客户端的计算压力减负最终让客户端的硬件设计方式发生改变。对于手机来说,试水新硬件常是一次冒险,厂商在设计硬件时,如可以将某些功能放到边缘端,将会获得巨大灵活性。

    2) 改变应用发布生态

    边缘计算可从软件控制层面改变整个客户端软件生态,技术上可以将客户端的运算功能全部放在边缘端,本地仅保留一个视频播放器。如此带来客户端的分发渠道的变化,也许困扰单机软件几十年的盗版问题可通过边缘视频化来解决。随着边缘APP的访问流畅性逐步得到验证,边缘视频流天然比本地文件更保密安全和方便控制,各种在线系统的使用体验会和本地软件一样。

    3) 单一应用留住客户

    当一个APP可以all in one其他APP时,用户的访问轨迹不会跳出该APP,给产品运营提供了新的想象空间。现在用户在某视频APP里做游戏和电商引流,转跳到电商和游戏后APP就结束了,未来完全可以购买同一样东西不出本APP,参与内购分成、改变商业规则。

    4) 对技术部门的价值

    将CS架构改变CES架构,是具有价值并有挑战的IT技术工作。

    移动互联网的发展历程中,应用传输和娱乐化迫使成本在不断增加,集中的云计算又再次走向边缘,通过在靠近物或数据源头的网络边缘侧,融合连接、计算、存储、应用等核心能力,就近提供边缘智能服务,满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。

    "云、边、端"协同一体化

    边缘计算是对云计算的拓展,两者关系就好比人类的"大脑"与"遍布全身的神经系统",相辅相成,缺一不可。作为云计算的延伸,边缘计算本着“为云分担”的任务和使命而运作,解决了在边缘端的资源应用问题,成为云计算在未来发展中的重要支撑。“云边协同”成为边缘计算的核心能力与发展方向——边缘向云反馈信息,云向边缘发布指令等,完成上传下达,实现共存协同式的调度、命令、搜集、处理、计算、更新等工作。

    以物联网场景为例,物联网设备产生大量数据,边缘计算节点可以负责自己范围内的数据计算和存储工作。由于大多数的数据并非一次性数据,那些经过处理的数据仍需要从边缘节点汇聚集中到中心云,中心云做大数据分析挖掘、数据共享,并进行算法模型的训练和升级,升级后的算法(推理模型)应用于前端边缘节点设备,完成自主学习闭环。同时,存储边缘的数据具备备份的需要,当边缘计算过程中出现意外,存储在云端的数据也不会丢失。

    协同一体化模式

    “端”和“云”的边缘形态,涵盖端的边缘计算,而“云”的边缘计算是中心云的拓展外延,可视为边缘节点服务,以此构建云-边-端三体网络架构。

    边缘云中大量、多种边缘服务器和边缘终端需通过边缘云来统一管理,并实现对边缘应用的支持。中心云则管理多个边缘云和为边缘云提供充足的虚拟化资源,中心云由大量的服务器虚拟化组成,可提供持久化存储和为需要大计算量的应用提供资源,如大数据,AI应用等。中心云通过管理网络来控制边缘云,并提供安全的连接。边缘云在网络发生中断时仍可通过独立的资源管理系统进行“自治管理”。

    中心云与边缘云的关系如图,中心云管理多个边缘云平台,工业PC和大量的网关,而边缘云则通过边缘网关接入各种设备、传感器等。

     云计算是根本:纵观几大云服务商的边缘计算产品,从配置到部署,无一不是从云端下发配置信息和工具到边缘侧,实现本地服务。

     核心框架属于云服务商: 云边一体的边缘计算框架,本质上是下沉了一系列精简的云服务工具,而这些工具为了保障通讯的私密性,一般都掌握在云服务商手中,用户和开发者无法修改。

     生态建设:围绕云边一体化产品,所有的生态都必须先在云端注册,在云端传送数据后下沉到边缘侧,而互动的逻辑可通过无服务器计算服务实现。

    通过云原生技术可实现云 - 边 - 端一体化的应用分发,解决在海量边、端设备上统一完成大规模应用交付、运维、管控的诉求;云原生技术可提供容器等更加安全的工作负载运行环境,及流量控制、网络策略等能力,可有效提升边缘服务和数据的安全性;依托云原生领域强大的社区和厂商支持,云原生技术对异构资源的适用性逐步提升,在物联网领域已能很好支持多种 CPU 架构(x86-64/arm/arm64)和通信协议,并实现较低的资源占用。

    … …

    多维度协同主体

    当用户从一个边缘节点移动到另一个就涉及多节点的协作,可简单将数据缓存到用户到达的各个边缘节点,不过各节点的数据需要同步。如在一小片区域内导航应用可以将导航或者搜索服务移动到边缘;在边缘节点进行内容过滤与整合从而减少数据传输量;实时应用如AR可以使用边缘节点减少反应时间。

    云边协同包含云端与边端IaaS、PaaS、SaaS的协同,IaaS 实现对计算、网络、存储、虚拟化资源等的协同;PaaS 实现数据、智能、应用编排、业务管理协同;SaaS 实现应用服务协同。在IaaS资源、PaaS平台、SaaS应用的协同基础上还需考虑计费、运维、安全等方面的协同。云边协同的联合式服务能充分利用两者的联合优势,针对不同特征的业务需求进行灵活的部署与响应。融入边缘计算的云边协同联合式服务将成为更有效的服务构架。

    边缘协同任重道远,需从多维度解决:

    1) 连接协同: 连接设备数量的剧增,网络运维管理、灵活扩展和可靠性保障面临挑战,以及如何兼容多种连接且确保连接的实时可靠是必须要解决的现实问题。

    2) 数据协同: 统一数据连接和数据聚合是业务智能的基础,解决多样化与异构的技术和标准的问题,离不开跨厂商、跨领域的数据集成与互操作。

    3) 任务协同: 任务的下达和反馈是实现应用场景功能的基础,云端面对海量的边缘侧设备和复杂的应用环境,如何将任务准确完整下达到边缘侧;边缘侧设备通过边缘计算后,如何将有效信息整合到任务中进行反馈,是云边协同能力的重要指标。

    4) 管理协同: 云端如何对海量和异构的边缘侧设备的接入进行统一和有效的管理;如何对边缘侧设备和云端的应用开发、生命周期、业务管理进行协同,确保边缘侧设备和运算能共同完成某应用场景的管理工作。

    5) 安全协同: 边缘侧的设备和产生的数据接入云端的安全和隐私如何保证,云端如何抵御来自边缘侧的攻击,云端下放到边缘侧的数据如何保证安全 …

    6) 多方协同: 边缘计算和云计算协同应用场景越来越多,越来越复杂,如何在同一应用场景中实现云边、边边、多边协同等多方协同方案,成为需着重考虑的问题;如何统一不同应用场景中的云边、边边、多边协同也是另一个重要的方面。

    协同以云为中心逐层分散延伸,涉及到云边、边边和边端三部分。

    1) 云与边之间网络有两个关键点:虚实结合、动态选路,云边网络就是回云的安全和加速网络。

    2) 边边网络需保障上层应用使用的边缘节点之间数据传输透明且安全。涉及两关键词:Fullmesh和安全加速。Fullmesh表示边边网络实现的边缘节点之间的直接通讯,无需通过中心绕道,是基于由众多边缘节点构建的分布式传输加速网络来克服互联网的数据传输稳定性、跨运营商的传输速度瓶颈等问题。

    3) 端-边网络:运营商本地接入网络在用户接入侧,端侧具有不可撼动的强大优势,所以边缘计算一定要与运营商形成合力,基于运营商本地基础设施网络构建节点形成与端的连接,实现接入流程一体化,将更多计算能力汇聚。

    云原生向边缘端复制

    云边端协同一体化作为一个标准化构想,分三个层次将云原生能力向边缘端复制:

     第一个是能够在云端提供标准化的接口、管控能力,或是标准的云服务和云资源的接入能力.

     第二个是能高效的管理处在整个边缘端的众多资源,其中包括边缘端应用的运维效率问题;

     第三个是典型的 IoT 场景中的端设备。

    边缘云计算服务是将传统云计算与边缘计算相结合,形成“云-边-端”协同的计算架构。边缘计算的核心,是将计算任务从云计算中心,迁移到产生源数据的边缘设备上,较之传统云计算,其安全性更高、低时延、减少带宽成本。边缘计算和云计算相互促进、共同发展、相互融合,在中心端学习,在边缘端执行来处理复杂的问题,在处理好安全性、带宽、复杂性等方面的问题后,云边协同势必在生产中占据举足轻重的位置,大放异彩!

    边缘计算平台的架构

    伴随行业发展,边缘计算正在成为云计算的新边界,而规模和复杂度的日益提升对边缘计算的效率、可靠性、资源利用率等一系列能力提出了新的诉求,核心诉求包括:

     资源、应用管理诉求;

     容器化和微服务化;

     标准的 API 和工具链;

     安全,数据 / 信道加密和认证授权

     ……

    诉求的背后是对边缘计算平台架构的目标问题和能力提出了指引,对云边协同一体化平台的设计提出了指导方向:支持对物理世界具有系统和实时的认知能力,在数字世界进行仿真和推理,实现物理世界与数字世界的协作;基于模型化的方法在各产业中建立可复用的知识模型体系,实现跨行业的生态协作;系统之间、服务之间等基于模型化接口进行交互,实现软件接口与开发语言、工具的解耦;框架可以支撑部署、数据处理和安全等服务的全生命周期。

    本章节以下部分从通用、分层技术架构,以及具体开源KubeEdge平台展开.

    通用平台产品架构

    云边协同的联合式网络结构一般可分为终端层、边缘计算层和云计算层,各层可进行层间及跨层通信,各层的组成决定了层级的计算和存储能力,从而决定了各个层级的功能。

    终端层由各种物联网设备(如传感器、RFID标签、摄像头、智能手机等)组成,主要完成收集原始数据并上报的功能,以事件源的形式作为应用服务的输入。

    边缘计算层由网络边缘节点构成,广泛分布在终端设备与计算中心之间,可以是智能终端设备本身(如智能手环、智能摄像头等),也可以被部署在网络连接中(如网关、路由器等)。显然,边缘节点的计算和存储资源差别大且动态变化,因此如何在动态的网络拓扑中对计算任务进行分配和调度是值得研究的问题。边缘计算层通过合理部署和调配网络边缘侧的计算和存储能力,开放API, 实现基础服务响应。

    云计算是强大的数据处理中心,边缘节点不稳定,核心数据、核心应用需存放云端以确保应用的稳定、数据的安全,边缘计算层无法处理的任务和全局信息的处理也仍需在云计算中心完成。除此,云计算中心还可根据网络资源分布动态调整边缘计算层的部署策略和算法。

    通用架构模型

    如图所示,基础服务层贯通整个框架,数据全生命周期服务提供对数据从产生、处理到消费的综合管理。纵向来看,最上侧是模型驱动的统一服务框架,实现服务的快速开发和部署。下侧分为设备、边缘和云层,边缘层划分为边缘节点和边缘管理器。边缘节点的形式、种类多样,解决异构计算与边缘节点的强耦合关系,降低物理世界带来的结构复杂性,设备资源被抽象为计算、网络和存储三种资源,使用应用API实现通用的能力调用, 控制、分析与优化领域模块实现了上下层信息传输和本地资源规划。边缘管理器使用模型化的描述语言帮助不同角色使用统一的语言定义业务,实现智能服务与下层结构交互标准化。根据功能,提供了4种开发框架:实时计算、轻量计算、智能网关和智能分布式系统,覆盖从终端节点到云计算中心链路的服务开发。

    边缘计算通用服务分层栈

    在基础设施之上,边缘计算涵盖四层技术栈,一是边缘硬件和芯片,二是边缘计算平台或边缘计算操作系统,三是边缘中件间,四是面向边缘的应用或服务。边缘计算和云、端形成一体化的协同模式,开放API赋能上层应用生态。边缘计算的技术形态可划分为IaaS、PaaS和SaaS:

     IaaS: 主要在边缘侧提供资源虚拟化。建立大规模分布式边缘算力融合调度平台,融合虚机、容器、函数、流式计算等计算形态,屏蔽各个边缘硬件与网络环境的异构差异,无缝支持各类边缘资源,为规模覆盖的云边一体化计算提供底座能力支持。

     PaaS: 传统虚机方式的运维成本往往居高不下,比如机器的地域分布、网络差异等会带来不小运维成本,难以进行快速的业务切换调度。就需要有个边缘场景的PaaS服务来帮助用户管理和调度边缘的资源,容器和K8s是一个不错的架构选择。

     SaaS: 服务种类较多,包括边缘智能、边缘应用市场、边缘中间件(消息、缓存等)、边缘软硬一体机(数据智能、通用一体机等)。这些服务都可通过边缘容器应用市场获取。

     在基础设施层,其实是基于复杂的、异构的基础设施进行资源拉通。

     在芯片/设备方面,边缘计算采用通用、专用和自研芯片解决面向场景的计算成本问题;

     在边缘计算平台方面着力打造边缘操作系统,提供三种计算形态(虚机、容器、函数)和三种交付形态(Server、Serverlet、Serverless),为客户营造一个利于使用的计算环境;

     对于边缘中间件,从原本“内容分发的调度”转变为“计算的调度”,同时叠加AI、存储等技术,逐步形成面向城市应用场景的独特中间件能力;

     至于上层的边缘应用及服务,则需结合整个生态和垂直行业伙伴共同推动技术进步。

    硬件层提供的是物理机,硬件的网关包括AI盒子,可能只是一个很小部分,它需要组网也需要通信的模组,包括智能硬件。再往上层是通用计算、GPU,包括简单的PAAS,上面有一些目前本地计算需要的比如边缘引擎、边缘网关、调用中台,定位为边缘计算平台。再往上要承载整个边缘计算提供的服务,这个服务有组件还有SAAS服务。再往上是整个智能运用的场景。

    云原生与边缘计算

    无论从边缘应用的分发,可靠性还是边云协同的机制上,云原生边缘计算有利于让边缘也具备像云一样的“弹性”,让应用可以“顺滑”的部署到边缘,保持应用在边缘与云端的一致性。“云-边-端”就像一个完美的整体,用户无需感知边缘设备的复杂分布。

     通过将AI、大数据能力等延伸到边缘,解决与云上服务的数据协同、任务协同、管理协同、安全协同诉求。

     通过数据本地化处理、边缘节点离线自治,解决了云边之间的网络可靠和带宽限制问题

     通过大幅优化边缘组件的资源占用,解决边缘资源的约束问题

     通过在云边之间构建的双向多路复用通道,解决从云端管理高度分布的海量节点和设备;

     南向支持对接物联网主流通信协议(MQTT,Bluetooth,Zigbee),解决异构硬件接入问题。

    传统嵌入式本地计算和云原生边缘计算的对比差异如下:

    云原生EdgePaaS架构

    作为云上边缘托管服务底座,支持海量边缘网关节点接入,深度融合IoT云端市场、云端FaaS、消息、运维等服务。通过容器化和K8s的调度能力,传统IoT业务拥有了强大的日志、监控、自动扩缩容等运维能力,并且运维能力在云中心汇聚。

    阿里云将边缘计算当成云计算整体的一部分进行规划和设计,基于飞天系统构建。底层是资源层,上面是服务平台,既可部署在运营商基础互联网里,也可部署在客户侧。Link IoT Edge可让计算就近发生,是连接最后1公里的物联网边缘计算平台,支持包括函数计算、流式计算、规则计算等计算引擎。发布的连接最后10公里的边缘节点服务(ENS),帮助用户将计算、转发等业务下沉至边缘,降低了时延和成本。如可把终端到边缘节点的时延缩小到5毫秒之内,终端到云的访问频次将减少80%,计算、存储、网络等成本可节省30%以上。

    云原生是一个大的体系,做到真正的边缘原生需要从理念、系统设计、架构设计等方面真正的去实践、实现,才能充分发挥边缘的优势。当然,边缘云平台也要具备和提供更多的开放能力,形成整个正向的开发生态闭环。

    KubeEdge平台架构

    华为云提出基于Kubernetes扩展的云边协同开源项目—KubeEdge, 在边缘计算领域的布局涉及“云、管、边、端、芯”。作为一个智能边缘平台,KubeEdge包含边端的计算节点部分和云端的管理控制部分,其云边协同体现在:

    1)基于WebSocket和Quic协议构建了可靠、高效的云边消息通信,并作为云边控制协同、数据协同的通信基础;2)扩展了Kubernetes,实现云边协同编排管理,包括基于云端的边缘控制器 EdgeController等控制Kubernetes API服务器与边缘节点、应用和配置的状态同步,支持直接通过kubectl命令行在云端管理边缘节点、设备和应用;3)提供了DeviceTwin 模块,实现边缘计算节点下挂的边缘设备与云端设备管理之间的同步和控制。

    KubeEdge即Kube+ Edge,使能边缘计算,依托K8s的容器编排和调度能力,实现云边协同、计算下沉、海量设备的平滑接入等,将K8s优势和云原生应用管理标准延伸到边缘。为云和边缘之间的网络,应用部署和元数据同步提供基础架构支持。技术架构上分为云、边、端三个部分,云端负责云上应用和配置的校验、下发,同步Edge的状态和事件;边缘侧负责运行边缘应用和管理接入设备,接受并执行Cloud部分下发的指令,管理各种负载;设备端侧运行各种边缘设备。KubeEdge完整的打通了边缘计算中云、边、设备协同的场景,整体架构如下图。

    Edged: 管理边缘的容器化应用程序。

    EdgeHub: 边缘的通信接口模块,是一个Web套接字客户端,负责边缘计算与云服务的交互。

    CloudHub:云端通讯接口模块,一个Web套接字服务器,负责监视云端的更改、缓存以及向 EdgeHub发送消息。

    EdgeController:管理边缘节点,是一个扩展的Kubernetes控制器,管理边缘节点和pod元数据,以便数据可以面向特定的边缘节点。

    EventBus:使用MQTT处理内部边缘通信,是一个MQTT客户机,可与MQTT服务器交互,为其他组件提供发布和订阅功能。

    DeviceTwin: 是处理设备元数据的设备软件镜像,该模块有助于处理设备状态并将其同步到云上。它还为应用程序提供查询接口,后端使用轻量级数据库(SQLite)。

    MetaManager: 管理边缘节点上的元数据,是Edged和Edgehub之间的消息处理器,还负责在轻量级数据库(SQLite)中存储/检索元数据。

    极致优化,All in K8s

    由于边缘场景通信的不稳定性和严苛的资源消耗限制,导致原生的K8s组件无法直接运行在边缘节点上,例如:工业网关等。而受限于K8S本身list/watch机制带来的disconnect问题,数据面和管理面断连后,无法做到本地自治。KubeEdge选择“轻边缘”架构,即边缘侧的容器引擎和设备管理agent尽量轻量化,管理面运行在云端,且构建在K8s的调度能力之上,兼容K8S原生API。KubeEdge all in K8s的设计理念使得用户可以围绕K8S的标准API定制需求或轻松集成云原生生态中的成熟项目。

    ServiceMesh到EdgeMesh

    服务网格已演变为云原生堆栈的重要组成部分。在云原生模型中,单个应用程序可能包含数百个服务,每个服务可能有数千个实例,且这些实例中的每一个都可能处于不断变化的状态,合理管理使用ServiceMesh对于确保端到端的性能和可靠性至关重要。当纯粹的计算在边缘转向云边协同,以云原生的方式构建一个跨越边缘和云端的分布式系统至关重要:

     边缘应用需要有完善的微服务治理能力,以满足日趋复杂的边缘业务模型;

     边云、边边的协同成为边缘应用的基本要求,以满足海量边缘数据的处理。

    使用EdgeMesh可支持跨越边界的微服务访问,EdgeMesh特性基于标准的Istio进行服务治理控制,引入EdgeMesh-proxy负责边缘侧流量转发以及P2P技术跨子网通信,提供云-边、边-边通信,最终实现跨越边云的一致的服务发现和访问体验。

    边缘设备访问微服务化

    Kubernetes提供的设备插件框架, 旨在通过Kubelet管理“绑定”在节点上的硬件,如:GPU、FPGAs、InfiniBand等,为Pod中的容器应用提供更强的计算和网络性能。而KubeEdge的设备管理关注的是与边缘通信的外部设备,如:蓝牙终端、智能传感器、工业设备等。KubeEdge对设备管理的实现采用Operator方式,并实现了设备孪生。设备管理Operator的核心是Device CRD和Device Controller,其中Device CRD用来描述设备的状态等元数据,Device Controller运行在云上,负责在云和边之间同步设备状态的更新(包括设备实际状态和用户设定的期望状态)。

    云边通信

    涵盖cloud端的cloud Hub与edge端的Edge Hub,两个模块之间通过websocket或quic通信,相当于建立了一条底层通信隧道,供k8s和其它应用通信。重点保障当之间的链路都无法保障时业务不受影响,这就是MetaManager需要解决的问题。

    CloudHub

    cloud端的cloudHub是一个隧道的server端,用于大量的edge端基于websocket或者quic协议连接。支持获取消息上下文和为事件构建 channelQ对象,支持从edge读和向edge写入消息,以及发布消息到controller。

    EdgeHub

    位于edge端运行,是隧道的client端,负责将接收到的信息转发到各edge端的模块处理;同时将来自个edge端模块的消息通过隧道发送到cloud端。

    Route To Cloud / Edge

    边缘端

    Edged

    通过读取metaManager和EdgeController的pod任务列表,来执行对本地pod的操作,管理其生命周期。pod关联的configmap和secret也会随着处理pod的过程而一并处理。保障cloud端下发的pod以及其对应的各种配置、存储(函数式计算)能在edge端稳定运行,并在异常之后提供自动检测、故障恢复等能力。

    EventBus/ServiceBus/Mappper

    设备相关的设备管理侧,支持外部以MQTT和Rest协议接入,对应EventBus和ServiceBus。EventBus是一个MQTT broker客户端,主要将edge端各模块通信的message与设备mapper上报到MQTT的event做转换;而ServiceBus对应Rest接入时的转换。IoT的各种设备可能直接支持MQTT,但有的只支持蓝牙或其他近场通信协议。Mappper可以实现将各种协议转换为对MQTT的订阅与发布,从而实现与edge端的通信。

    Eventbus消息交换

    Mapper Engine

    为避免edge引入大量处理边缘设备通信代码,同时保持整个项目良好的易定制性,KubeEdge设计了一个边缘设备驱动统一管理引擎Mapper,一个用于连接和控制设备的应用程序,支持设备终端通过蓝牙、ModbusTCP、ModbusRTU协议与Edge平台通讯。Mapper作用如同CRI之于K8s,CRI作为Kubernetes定义的容器接口与底层容器引擎打交道,而Mapper作为一个开放接口方便不同的设备协议接入KubeEdge这个边缘计算平台。有了Mapper的解耦层,用户可方便地根据实际需要开发自己的Mapper来实现与特定设备的通信。

    MetaManager

    在edged和edgehub之间的消息处理器,对应一个本地数据库(SQLite),其他模块需与cloud端通信的内容都会被保存到本地DB中,当需查询数据时,如果本地DB中存在该数据就会从本地获取,避免了与cloud端之间频繁的网络交互;在网络中断的情况下,本地的缓存数据也能保障其稳定运行(如智能汽车进入到没有无线信号的隧道中),在通信恢复之后,重新同步数据。

    示例:Insert Operation

    DeviceTwin

    “数字孪生”指对接入设备信息的特征描述。DeviceTwin就是将这些信息保存到本地DB中,并处理基于cloud端的操作来修改device的某些属性(即操作设备);同时,将设备基于eventBus上报的状态信息同步到本地DB和cloud端。

    云端Controller

    包括用于edge端与API-Server同步信息的edgeController与用于DeviceTwin与API-Server同步device CRD信息的deviceController组成。

    Edge Controller

    1) Sync add/update/delete event to edge

    2) Sync watch and Update status of resource and events

    3) Creates manager Interface

     Manager defines the Interface of a manager, ConfigManager, Podmanager, secretmanager implements it

     Manages OnAdd, OnUpdate and OnDelete events which will be updated to the respective edge node from the K8s-Api-server

     Creates an eventManager(configMaps, pod, secrets)

    Device Controller

    负责设备管理,使用CRDs来描述设备元及状态信息,在edge和cloud之间保持同步。设备控制器使用设备模型和实例来执行设备管理工作,如把用户设定的设备孪生期望状态和配置下发到边缘,而在边缘的组件则要接收并处理这些信息。KubeEdge设备管理的工作流程如下图所示:

    Downstream Controller

    The downstream controller watches for device updates against the K8S API server, Synchronize the device updates from the cloud to the edge node.

    Syncing Desired Device Twin Property Update From Cloud To Edge

    The device controller watches device updates in the cloud and relays them to the edge node. These updates are stored locally by the device twin. The mapper gets these updates via the MQTT broker and operates on the device based on the updates.

    Upstream Controller

    The upstream controller watches for updates from the edge node and applies these updates against the API server in the cloud. Synchronize the device updates from the edge node to the cloud using device twin component.

    Syncing Reported Device Twin Property Update From Edge To Cloud

    EdgeSite: 边缘侧独立集群

    在边缘测,业务场景需要配置一个独立完整的集群, 管理者或用户能使用本地控制面来执行管理功能和充分利用所有边缘计算的优势。EdgeSite用于帮助在边缘侧构建轻量化的集群。

    Architecture Design

    Advantages

    1) Full control of Kubernetes cluster at edge

    2) Light weight control plane and agent

    3) Edge worker node autonomy in case of network disconnection/reconnection

    4) All benefits of edge computing including latency, data locality, etc.

    运维与监控

    为提升运维效率,当边缘节点面临异常事件或故障时需及时响应,边缘节点与云监控产品对接,把边缘节点里采集到的日志和事件同步给云监控,由云监控形成与用户系统的标准化对接、通知、告警。同时用户系统可通过API管控边缘节点服务实例和资源,实现整个运维体系的闭环。云监控支持对节点网络事件、割接事件、实例状态和迁移的通知,支持节点网络MTR指标、实例资源占用指标等自定义阈值报警,并可通过IM、邮件、短信等通道触达用户,全面赋能边缘节点服务极简、高效运维。

    应用场景及适应性分析

    边缘计算、云计算与5G商用的融合,支持海量机器通信,促进以智慧城市、智能家居等为代表的典型应用场景与移动通信深度融合,正加速推动工业互联网、能源、自动驾驶、安防监控、农业生产、医疗保健、零售、物联网等领域相关技术在垂直行业中的应用和落地。对于大部分边缘计算业务,云边协同的业务需求普遍存在。

    边缘计算主要应用场景

    新零售应用

    可为门店、物流点提供安防视频解决方案,低成本接入不同厂商设备,提供实时预览、录制回看、截图、分析等能力,实现了视频安防云联网,提高了工作效率,促进生产安全,减少盗损资产损失. 同时,边缘计算提供的视频AI计算能力,支持计算资源弹性扩容满足业务突发增长,降低大量本地部署、运维和管理成本。新零售场景下的视频监控,产生了大量的视频,通过边缘节点一系列处理后将结构化数据发送到中心,节约成本,大幅缩短处理时间.

    移动互联网的发展让我们得以在移动端流畅的购物,我们的购物车以及相关操作都是依靠将数据上传到云中心才能得以实现。如果将购物车的相关数据和操作都下放到边缘结点进行,将极大提高响应速度,增强用户体验,通过减少延迟来提高人与系统的交互质量。

    边缘计算与交通

    设备连接到边缘节点,可以做数据的清洗分发,包括数据建模、机器学习,可以实现自己的应用。这个过程非常短且延时很低,直接网络相连。比如说收费、停车这类监控情况。

    举个例子,比如现在需要AI的一个最新算法,是一个车辆预测的。在可能有1000个车辆预测的节点布了边缘节点,现在只要在云端把这个算法训练之后,一键同步到所有的边缘计算节点,可以立马更新算法,可以在最近的边缘节点做计算的更新,涉及多数据源的融合、实时的分析、集中管理包括数据打通。

    车路协同是智慧交通的重要发展方向之一,涉及车内边缘计算、道路边缘计算、车路协同云等方面,云边协同可从多方面提供车车、车路动态实时信息交互,并开展车辆主动安全控制和道路协同管理。在自动驾驶方面,成千上万的自动驾驶数据上传到云端,在云端进行图像分析,并进行机器学习,完善汽车AI能力,当汽车停放或未被使用时,汽车AI从云端获取系统和导航地图等更新信息,同时云端与交通控制系统和其它智慧城市基础设施连接,这些信息也会同步下载到汽车终端,完善汽车终端系统。例如百度智能汽车通过基础云服务、用户APP、地图数据、OEM方案,打造HMI人机交互平台,提供自动驾驶系统解决方案。

    在线教育场景

    5G时代带来的是一场视频传输的革命,高质量视频通话使在线互动变得更加触手可及,能最大限度还原线下教学的真实感,同时更高清晰度的互动课堂中,教师可以对学生起到更好的观察和督促作用,使学习效率和效果双重提升。借助于云计算、边缘计算、实时音视频通信以及直播平台、AI等技术,不管学生在任何地点,只要有手机或电脑,在线教育平台就可以把最优秀的老师带来他的身边.

    智能建筑、家居

    智能网联技术的兴起,无论是办公室、零售店、工厂还是医院,智能建筑都变得更加高效、舒适、便捷,为居住者带来独特的体验。智能建筑将自动化操作与空间管理相结合,可有效增强用户体验、提高生产力、降低成本以及网络安全风险。建筑物生命周期中75% -80%的成本与其后期运营有关。现在很多商业住宅和办公大楼都有自动化控制或管理系统,例如通暖、中央空调以及嵌入传感器的智能照明系统等,它们都能与云平台或边缘层级的主系统交互。

    云边融合正走入家庭,逐步促进智能家庭场景的实现。家庭网关、智能终端等边缘计算节点可处理大量异构数据,再将数据上传至云平台。在智能家居中除了可连接的设备,还可在房间、管道、地板、墙面等部署大量传感器和控制器。未来,智能家庭将不局限于智能家居,还能与家庭医疗、家庭安防等相结合。云边协同使电器控制、安全保护、视频监控、定时控制、环境检测、场景控制、可视对讲等家庭智能化功能得以实现,同时使政务、医疗、教育等产业进一步丰富家庭智能化信息服务成为可能。

    智能安防、监控

    视频安防监控中通过在边缘的视频预分析和AI推理执行,实现视频监控场景实时异常事件的感知及快速处理,而在云端发挥云端算力、开发工具的优势,完成AI模型的训练以及AI分析应用的开发并按需下发给边缘部署。边缘计算与AI、云计算的结合能在前端实现本地决策、实时响应,执行人脸识别、车牌识别、行为检测等多种本地应用。

    工业互联网场景

    工业互联网发展正进入快车道,通过设备互联、多类型传感器和边缘计算,实现数据采集、处理,达到云边协同式传输和处理效果,越来越多的工业互联网场景对云计算在边缘端的特殊需求逐步增多。针对预测性维护,除了云端的统一控制外,工业现场的边缘节点必须具备一定的算力,能够自主判断并解决问题,及时检测异常情况,更好的实现监控,在提升工厂运行效率的同时也能预防设备故障问题。企业通过边缘端将处理后的数据上传到云端进行存储、管理、态势感知、信息的融合;同时,云端也负责对数据传输监控和边缘设备使用进行管理。

    一些大型工业企业已着手建设一站式云边协同平台。如海尔COSMO-Edge平台提供多元的边缘设备接入能力与边缘计算能力,提供设备即服务的应用模式,帮助用户快速构建工业互联网应用,实现数字化生产;长虹IMES平台在工厂网络边缘层实现工业现场的数据接入,提供数据采集、数据分析等服务,构建云-边协同化的生产管理体系。

    移动边缘计算

    MEC最初指移动边缘计算,后来概念扩展为多接入边缘计算。MEC是电信蜂窝网络与互联网深度融合的缩影,通过MEC可较好地降低移动设备与服务器之间的时延,提升游戏、视频和基于数据流的互联网内容的用户体验。5G架构从设计之初将边缘计算作为关键环节,5G时代业务处理功能依托边缘计算下沉到基站,数据传输时延可大幅降低。目前运营商正在加速推进MEC部署。

    城市大脑场景

    城市计算将会是边缘计算的最大场景,扎根于城市服务好本地应用,如社区、园区、运输中心、学校小区、商超、行政中心等,可充分发挥边缘计算的价值。未来城市将存在大量摄像头、传感器,如何把这些数据及时分析,对城市治理形成帮助是一个非常大的命题。比如在市政、交通场景中,把从学校、餐饮、医院的数千万摄像头采集的视频汇聚、传输到城市边缘计算平台,数据在边缘节点进行有效收敛、AI及结构化处理,关键性数据再回传到中心云。

    计算下沉边缘的模式比直接上公有云可以很好节省回源带宽,相比专有云可以提升交付效率和降低运营成本。在某些典型场景中,网络带宽成本占的比例是占到57%,这是非常大的成本,经过边缘计算的数据收敛之后,带宽可以做到原来的5%,对总成本节省可以到54%。

    解决交通、医疗、健康、新零售这类场景的业务诉求,有两种思路,一种把计算设施放在商超、工厂、企业里,这种为重资产模式;另外一种是云模式,把计算设施放在基站以上并向企业提供服务。阿里云在布局边缘计算的时候重点依托CDN的点位优势布局基站以上的边缘计算,后续通过引入MEC资源,充分释放计算红利,让企业可以轻装上阵。目前阿里云已完成国内30多个省份300+边缘计算节