从 SCP 范式、超并行计算模型 Actor 到 SSI 分布式系统架构,在 AO + Arweave 的工程实践中形成了一个完整的技术链条,打破了区块链的不可能三角难题,充分释放区块链和分布式系统的资源潜力,并在实践中提供赋能,从而为 Web3 的价值创造和规模化应用开辟一条全新的发展路径。
作者:DanceChange
封面:Photo by Luis Vasconcelos on Unsplash
一、传统框架下的计算和资源瓶颈
传统区块链技术,以比特币、以太坊为代表,在去中心化、透明度和安全性方面取得了显著成就,推动了加密技术和应用的发展。然而,由于 “区块链不可能三角” 难题(图 1-1),计算性能和资源利用上存在明显瓶颈,这阻碍了技术创新和应用发展,为加密行业带来了挑战。
首先,让我们来分析一下 “区块链不可能三角” 中的三个要素:
- 安全性:安全性本质上反映了共识需求,具体体现在保障区块数据的一致性、完整性、防篡改性、可追溯性和可验证性等方面。满足这些特性使得区块链能够构建起 “无需信任” 的强信任安全机制。因此,共识的安全性是区块链的首要诉求,也是其发展的基石。
- 去中心化:去中心化是指系统中没有单一的控制点,权力和控制权分布在多个节点上,可以提高系统的容错性、抗审查性和安全性,防止单点故障和恶意操控。虽然分布式系统不一定是去中心化系统(比如单一实体控制的分布式系统就不是去中心化系统),但去中心化系统一定是分布式系统。
- 可扩展性:在 “区块链不可能三角” 这一概念中,可扩展性指的是分布式系统计算性能的扩展能力。对于数字系统而言,万般皆计算,不同应用有着不同的计算性能需求。但广义来说,可扩展性指的是系统能够处理不断增长的数据量、交易量和用户数量的能力,这不仅体现在 TPS 上,还包括存储容量、网络带宽和节点数量等方面。高扩展性才能支持大规模应用和用户增长。分布式系统的可扩展性直接影响其上的去中心化应用(DApp)的创新和规模化。
在以上三个要素中,区块链强调去中心化,强化验证和共识安全,而在计算性能上则相对薄弱。这就产生了区块链不可能三角难题:当满足了去中心化和共识安全性的需求时,计算的可扩展性将受到限制,典型如比特币。这意味着,在这样的系统框架下,区块链的分布式系统难以支持有较高计算性能的应用创新,或者无法满足应用规模化需求,诸如 AI 大数据模型、图形渲染、链上游戏和大规模社交互动等。
以上主要分析了区块链不可能三角所带来的计算性能扩展难题,这一问题的根源究竟在哪里呢?接下来,我们将从区块的形成过程出发,探寻区块内各要素之间的相互关系。
在区块链技术中,“区块” 是指在特定时间区间内,将一系列经过验证的交易数据打包形成的数据集。在这一概念中,包含了以下关键要素及其相互关系:
- 共识(数据):经过验证的具有状态一致性的交易数据,即区块中形成的共识数据。
- 区块空间:指交易数据的存储空间。这些交易被封装在区块中,可存储的交易数量受到区块大小的限制(由系统设定或者受限于该区块的总 Gas 费),意味着链上的存储空间是有限的资源,继而影响应用的扩展性。
- 计算性能:被打包的交易数量除以出块时间得到的就是每秒处理的交易数量,即 TPS(每秒交易数)= 区块中的交易数量 / 出块时间。计算性能跟共识过程和存储空间具有相关性。
从以上分析看出,区块中的共识、存储空间和计算性能三要素相互关联,形成了制约关系。区块链在追求一致性共识的同时,不仅约束了单个区块存储空间的可扩展性,也限制了计算性能的扩展。这正是区块链不可能三角问题的根源。
进一步分析表明,在区块形成的过程中,区块链系统构建了三种全局性、系统级的资源:数据(共识)资源、存储资源和计算资源。然而,不可能三角问题限制了这三种资源的作用和扩展性,形成资源瓶颈,难以充分释放其潜力。如果有一种方法能够打破这一约束,是否会为区块链带来资源驱动的全新发展局面?
这正是本文思考的核心问题,旨在寻找答案。研究表明,从 SCP 范式、超并行计算模型 Actor 到 SSI 分布式系统架构,在 AO + Arweave 的工程实践中形成了一个完整的技术链条,打破了区块链的不可能三角难题,充分释放区块链和分布式系统的资源潜力,并在实践中提供赋能,从而为 Web3 的价值创造和规模化应用开辟一条全新的发展路径。
二、SCP:突破计算性能和资源扩展瓶颈
2.1、基于 SCP 打破区块链不可能三角
AO(超并行计算网络)是基于 Arweave 构建的,实现了存储共识范式
(Storage-based Consensus Paradigm,简称 SCP)的工程化应用。如下图所示:
基于 SCP 的核心理念,AO + Arweave 系统架构实现了在链上存储(共识)与链下计算的有效分离:
- 存储层面:由 Arweave 提供的存储资源负责数据的永久存储,区块链技术确保了链上数据的可追溯性和不可篡改性,实现了数据的一致性和高可用性,体现了 “存储即共识” 的概念。
- 计算层面:计算任务被迁移到链下,并与存储(共识)层面解耦。这种设计使得计算性能不受链上共识的直接约束,可通过增加链下计算节点实现无限扩展,极大地提高了处理效率和系统的灵活性。
- 综合效果:Arweave 的存储公链维护了系统的去中心化和数据的共识安全,而 AO 在链下则保障了计算性能的无限扩展性。这种结构确保了整个 AO + Arweave 系统在去中心化、共识安全性和计算性能扩展性方面的需求得到满足,从而有效地解决了区块链不可能三角的挑战。
2.2、构建三类全局性系统级资源
上述基于 SCP 实现的特征在系统的运用实践中发挥着重要作用,它们让存储、计算和数据(共识)成为既相互联系又可彼此独立的系统要素,成为全局性、系统级资源,如图 2-2 所示:
- 存储空间资源:Arweave 作为存储公链,其存储空间的扩展不受区块大小或总 Gas 费用的限制,完全由存储需求决定,实现了真正意义上的无限扩展。这不仅满足了系统对灵活存储空间的需求,也丰富了链上数据类型的多样性,为链上原生应用的创新提供了更多可能性。
- 计算资源:AO 计算网络由 MU、SU 和 CU 构成,这里先讲讲 CU,后文将具体分析各网络单元作用和相互关系。CU 是负责计算的单元,可水平扩展,形成 CU 集群。这些集群间相互竞争计算权利,支持不同的进程在不同的 CU 中并行运行。这种扩展性和并行性设计,使 AO 能够提供无限的计算节点资源,支持高性能并行计算。
- 数据(共识)资源:在 Arweave 上,任意类型和大小的数据都可以以 “原子资产” 形式永久存储,例如 NFT、文档、图片、音视频、网页、游戏、法律合同、程序代码等,这些数据构成了一个防篡改的海量数据库,为数据货币化和流通提供基础。同时,AO 并不就计算本身的状态达成共识,而是专注于确保交互日志被写入 Arweave,确保数据的持久可用性和完整性,确保计算输出结果的一致性、可验证。无论哪种数据,都可无需许可、无需信任地被引用,实现新的价值创造。
- 安全资源:其实在 AO 的运行过程中,还构建了以协议代币 $AO 支持的安全资源,但这与 SCP 没有直接关系,而是涉及到 AO 网络通信单元的运行和安全机制,放在本文*第 3 节 “可定制的安全性和安全资源”*来具体分析。
2.3、基于存储共识的可信计算机
利用上述系统级资源和分布式特性,AO 构建于 Arweave 存储公链之上,形成一个云计算网络。与传统的 Web2 云计算相似,AO 在理论上具备无限扩展的计算和存储资源能力,能够支持庞大的数据资源。然而,AO 的独特之处在于,它基于存储共识范式建立了一个去中心化的、具有全球一致性共识的可信计算平台。
- 首先,Arweave 为全球用户提供了一个无需许可、永久的存储服务,构建了一个不依赖信任的共识数据基础。
- 其次,AO 将各类应用程序的源代码存储于 Arweave 链上,这些代码可被下载并在本地运行;其输入来源于链上的可信数据,在固定的输入和执行逻辑下,保证了输出结果的一致性和可预见性。
- 最后,任何客户端都可以进行一致性验证,因为在相同的输入参数和执行逻辑下,其计算输出结果必然是一致的,从而确保了可信性。
由此可见,从源程序、输入和输出都具有确定性,AO 构建了基于存储共识的可信计算系统。
存储共识范式与通常的节点共识系统不同,存储共识范式中,计算、验证和达成共识都在链下,最终的共识数据提交链上进行存储,成为系统的可用性层、共识层和结算层。也就是说,在 SCP 的支持下,计算性能不再受到共识的制约,可在链下无限扩展。这种机制为 AO 网络打造支持高性能计算的高并行和分布式架构提供了可行性。
那么,AO 是如何演变成一个分布式部署、高并行运行的去中心化世界计算机的呢?这主要得益于 Actor 模型、网络通信单元和基于 SSI 实现的分布式架构。
三、超并行:Actor 模型和网络通信单元
3.1、以 Actor 模型定义并行计算基本框架
AO 网络的名字来源于 “Actor Oriented”,意指其是一个超并行计算网络。这一称谓源自其核心运用的 Actor 模型,该模型设定了系统中并行运算的基础结构。
在 Actor 模型中,“actor” 是并行计算的基本单元,它由状态(State)、行为(Behavior)和邮箱(Mailbox)三大要素构成。这三个要素及其相互作用,构成了 Actor 模型的核心概念,如图 3-1 所示:
该模型定义了系统的核心组件和交互规则,actor 可以被看作是一个独立的、并发活动的实体,它可以接收消息、处理消息、发送消息,并动态创建新的 actor。该模型具有如下特点:
- 异步通信:多个 actor 间通过点对点的方式发送统一格式的消息,消息的发送与处理是异步进行的,这种通信方式天然适应于分布式系统中节点间的交互。
- 并行运行:每个 actor 都是独立的,不存在共享状态,因此不必担心其他 actor 的状态会影响到自己,每个 actor 可以独立地处理各自的任务,实现真正的并行操作。
- 分布式部署:actor 能够被分散部署和调度至不同的 CPU、节点,甚至不同的时间片中运行,而不会影响最终结果。
- 可扩展性:由于其分布式特性和松耦合的设计,Actor 模型能够通过增加节点和动态负载平衡等方式,灵活地进行水平扩展。
总之,Actor 模型以其优雅的处理机制优化并行和并发问题,特别适合用于构建分布式系统和高并发应用。AO 网络采纳 Actor 模型作为并行计算的架构基础,从而实现了高效的异步通信、并行运行、分布式部署及优秀的扩展能力。
3.2、通信网络单元的高效并行计算实现
Actor 模型为并行计算提供了框架,而 AO 的通信网络单元则体现了这一模型的具体实践。这些网络单元包括消息单元(MU)、调度单元(SU)和计算单元(CU),每个单元都是一个独立的 “actor”,它们通过统一格式(ANS-104)的消息进行协作和同步。图 3-2 展示了这些网络单元的基本功能和消息交互流程。
在 AO 网络中,启动一个应用程序将触发一个或多个进程的启动,系统会为每个进程配置内存、虚拟机和通信网络单元等资源。进程间的交互全部通过消息完成。首先,用户或其他进程的消息会发送到 MU,MU 进而将消息转发给 SU 以进行排序。排序后的消息及其结果会被永久存储在 Arweave 上,并由竞争计算权的 CU 集群中的某个 CU 进行状态计算,这意味着进程可以在任何计算节点上运行,显示出典型的去中心化并行计算特性。计算完成后,CU 会以签名凭证的形式将结果返回给 SU,以确保计算结果的准确性和可验证性,最终由 SU 上传至 Arweave。每个进程形成的完整数据集——包括初始状态、处理过程和最终结果——都将永久存储在 Arweave 上,成为可供他人检索、验证和使用的共识数据。
图 3-3 展示了 AO 网络处理 Token 转账请求的具体应用场景,清晰地描绘了各模块化网络单元的组成和通信流程,以及与 Arweave 的交互形成的分布式存储机制。
AO 系统综合利用了计算资源(分布式 CU 集群)、存储资源(分布式 Arweave 节点)和数据资源(存储在 Arweave 中的长期可用数据),为 AO 成为全球计算平台奠定了基础。基于 Actor 模型构建,AO 的计算网络不仅具备异步通信、并行运行、分布式部署的特点,还拥有卓越的扩展性,是一个真正的去中心化、分布式和并行运行的计算网络。
3.3、可定制的安全性和安全资源
上一节中,我们探讨了 AO 网络通信单元的组成与工作原理。在这一节中,我们将深入分析这一网络的安全性,它与 AO 协议的原生代币 $AO 紧密相连。此分析将呼应第 2.2 节中 “安全资源” 内容,专注于 AO 网络中可定制的安全性和安全资源。
由 MU、SU 和 CU 组成的网络通信单元是 AO 计算网络的核心组件,由其构建了去中心化世界计算机的运行机制,形成了计算、存储和数据三类系统级资源,这是 AO 网络中技术模型和资源模型的基础。在技术模型和资源模型基础上,AO 系统创建了需求驱动的可定制的安全机制。这是基于协议原生代币 $AO 构建的经济模型,由经济性博弈带来安全性保障,并由此提供了 AO 中的安全市场。
为了便于理解,以下从用户的视角,将 AO 中的安全机制简化为几个核心要素及其相互关系:定制化需求、安全/经济资源、安全机制和安全竞争市场。
图 3-4 描述了 AO 网络安全机制中各要素的相互关系:
- 定制化需求:作为一个超级并行计算平台,AO 中各节点独立并行运行各种进程,处理不同类型的数据。这些不同的数据交易场景对系统的延迟、成本和效率等有不同需求,这要求 AO 的安全模型必须具备灵活性,能够根据需求自定义安全策略。用户可以为每条消息定制所需的特定安全级别,从而推动安全资源的定制和有效分配。
- 安全/经济资源:$AO 是协议的原生代币,作为流通的公共价值单位和经济资源,在 AO 网络中支撑所有安全机制的经济博弈机制。
- 安全机制:在 AO 的各个进程中,包括 MU、SU 和 CU 等节点都需要质押 $AO 以参与安全机制。通过质押经济价值,系统对资金进行管理,依据规则执行罚款以防止恶意行为。例如,如果 MU 签署无效消息或 CU 提供无效签名证明,系统将对其质押资产进行削减。
- 安全竞争市场:由于安全是按每条消息购买的,不同消息对应不同的质押需求,从而产生了动态竞争市场。安全的价格由市场供需关系决定,而非固定网络规则。这种市场竞争机制促进了安全资源的有效定价和分配,提供了量身定制的安全性。
总结来看,AO 网络的去中心化点对点市场结构本质上使节点能够独立设定其消息传递服务的费用,这适应了不同数据交易对安全级别的不同需求,并体现了系统对特定安全响应的高效性。这种灵活性使其能够动态适应市场需求和供应的变化,促进竞争并提升响应效率,从而达到市场的高效均衡。
$AO 的流通性作为经济博弈的工具,在建立安全机制的同时,建立了一个全面、实时的代币估值框架,为代币的有效估值提供了坚实基础。一个设有完善估值框架和指标的 $AO 代币经济模型,无疑将进一步增强 AO 网络的安全性。
四、SSI:统一体验的分布式系统架构
在之前的讨论中,我们已经阐述了 Actor 模型为 AO 网络并行计算提供的基本框架,以及由 MU、SU、CU 组成的网络通信单元如何具体实现这一模型。这些通信单元被部署在分布式网络的不同异构节点上,使得进程运行不受特定物理位置的限制,并通过网络实现无缝的用户交互。这一切共同形成了一个统一的计算环境,实现了单一系统映像(SSI),这是 AO 网络能够支持无数进程的基础。本节将探讨 SSI 的定义以及它在 AO 中的具体作用。
单一系统映像(SSI)是分布式计算中的一个核心概念,它通过虚拟化技术将物理上分离的异构计算资源集成为一个统一的资源池。这种集成不仅提高了系统的抽象层级,也极大地优化了用户体验。在 SSI 的作用下,尽管系统可能由多台服务器、分布式数据库或多个网络组成,用户感知上却如同操作一台单一的计算机。
通常,SSI 结构包括用户层、统一接口、资源管理层、计算节点和存储层,其结构示意图如图 4-1 所示。
用户通过客户端或网页前端在用户层与 SSI 系统进行交互。统一接口负责接收用户的请求,并将这些请求分发至资源管理层。资源管理层则调度分布式部署的计算节点和存储资源,执行并行计算任务或进行数据的读写操作。
SSI 提供了一个针对当前公链多链并存问题的可行解决方案。举例来说,以太坊生态由于快速发展,面临拥堵、低效率及高成本问题,而 Layer2 作为解决这些扩展性问题的主要方案,引入了新的挑战。每条 Layer2 链在重复建设基础设施的同时,还导致流动性分散和资产跨链风险,增加了用户在各链间切换的复杂性和参与门槛,严重影响了用户体验和应用的规模化发展。
公链如 Solana 和 Polkadot 已经意识到这些问题,并在原有架构基础上进行调整。但 AO 在设计之初就采用了 SSI 的分布式架构,显示出了前瞻性和先见之明。
利用 Actor 模型,AO 的网络通信单元托管于分布式网络中的异构节点集上,这些节点可能分布在全球各个地区,包括各种类型和功能的服务器。基于 Actor 模型的 AO 计算网络是一个去中心化的分布式网络,需要一个统一架构来进行整合,以提供一致的可用性和用户体验。
当用户通过前端启动一个 AO 进程时,系统会配置所需的不同资源来处理消息传递、交易排序和状态计算等任务。对用户来说,底层的复杂分布式架构被抽象化,即使是庞大的节点集群也如同一台单一的计算机。这是因为 AO 系统采用 SSI 来整合分布式系统的复杂组件,通过模块化实现了统一的计算环境。也就是说,通过 SSI 架构,AO 将多个分布式计算节点整合为一个统一的资源,为用户提供了一个透明、高效、可扩展且统一的计算平台。
五、资源驱动价值创造和应用创新
综上所述,通过 SCP、Actor 和 SSI 的结合,AO 构建了一种创新的架构,为系统打造了计算、存储和数据(共识)三大可扩展的系统级资源,以及一种 $AO 支持的安全性资源。资源作为核心生产要素,在推动技术进步、激发应用创新、提高经济效益等方面发挥着关键作用。通过明确 AO + Arweave 系统中的资源要素,我们可以优化资源规划与管理,利用资源驱动技术与应用创新,加速 Web3 的价值创造,推动加密经济的增长。
在此,我们做一次总结性的梳理:
1、基础设施类价值创造
去中心化世界计算机:AO 整合了可扩展的计算、存储和数据资源,为所有应用提供了一个统一的去中心化计算平台,具有可验证和信任最小化特性。应用只需专注于业务创新,避免重复造轮子,使 AO 成为应用创新的公共基础设施。
链上共享数据资源库:Arweave 能永久存储几乎所有类型的数据,成为一个永不消失的"亚历山大图书馆"。无论是金融数据还是非金融类数据,其不可篡改、可验证的特性,使其成为可提供共识价值的公共商品,支持组合创新。
可定制化的安全设施:AO 可以根据不同的数据类型和价值,为客户和应用提供定制化的安全机制,实现安全性、成本与效率之间的平衡。
Web2 与 Web3 的桥梁:AO 运行在链下,可以与链上、链下系统无缝集成,成为 Web2 和 Web3 的连接桥梁。任何 Web2 应用都可以通过 API 和消息传递机制在 AO 中启动进程,调用 AO 中的网络单元执行计算,同时定制化其安全机制。
2、技术及应用创新
区块链发展至今,以比特币、以太坊、Solana 等为主的公链,其应用仍然偏于金融领域,比如资产发行、交易、抵押借贷、衍生品等,这让很多人误以为区块链的作用仅限于此。
但 AO + Arweave 的创新架构为区块链的技术创新和应用发展增加了新的可行性。除了支持大多公链所具备的金融创新外,AO 作为通用的世界计算机,支持所有的数据类型和对应的应用创新,特别是非金融类数据驱动的应用创新。
加载 AI 模型:AO + Arweave 架构提供了无限计算、存储和数据资源,在 WASM64、WeaveDrive 和 Llama.cpp 大语言模型推理引擎三个关键技术的支持下,AO 能在智能合约中直接运行多种开源的大型语言模型,例如 Llama 3 和 GPT-2,使智能合约能够直接处理复杂数据和并进决策,比如由 AI 驱动 Llama 3 模型实现的链上自主虚拟世界 Llama Land。
创建 Agent 和 AgentFi:基于 AI 模型的推理能力,以及 AO 进程能够基于时间对隐含的消息做出响应、唤醒自身并执行动作的能力,以及可以通过支付费用给 MU 来 “订阅” 一个进程,从而以适当频率来触发计算的能力等,AO 支持能够满足具有复杂业务逻辑、可预定义需求和多元化自主策略的 Agent 和 AgentFi。
版权管理和创作者市场(ContentFi):Arweave 以原子资产的形式存储着各种类型数据,数据易于识别和所有权确认,可以作为一种新的数字资产形态被货币化,通过在市场上流通和交易实现价格发现,建立清晰的利益分配和协作模式,为版权管理和创作者市场提供支持。
下一代互联网框架 Permaweb:与传统 Web2 互联网的应用层、服务层和存储层的三层结构不同,Permaweb 通过将存储层替换为 Arweave 的永久存储解决方案,实现了所有内容的永久存储,且以原子资产的形式存储在 Arweave 中。并基于 SCP 在应用层构建支持 AO 超并行计算的各类应用,打造一个永续在线、去中心化的新一代互联网框架。此框架虽与 Web2 整合,体验与 Web2 无异,但两者间存在显著的差异,Permaweb 并非 “有围墙的花园”。它为开发者、运营商和用户提供了一个公平、开放的环境:用户拥有并控制自己的数据;数据可在不同应用之间自由流动;开发者和运营商可以在既定规则内,无需特别许可地利用数据开展业务,从而促进各方之间的互利共赢。
以上是 AO 可支持的几个典型应用创新方向。当然 AO 可以支持更多数据类型和更广泛场景的应用创新。虽然 AO 生态发展时间尚短,技术和应用创新还需时间检验,但我们更愿意从整个 Web3 行业发展的阶段和 Web2 系统的特征来评估这些创新的意义和价值。
当前 Web3 行业都在探索大规模采用的可行路径,许多区块链正在为此努力,例如 TON 与 Telegram 结合,引导 Web2 真实用户到 Web3 真实应用的转变,意图大规模实现流量到流动性的价值转换;CKB 成为 Bitcoin 的 L2,正在构建基于 CKB 的闪电网络,意欲带来高频率、小额度、大规模的点对点支付。
从行业发展角度看,AO + Arweave 重新定义了去中心化计算机的实现框架,以创新架构带来系统的灵活性、安全性和经济效率,构建起可扩展的系统级资源,可持续释放资源潜力,驱动技术和应用创新,实现价值创造和转移,推动 Web3 和 Web2 的融合,为 Web3 走向大规模采用提供了一种可行路径。
参考资料
1、阿维:一种经济可持续地永久保持信息的协议
2、AO 协议:去中心化、无需许可的超级计算机:
3、Arweave 实现的基于存储的计算范式:
https://news.ever.vision/a-storage-based-computation-paradigm-enabled-by-arweave-de799ae8c424
4、技术详解 ao 超并行计算机:
https://www.chaincatcher.com/article/2121544
5、解读 SCP:跳出 Rollup 定式的去信任化基础设施范式:
https://mp.weixin.qq.com/s/BPRAsby78G2a835pX1l3iw
6、深入解析 actor 模型(一):actor 介绍及在游戏行业应用:
https://blog.csdn.net/weixin_44505163/article/details/121191182
7、Arweave 永久存储 + AO 超并行计算机:构建数据共识基础设施:
https://www.chaincatcher.com/article/2141924
注:该文首次发表于 PermaDAO 公众号:
https://mp.weixin.qq.com/s/WJRCXnp-PPvVDHyM8MDaMQ
免责声明:作为区块链信息平台,本站所发布文章仅代表作者及嘉宾个人观点,与 Web3Caff 立场无关。文章内的信息仅供参考,均不构成任何投资建议及要约,并请您遵守所在国家或地区的相关法律法规。