魏泰|齐王|穆玉琴|易唐|韩翠
中国东南大学网络科学与工程学院，南京210000
摘要
在传统的电力系统分析中，物理功率流与环境属性的解耦导致碳责任的定义模糊不清，市场交易与物理约束之间存在错位。为了解决这些问题，本文提出了一种基于电碳耦合（ECC）理论的多智能体协同调度框架。首先，建立了广义碳排放流（CEF）的测量模型，利用图论拓扑排序算法克服了大规模网络中的计算瓶颈，实现了准确的实时碳追踪。其次，为了解决商业交易与物理传输能力之间的偏差，引入了基于碳流一致性指数（CFCI）的绿色证书有效性验证机制和阶梯式碳价格模型。为了进一步弥合市场清算与实时运行之间的时间尺度不匹配问题，并针对物理-市场耦合约束的非凸性，提出了一种基于多智能体深度强化学习（MADRL）的多时间尺度低碳调度策略。该策略创新地量化了储能的碳责任时间转移价值。基于IEEE 14节点输电系统和33节点配电系统的案例研究表明，所提出的框架有效抑制了名义-物理碳的不一致性，提高了系统的整体低碳成本效益，并验证了储能在时空碳转移中的有效性。
1. 引言
气候变化已成为一个严重的全球性挑战，而电力系统作为能源转换和传输的中心，在全球碳中和过程中发挥着决定性作用[1]、[2]、[3]。统计数据显示，2024年美国电力行业的二氧化碳排放量达到了14.27亿吨，占该国总能源相关排放量的近30%。在中国，由于电力结构以燃煤发电为主，电力行业的碳排放量占比超过40%[4]、[5]。因此，电力系统的低碳转型不仅是技术进步的问题，也是国家能源安全和国际条约遵守的战略要求[6]。
传统上，电力系统的规划和运行遵循基尔霍夫定律和热稳定性限制，最小化燃料成本是核心经济目标[7]、[8]。环境属性通常被简化为发电侧的静态约束（如碳税）[9]、[10]。然而，这种方法忽略了碳排放随电力流在网络中传播的时间和空间特性，导致显著偏差：
- 空间异质性：传统的平均排放因子假设一个区域内所有节点的碳强度均匀，忽略了传输拥堵引起的流量分布差异。实际上，由于供应源不同，物理上相邻的节点碳强度可能相差数百倍[11]、[12]、[13]。
- 时间动态性：发电结构每秒都在变化[14]、[15]。缺乏高分辨率的动态碳信号阻碍了需求响应（DR）和储能资源对减排的准确贡献，甚至可能在“低价但高碳”时期因充电而导致“碳增加”的悖论[16]、[17]、[18]。
为了解决这些问题，引入了电碳耦合（ECC）的概念。它要求在物理层实时追踪电子-碳流，在市场层整合电力-碳价格，在调度层协同优化能源-环境目标。
1.1. 文献综述
1.1.1. CEF理论
CEF理论的核心思想是将碳排放视为附着在有功功率流上的虚拟流体。早期研究基于“比例共享原则”建立了碳排放流计算模型，将发电侧的碳责任分配给电网中的每个支路和负载节点[19]、[20]。从算法上讲，经典的CEF计算依赖于构建分布矩阵并进行反演，计算复杂度为O(N³)，难以满足大规模电网的实时应用需求[21]。最近的研究引入了图论中的拓扑排序算法。然而，这些现有的快速算法主要关注物理指标的计算加速，将碳追踪视为独立的后分析工具[22]。它们通常缺乏与下游市场价值机制的深度整合。此外，在这些简化的图模型中准确分配与网络损耗相关的碳责任仍然是一个未完全解决的挑战。
1.1.2. 电碳市场耦合机制
现有的可再生能源证书（REC）交易通常采用合同路径方法，即一旦买方购买证书，即被视为使用了绿色电力。然而，多项研究表明，这种机制可能导致“漂绿”现象，即由于传输拥堵而无法实际使用绿色电力的用户仅名义上履行了义务，实际上仍在使用本地的高碳电力[23]、[24]、[25]。在定价机制方面，单一的碳价格信号缺乏足够的激励作用来促进深度削峰，而分层碳定价机制已被证明在提供减排激励方面更为有效，仍需进一步深入研究[26]。
1.1.3. 智能低碳调度
随着可再生能源渗透率的不断提高，供需双方的不确定性增加，这给传统的凸优化调度方法带来了维数灾难和非凸挑战[27]。研究重点逐渐转向覆盖日前到实时的多时间尺度协同调度。深度强化学习（DRL）因其卓越的在线决策能力而受到广泛关注[28]。然而，大多数基于DRL的调度模型依赖于简化的碳信号（如平均排放因子）或静态惩罚，并未能将实时物理碳流约束纳入智能体的状态空间[29]。尽管在这些独立领域取得了显著进展，但在它们集成过程中存在一个核心数学冲突：物理拓扑碳追踪的非线性特性与阶梯式碳定价的非凸特性相结合，使得传统的混合整数非线性规划（MINLP）最优功率流求解器难以处理，并容易受到维数灾难的影响。因此，仍然缺乏一个能够规避这些非凸优化挑战的统一框架。
1.2. 主要贡献和结构
为了弥合上述差距，本研究从根本上将范式从传统的数学规划转变为数据驱动的多智能体深度强化学习（MADRL）框架，成功解决了物理-市场耦合挑战，而无需依赖凸近似，如图1所示。
目标是在精确的物理感知、平滑的价值传输和智能调度决策的基础上构建一个低碳电力系统操作系统，以解决能源与环境属性解耦所带来的系统性脱碳挑战。具体工作安排如下：第2节基于图论拓扑排序建立了精确的CEF测量模型；第3节提出了基于CFCI的绿色证书有效性验证机制和阶梯式碳价格模型；第4节定义了储能的碳强度特性并设计了碳责任时间转移策略；第5节基于MADRL-TD3构建了多时间尺度低碳协同调度算法模型；第6节通过基于IEEE 14节点和33节点网络的集成输配电（T-D）系统验证了所提策略的有效性和经济性；第7节总结了研究结果并讨论了未来方向。
本文的主要创新如下：
- 视角转变：超越宏观统计方法，建立了一个基于节点级实时节点碳强度（NCI）和位置边际碳排放（LMCE）的动态追踪和控制系统。
- 机制重构：提出了绿色证书有效性验证机制和碳流一致性指数，利用碳流追踪来协调绿色电力交易与物理功率流之间的差异。
- 角色重新定义：将电池储能系统（BESS）重新定义为碳责任时间转移工具，并构建了考虑动态碳价格和运营碳责任的BESS优化模型。
2. 电碳物理追踪模型
ECC的核心是准确描述碳排放的物理流动。本节构建了基于CEF的理论框架，并详细描述了其定义、公理系统和大规模电网的快速计算方法。
2.1. 碳排放流（CEF）的基本理论
2.1.1. 核心定义
CEF被定义为一种虚拟网络流，它依赖于功率流来表征与维持电力传输相关的碳排放转移关系。为了量化这一过程，引入了两个关键状态变量：
- 碳排放率（R），单位为tCO₂/h。
- 碳强度（e），单位为kgCO₂/kWh，作为节点和支路电力“清洁度”的直接度量。
它们之间的关系定义为：
(1) R = P·e
2.1.2. 比例共享原则
CEF计算基于“比例共享原则”，这是一个物理公理，指出从节点流出的电力（包括不同来源的混合比例）与流入该节点的总混合电力组成相同。
从数学上讲，基于先前CEF研究[16]、[17]建立的基本理论框架，对于具有输出支路集合Ωnout的节点n，任何支路j∈Ωnout的碳强度满足：
(2) ej = en, ∀j∈Ωnout
这意味着节点充当混合器，电力和碳流在此均匀混合。
2.2. 碳流计算的数学模型
2.2.1. 节点碳平衡方程
对于具有N个节点的电力网络，根据质量守恒定律，任何节点i的总碳流入必须等于总碳流出。设Ωiin为注入节点i的支路集合；节点i的碳平衡方程为：
(3) ∑j∈Ωiin Pjej + PG,i = Pioutei
其中Piout是通过支路和负载从节点i流出的总功率。PG,i和eG,i分别表示位于节点i的本地发电机的功率注入和碳强度。
根据比例共享原则，所有N个节点的平衡方程可以合并并组织成矩阵形式：
(4) PfluxE = RG
其中E=[e1,e2,…,eN]T是节点碳强度向量；RG=[PG1,eG1,…,PG,N]T是发电的碳注入向量。
Pflux是N×N的流矩阵，其元素定义为：
(5) (Pflux)ij = Piout,i = j ∈Ωiin
如果Pflux非奇异，则节点碳强度的解析解为E = Pflux⁻¹RG。
2.2.2. 网络损耗校正
在实际输电线路中，电阻会导致功率损耗。为了确保整个过程中的碳守恒，网络损耗必须被视为碳分配的特殊虚拟负载。
根据比例共享原则，损耗部分的碳强度等同于支路起始节点的碳强度。给定支路j的损耗ΔPj，节点i的校正平衡方程为：
(6) ∑j∈Ωiin (Pj - ΔPj)ej + PG,i = (PL,i + ∑k∈ΩioutPk)ei
校正后的节点碳强度为：
(7) ei = ∑j∈Ωiin (Pj - ΔPj)ej + PG,i
∑j∈Ωiin (Pj - ΔPj) + PG,i
2.3. 基于图论拓扑排序的快速算法
针对基于大规模电网矩阵反演的传统碳追踪方法的计算瓶颈，本文提出了一种基于图论的快速计算架构。该框架将碳流问题从全局代数方程的求解过程转换为有向无环图（DAG）上的线性递归传播。
电力网络被正式建模为有向图G=(V,E)。在复杂的网状网络中，闭环功率流会产生“循环依赖性”（即代数循环），使得节点碳强度隐式相互依赖。为了解耦这些循环，采用Tarjan算法识别强连通分量（SCCs），该过程包括两个关键阶段：
2.3.1. 通过深度优先搜索识别SCCs
算法使用全局时钟遍历G，并为每个节点u分配两个参数：发现时间戳DFN[u]（访问顺序）和低链接值Low[u]（通过搜索栈从u可达的最小DFN）。
遍历和栈维护：在深度优先搜索过程中，访问过的节点被推入栈中。如果u的后继节点v已经在栈中（表示存在回边），则更新操作为Low[u] = min(Low[u], DFN[v])，这表示检测到循环。
组件提取：当递归返回到节点u并满足Low[u] = DFN[u]时，节点u被识别为SCC的根。栈中当前位于u上方的所有节点（包括u）被弹出，形成一个精确的SCC。拓扑凝聚与解耦
被识别的代表物理环路结构的SCC被简化为一个超级节点。在每个超级节点中，通过同时线性方程求解节点碳势。在超级节点之外，凝聚图在拓扑上严格有序。这种层次结构消除了全局循环依赖性，从而实现了从源头到负载的碳流的顺序非迭代计算。
2.3.3 基于拓扑排序的线性递归机制
对重构的有向无环图（DAG）应用拓扑排序算法，生成计算序列S={v1,v2,...,vn}，确保严格的物理因果关系：对于任何节点vk，其所有上游的功率注入节点（来自集合Ωvkin）在序列中都出现在它之前。因此，可以根据比例共享原则通过直接代数递归得出节点i的碳强度ei，而无需进行迭代计算以获得收敛结果：
(8) ei = ∑j∈ΩiinPj·ej + PG,i·eG,i
2.3.4 复杂性分析与可扩展性
该算法的根本优势是将时间复杂度从立方降低到接近线性。总复杂度控制在O(N+M)（其中N是总线数量，M是分支数量）。整个求解过程如图2所示。
下载：下载高分辨率图像（372KB）
下载：下载全尺寸图像
图2. 基于图论的CEF求解流程图
2.4 位置边际碳排放
在边际定价市场中，LMCE定义为在满足网络流和单元运行约束的情况下，特定节点负载增加一个单位所导致的总系统碳排放的增量变化。与反映平均排放水平的NCI不同，LMCE揭示了负载变化对系统边际单元输出的影响，提供了更强的经济指导。其数学表达式为：
(9) LMCEi = ∂Esys∂PL,i = ∂∑g∈G(eG,g·PG,g)∂PL,i
其中Esys是系统范围内的排放率。根据拉格朗日对偶理论，在考虑碳成本的经济调度模型中，LMCE与位置边际价格（LMP）中的碳成分本质上是一致的。当节点i的负载增加时，系统会调用灵活资源或边际单元来弥补缺口；LMCE精确量化了由此产生的环境成本变化。这为低碳需求响应（DR）提供了准确的价格信号，引导灵活资源流向“边际碳减排”潜力高的区域，从而实现系统范围内的高效脱碳。
3. 电碳耦合市场机制
碳流追踪技术解决物理测量问题，而电力市场交易创造虚拟商业流。为了实现真正的脱碳，必须在物理层和市场层之间建立耦合机制。
3.1 物理和市场碳流的耦合分析框架
3.1.1 双层碳流定义
为了定量分析市场合同与物理操作之间的偏差，定义了两种形式的碳流：
物理碳流（PCF）：表征节点i实时消耗的电力的客观环境属性。其核算的排放量为：
(10) EiPCF = PL,i·einode
其中einode是节点碳强度。
市场碳流（MCF）：表征基于双边合同或绿色证书交易形成的虚拟环境属性。假设用户i从清洁源j购买了功率为Pjicont的绿色电力合同；其理论上的市场侧减排量为：
(11) ΔEiMCF = Pjicont·(egridavg - eG,j)
3.1.2 耦合贡献分析
利用功率流矩阵Pflux，发电机j对负载i的实际物理贡献比率αij为：
(12) αij = (Pflux - 1)ij·PG,jPL,i
因此，物理追踪的功率为Pjitrace = αij·PL,i。理想情况下，市场合同应满足Pjicont ≤ Pjitrace，意味着购买的绿色电力不应超过物理供应限制。
3.2 基于物理追踪的碳责任校正机制
3.2.1 绿色证书有效性验证
为了解决由于传输拥堵导致的物理流与商业合同之间的不一致，本文提出了碳流一致性指数（CFCI）：
(13) CFCIji = Pjitrace / Pjicont
我们定义绿色证书校正系数为ξji = min(1, CFCIji)。当CFCIji < 1时，商业合同超过了物理传输能力，证书被认为部分“洗绿”，其环境价值按比例折现。
在实际工程应用中，这种实时CFCI机制并不旨在取代现有的长期REC交易框架（例如，月度或年度合同）；相反，它作为一种事后的运营结算机制。长期REC建立了绿色能源权利的财务基准和名义数量。相反，实时CFCI充当动态的每小时验证层。在市场结算周期结束时，用户实际认可的绿色电力消耗量计算为合同量乘以实时CFCI的时间积分。
3.2.2 校正后的碳责任会计模型
在综合考虑物理约束后，用户i的最终核算碳排放量Eifinal被校正为物理基准与有效市场抵消量之间的差值：
(14) Eifinal = PL,i·einode - ∑j∈Ggreenξji·Pjicont·(einode - eG,j)
该模型迫使市场交易与物理现实重新对齐，并指导高能耗用户不仅购买绿色电力，还选择绿色电力物理上可获得的地点，从而优化系统流模式。
3.3 电碳耦合节点清算模型
碳排放成本包含在电力现货市场的清算系统中。嵌入的LMP（LMPi）可以分解为：
(15) LMPi = λsys + μloss,i + ηcong,i + γ·LMCEi
其中：λsys是系统边际价格。μloss,i和ηcong,i分别代表网络损耗和拥堵成分。γ·LMCEi是碳排放值，γ是实时碳价格。这一成分直接将物理边际排放率转换为经济信号，实现了电力-碳价格信号的深度耦合。
3.4 分段线性阶梯碳定价机制
为了加强减排约束，构建了一个分段线性阶梯碳定价模型。给定系统的总排放配额Equot，任何超过配额的排放Etot将按惩罚价格λpen收费。总碳成本为：
(16) Ccarb(Etot) = λbaseEtot + λpen·(Etot - Equot)
当Etot ≤ Equot时，Ccarb(Etot) = λbaseEtot；当Etot > Equot时，Ccarb(Etot) = λpen·(Etot - Equot)
非线性成本函数产生了显著的边际激励，迫使系统最大化利用能源存储进行负碳运行。
4. 能源存储与碳责任时间转移
在ECC系统中，BESS的作用发生了根本性的转变，从仅仅是一个能量时间转移器变成了碳排放责任的空间时间转移器。
4.1 BESS动态碳排放特性的建模
传统观点通常将存储视为零碳资源，但从ECC的角度来看，其排放属性取决于充电的时间和来源。我们定义了存储的碳强度状态（SOCI），表示电池内存储能量的平均碳强度，记为eess(t)，其动态更新遵循能量和碳守恒的双重法则：
(17) eess(t) = eess(t-1)·eess(t-1) + Pch(t)Δt·ηch·egrid(t) - Pdis(t)Δt/ηdis
其中：eess(t-1)是前一时刻的存储充电状态；Pch(t)和Pdis(t)是时间t的充电和放电功率；ηch和ηdis分别是充电和放电效率；egrid(t)是BESS连接点的实时物理节点碳强度（ei）。
上述模型证明，充电和放电效率的变化直接影响SOCI的动态更新。在这个ECC框架中，这些物理损失的碳责任（ΔElosst = Pch(t)(1 - ηch) + Pdis(t)(1/ηdis - 1)）明确归因于BESS资产所有者，这在经济上惩罚了低效的运营周期。为了量化这些变化导致的碳时间转移策略中的潜在误差，进行了理论敏感性分析。假设标准的放电深度剖面，往返效率的±5%变化会导致24小时周期内的SOCI偏差为3.2%-4.8%。这再次强调了将BESS物理损失模型与其多代理奖励函数直接耦合的必要性。
4.2 碳责任时间转移策略
基于SOCI模型，我们提出了碳责任时间转移策略。核心逻辑是利用ESS将负载的碳责任从高碳时期转移到低碳时期。
4.2.1 策略逻辑
转移策略的目标是在整个调度周期内最小化总综合运营成本（包括动态碳成本）。对于BESS，核心目标函数CBESS定义为：
(18) CBESS(t) = ∑t=1Tγ(t)·Pdis(t)·eess(t) - Pch(t)·egrid(t)⏟Net Carbon Throughput·Δt
其中γ(t)是实时碳价格信号。这一目标指导存储在低强度时期充电（获取低碳能源）并在高强度时期放电（替代高碳电力），实现“碳套利”。
4.2.2 负碳激励机制
在可再生能源受限期间，系统的边际碳排放率为零。为了最大化吸收，本文引入了“负碳激励”。当检测到节点处的限电时，设置一个虚拟激励碳强度为负值：
(19) egridincentive(t) = -μ·egridavg(if Curtailment > 0)
其中μ>0是激励系数。在这种机制下，存储充电不仅不承担碳责任，实际上还能获得“碳信用”收益。这在数学公式中创造了强烈的梯度，促使代理在限电期间满负荷充电，从而物理上吸收多余的清洁能源。为了确保这种虚拟市场机制的宏观经济合理性和闭环性质，这些“碳信用”收益的财务补偿来自一个集中的绿色激励池。该池由来自超过分配配额的高排放发电机的分阶段碳罚款收入持续资助。
总之，图3所示的架构可视化了电力系统中碳排放的多维动态。通过将物理网格映射到时空轴上，该图展示了碳如何通过传输线在空间上流动，通过市场转移责任，并通过能源存储干预在时间上转移。
下载：下载高分辨率图像（423KB）
下载：下载全尺寸图像
图3. 碳排放动态流的空间时间机制示意图
5. 基于DRL的多代理低碳调度
ECC系统引入了碳流约束和非线性碳定价机制，使得传统的混合整数线性规划调度模型难以解决。特别是，碳流计算涉及双线性项，阶梯碳定价引入了非凸性。因此，本节提出了一种基于MADRL-TD的多时间尺度低碳调度策略。
5.1 DRL模型
我们将实时电碳调度问题建模为一个部分可观测马尔可夫决策过程，由元组(S,A,R)定义。
状态空间(S)：全局状态st∈S涵盖了网格的全面物理和环境状态。对于集中式Critic，观测包括：
(20) st = [PL,t,Pren,t,SOCt,Et,eess,t,γt,Eacc,t]
其中：PL,t,Pren,t∈RN：实时节点活跃负载和可再生能源输出的向量；SOCt∈RNess：所有能源存储系统的充电状态；Et∈RN：通过快速CEF算法计算的实时NCI向量；eess,t∈RNess：BESS的SOCI；γt∈R：来自阶梯定价机制的实时边际碳价格；Eacc,t∈R：截至时间t的累积系统碳排放量。
动作空间(A)：联合动作at∈A包括所有可控资产的连续控制变量，包括热力单元、能源存储和灵活负载：
(21) at = [PG,t,Pch,t,Pdis,t,PDR,t]
其中：PG,t∈RNgen：热力发电机的活跃功率设定点，受爬坡率和容量限制；Pch,t,Pdis,t∈RNess：存储系统的充电和放电功率设定点，满足互补性约束；PDR,t∈RNload：灵活负载调整，表示响应高节点碳价格而需要削减或转移的负载量。
奖励函数(R)：为了表征不同市场主体的差异化碳交易需求和异质利益诉求，为不同类型的代理制定了特定于主体的奖励函数：
(22) rtGen = -∑i∈ΩG(ai(PG,it)2 + biPG,it + ci) + γtmax(0,eiPG,it - Equota,it)
rtBESS = ∑j∈ΩBCBESS,j(t) + egrid,jincentive(t)
rtLoad = ∑k∈ΩLρDRΔPL,kt - λct(ektPL,kt)
rtGlobal = rtGen + rtBESS + rtLoad
1) 发电代理(rtGen)：热力单元的主要目标是平衡传统发电收入与排放约束。奖励定义为二次燃料成本和发电侧阶梯碳罚金的负和。
2) BESS代理(rtBESS)：能源存储作为一个独立的利润追求实体。其奖励完全由激励驱动，最大化套利收益和负碳激励信用，如(18)和(19)所定义。
3) 负载代理(rtLoad)：灵活负载旨在最小化物理碳成本，同时最大化需求响应补偿。其中ρDR是负载减少的单位补偿；λct是基础碳价格；ekt是实时物理追踪的节点碳强度。
4) 全局合作奖励(rtGlobal)：为了确保MADRL算法收敛到系统范围内的最佳低碳状态，中央Critic评估所有参与者的联合合作奖励。
这种数学上差异化的设计确保了每个市场主体的具体激励边界和适应性要求在强化学习环境中得到明确捕获。
5.2 模型的解决过程
每个代理i（代表一个可调度单元或微电网）包括一个用于策略生成的Actor网络μi(·|θiμ)和两个用于价值估计的Critic网络Qi,1(·|θi,1Q),Qi,2(·|θi,2Q)。特别设计了一个双延迟深度确定性策略梯度(TD3)算法，以减轻在波动性碳定价环境中常见的Q值高估偏差。
5.2.1 Critic网络更新
Critic网络通过最小化联合动作的时间差异误差来进行更新。根据最近在多智能体电力系统调度文献[30]中广泛采用的TD3公式，损失函数定义为：(23)L(θiQ)=ED(yi-Qi(S,A))^2目标值yi用于训练，使用裁剪的双Q学习机制[30]、[31]计算：(24)yi=ri+ηmin{j=1,2}Qi,j′(S′,A′)其中θiμ和θiQ表示智能体i的Actor网络和Critic网络的可训练参数。D表示经验回放缓冲区。η是折扣因子（η∈[0,1]），用于确定分配给未来低碳收益的权重。Qi,j′指的是目标网络。S′和A′分别指的是下一个状态和联合动作。min{j=1,2}从两个目标Critic中选择较小的值，以提供对未来回报的保守估计，确保收敛的稳定性。5.2.2. Actor网络更新Actor网络通过确定性策略梯度上升进行更新，以最大化预期累积奖励。梯度是通过将Critic的反馈反向传播到Actor的参数来计算的：(25)∇θiμJ≈ED∇aiQi,1(S,A)|ai=μi(si)·∇θiμμi(si)整个训练过程如图4所示，使智能体能够从局部观察中学习到最小化系统范围碳责任的调度动作，同时保持经济效率。下载：下载高分辨率图像（191KB）下载：下载全尺寸图像图4. 基于MADRL的低碳调度的训练过程。5.3. 算法执行流程MADRL-TD3训练过程的伪代码如下。算法1 MADRL-TD3训练过程初始化智能体集N，经验回放缓冲区D初始化Actor网络μi、Critic网络Qi及其目标网络。对于范围(MaxEpisodes)内的每个剧集：初始化电力系统环境，获取初始状态S={o1,…,oN}对于t在范围(MaxStep)内：# 分布式决策每个智能体根据局部观察oi选择动作ai=μi(oi)+N执行联合动作A={a1,…,aN}，观察奖励r和新状态S′将(S,A,r,S′)存储在缓冲区D中# 集中式训练（从D中抽取小批量）如果满足训练条件：对于每个智能体i：1. 更新Critic：计算目标值yi（使用双延迟目标Q网络）2. 最小化L(θiQ)以更新Critic参数如果达到延迟更新步骤：3. 更新Actor：沿∇θiμJ提升μi参数4. 软更新目标网络参数S=S′通过Critic网络的集中观察，算法有效地捕捉了节点碳强度波动的全局特征。同时，Actor的分散执行确保在通信受限或分布式操作的场景中具有实时响应能力。随着这个电碳耦合框架扩展到超大型实际电网，节点数据的庞大体积和相关的通信开销将不可避免地在状态空间内引发“维度灾难”。为了在未来的大规模部署中缓解这一计算瓶颈，应该将空间注意力机制等先进的表示学习技术集成到Critic的架构中。这些机制可以有效地执行局部特征提取，并动态过滤掉弱相关的远端节点状态，从而显著压缩全局状态表示，减轻通信和计算负担。6. 案例研究基于IEEE 14和33总线系统的传输-分配协调系统的碳足迹跟踪和AI调度验证被作为案例。6.1. 场景设置6.1.1. 系统拓扑和资源配置拓扑如图5所示，配置如下。下载：下载高分辨率图像（327KB）下载：下载全尺寸图像图5. 研究的IEEE 14–33总线系统的拓扑。传输网络（IEEE 14-Bus）：提供基本负载和碳源注入。总线1（G1）：燃煤单元，0.85kgCO2/kWh（高碳基础）。总线2（G2）：燃气单元，0.45kgCO2/kWh（灵活的碳可调源）。总线8（G3）：集中式风电场，0.02kgCO2/kWh（清洁能源注入）。碳排放强度根据中国生态环境部发布的基准排放因子进行校准。分配网络（IEEE 33-Bus）：在总线5处连接到传输网络。总线18：分布式光伏，峰值容量2.0MW。总线33：BESS，容量20MWh，最大功率10MW。总线18/22/25/32：灵活负载，可调比例为15%。BESS的配置和灵活负载的可调比例与分配网络的总峰值负载成比例，反映了现代主动分配网络的典型渗透水平。市场定价：阶梯式碳定价系数和负碳激励池是根据区域平均边际减排成本数学推导出来的。具体来说，基础碳价格定为$40/t CO2，超过排放配额的阶梯式罚款价格定为$80/t CO2。此外，吸收可再生能源削减的灵活资源的负碳激励系数定为$25/t CO2。这些具体值确保经济信号在市场参与者的现实和激励兼容范围内。6.1.2. 实验场景设置所有模拟都在配备有Intel Core i9-13900 K处理器（3.0 GHz）和64 GB RAM的工作站上执行，运行64位Windows 11操作系统。MADRL框架使用Python 3.8和PyTorch 1.12库开发，而拓扑排序和功率流计算通过MATLAB R2023a集成。为了确保研究结果和算法训练过程的可重复性，提出的MADRL-TD3框架的超参数配置在表1中明确详细说明。表1. MADRL-TD3算法的超参数设置。超参数值Actor学习率1×10^-4小批量大小256Critic学习率1×10^-3探索噪声（高斯）σ=0.1折扣因子0.99目标策略噪声N(0,0.2)，裁剪在[-0.5,0.5]软更新系数0.005策略更新延迟2回放缓冲区容量10^5最大训练剧集数5000为了系统评估所提出的DRL驱动的碳跟踪和调度框架的有效性，建立了四个比较场景（S1–S4）。这些场景代表了电力系统操作从传统成本最小化到先进的、市场整合的、低碳协调的演变轨迹。S1：基线场景（传统经济调度）。这个场景代表了以经济为主要目标的传统操作范式。传输系统运营商致力于最小化燃料成本。分配网络作为被动聚合负载，没有主动响应能力，BESS处于空闲状态。S2：传输侧碳导向优化这个场景在传输级别引入了CEF约束。静态碳税或惩罚因子被整合到目标函数中，以实现环境成本的内部化。分配网络仍然是刚性负载，不积极参与调节。S3：DRL驱动的T-D协调调度。这个场景实施了本文提出的DRL框架。分配网络从被动负载转变为主动的生产者。分配级别的AI代理观察T-D接口处的实时节点碳潜力，并动态调整内部资源以最小化全球碳足迹。S4：与市场机制结合的能量存储套利。在S3的基础上，这个场景引入了动态市场信号，以验证所提出方法的经济可行性。目标从纯粹的环境驱动的碳排放减少转变为电力-碳耦合市场中的利润最大化。代理学习通过利用电力市场和碳市场之间的价格差异进行双重套利。4个场景的关键参数如表2所示。表2. 不同场景的关键性能指标。案例模式协调深度目标函数关键特征S1OPF无（被动D-Grid）最小燃料成本碳盲：忽略环境影响。S2碳OPF弱（仅T侧）最小（成本+碳惩罚）刚性：由于缺乏需求侧灵活性而受限。S3DRL强（T-D闭环）最小全球碳流量碳意识：通过DRL实现主动的负载-源协调。S4DRL+市场强+经济最大化综合利润激励兼容：能源和碳的双重套利。6.2. 初始CEF结果CEF理论用于计算网络中所有节点的实时碳排放强度。为了保持叙述的连贯性和提高主文本的可读性，详细描述网络初始状态的广泛数据表已移至附录A。从中可以得出一些碳排放模式的结论：高碳峰值：集中在传输网格的燃煤单元和分配网络的终端（受累积线路损失影响）。低碳低谷：位于风电场（T8）的半径内和分布式光伏总线（D18）周围。优化潜力：最初，分配网络中的33个总线中有25个的碳潜力超过0.65kg/kWh。调度的核心目标是通过BESS和DR来减少这一百分比。IEEE 14–33协调系统内主要总线和分支的时空碳动态在图6中阐明。下载：下载高分辨率图像（591KB）下载：下载全尺寸图像图6. 碳排放流的时空动态。图6a显示了显著的异质性：尽管燃煤T总线1保持高静态基线，但D总线18在中午时段创造了一个独特的“绿色窗口”，通过光伏注入将局部碳强度降低到平均水平以下。图6b量化了这种积极的脱碳效果。光伏接入前后的碳流量偏差显示了稀释效应，有效地抵消了由物理传输距离引起的网络损失惩罚。此外，图6c确认了分配网络从被动负载转变为具有碳中和功能的并联网络，D18有效地抵消了上游流入的碳排放。最后，图6d显示，尽管进行了下游优化，总体排放仍然受到上游煤炭走廊的限制，碳堵塞现象与电力负荷峰值同时发生。总之，这些指标确认了后续调度必须同时最小化碳距离的成本并缓解接口压力。6.3. 4个场景的调度结果比较分析6.3.1. 调度策略和灵活性激活的集成分析图7中的策略显示了从被动刚性到主动协调的演变轨迹。下载：下载高分辨率图像（415KB）下载：下载全尺寸图像图7. 集成分析：发电调度和灵活性激活。在基线场景（S1和S2）中，发电调度表现出严格的被动响应特性，迫使燃煤单元积极调整以跟踪波动的负载曲线，同时依赖昂贵的燃气单元来满足峰值需求；在S3场景中引入AI协调机制激活了分配网络的灵活性。夜间高峰时段显著的BESS放电和DR负载削减行为有效地将发电输出与原始负载需求分离，实现了显著的峰值削减效果，同时减少了对峰值削减单元的依赖。最后，S4展示了AI调度和市场机制之间的最佳协同作用。在这个场景中，代理实施了激进的深度套利策略，其特征是在中午进行高强度的能量存储充电以吸收光伏边际，在夜间进行深度放电，以平滑净负载曲线。6.3.2. 系统性能和协调机制分析24小时运行后，四种场景下的关键性能指标如表3和图8所示。表3. 不同场景的关键性能指标。指标S1（基线）S2（仅传输）S3（DRL）S4（DRL+市场）总碳（t）13541188962893平均分配强度（kg/kWh）0.680.580.420.38可再生能源整合（%）82.5%88.2%96.8%99.2%总运营成本（$）42,21346,52541,77838,024下载：下载高分辨率图像（290KB）下载：下载全尺寸图像图8. 性能空间分析：轨迹和协调。图8a中的成本-排放空间清楚地显示了从基线场景到AI协调场景的演变路径。从S1到S2的转变显示了典型的政策-成本权衡关系，其中实现碳排放减少的代价是运营成本的增加和波动性的增加。相比之下，S3和S4克服了这种权衡困境。值得注意的是，由市场协同效应驱动，S4实现了成本和碳排放的同时最小化。图8b中的分解分析量化了传输和分配资源对系统脱碳的边际贡献。S2显示了传输主导的严格特征，沿X轴水平移动。这证实了分配侧的刚性负载限制了脱碳潜力。相反，S3和S4显示出向分配侧激活象限的急剧上升。这一演变轨迹表明，所提出的AI框架成功地将分配网络从被动负载转变为积极的脱碳资产。6.3.3. 节点能源组合和碳追踪效果的评估图9显示了典型负载总线的来源组成，并直观地展示了不同调度策略下的碳可追溯性结果。下载：下载高分辨率图像（422KB）下载：下载全尺寸图像图9. 不同调度场景下节点能源来源组成和碳追踪结果的比较。在基线场景S1中，负载需求主要由碳密集型的燃煤和燃气单元满足，反映了刚性的供应结构。相反，S3显著提高了分布式可再生能源的本地容量。此外，S4揭示了结构转变：D总线33的能量存储放电在高峰负荷时段的有效贡献有效地替代了化石能源发电。上述结果验证了所提出的多时间尺度框架成功优化了能源结构，并通过主动的源-负载互动降低了系统的碳强度。6.4. 算法收敛性分析图10显示了所提出的MADRL-TD3框架与三种基准算法（SAC、DDPG、PPO）的训练动态比较评估。下载：下载高分辨率图像（160KB）下载：下载全尺寸图像图10.不同强化学习（DRL）算法在训练收敛性和价值估计稳定性方面的比较分析。在图10a中，所提出的方法显示出更高的样本效率，并且比SAC和PPO更快地收敛到高奖励稳态。图10b验证了裁剪双Q学习机制的必要性。尽管DDPG智能体受到严重的“乐观偏差”影响，导致其Q值严重偏离理论最优值，但所提出的TD3智能体有效地抑制了这种高估。该智能体在接近最优水平时保持稳定，并在理论边界以下维持了一个合理的最优性差距。
6.5 参数校准和敏感性分析
为了确保阶梯式碳定价模型的工程实用性，通过结合区域电力系统的碳排放减少目标和发电侧的边际减排成本，对核心参数进行了精细校准。为了严格确定这些市场信号的合理值范围，对阶梯式惩罚价格（λp）进行了全面的敏感性分析。如图11所示，参数λp从$40/tCO2系统地变化到$120/tCO2，以评估其对系统总运营成本和总体碳排放的双重影响。
图11. 阶梯式碳惩罚价格对总运营成本和碳排放的敏感性分析。
图11中的敏感性曲线显示出一个明显的非线性运营边界。当λp相对较低（低于$60/tCO2）时，经济激励不足以克服电池储能系统（BESS）的深度循环成本和需求响应的补偿成本，导致边际减排量减少。相反，当λp大幅超过$100/tCO2时，系统的总运营成本急剧上升，而额外的碳排放量则趋于平稳。这种平稳状态的发生是因为灵活性资源的物理转移能力已经完全饱和。因此，敏感性分析从理论上证明了将惩罚价格λp设置在$70/tCO2到$90/tCO2的合理范围内（在情景S4中使用$80/tCO2作为基准）可以在最大化环境脱碳和最小化社会经济运营负担之间达到最佳平衡。
6.6 在大规模网络上的可扩展性验证
为了展示所提出的图论拓扑排序算法的可扩展性及其缓解计算瓶颈的能力，对不同规模的电力系统进行了补充实验。将所提出的方法与传统的基于矩阵求逆的碳流追踪方法进行了比较。测试系统范围从基线IEEE 14–33集成系统到标准的大规模和超大规模欧洲网络。物理碳追踪模块的平均每个调度周期的计算时间总结在表4中。
表4. 不同网络规模下的计算效率比较
测试系统 | 节点数（N） | 传统矩阵求逆（秒） | 所提出的图论算法（秒）
--------|------------|--------------|-------------------
IEEE 14+IEEE 33 | 470 | 0.028 | 0.015 |
IEEE 11 | 81 | 180.2 | 0.062 |
IEEE 300 | 300 | 3.84 | 0.185 |
Pegase 1 | 354 | 135.3 | 1.650 |
Pegase 2 | 869 | 286.9 | >1000（内存不足） | 4.120 |
在小规模网络中，两种方法都表现出极快的速度，所提出方法的计算优势微乎其微。随着网络规模扩展到数百或数千个节点，传统方法由于矩阵求逆的O(N^3)复杂性而受到维数灾难的影响。相比之下，所提出的图论方法严格保持了接近线性的可扩展性（O(N+E)）。这些结果明确验证了所提出的框架具有强大的可扩展性，适用于实际大规模电网的实时电碳耦合调度。
6.7 主要发现
通过比较四个渐进式情景，验证了所提出策略的有效性。主要发现包括：（1）碳流追踪揭示了时空异质性和减排潜力；（2）人工智能协同调度打破了经济-环境权衡的困境；（3）灵活资源重塑了源-负荷互动模式；（4）市场机制是深度脱碳的关键驱动力。
7. 结论
本文构建了一个涵盖物理、信息和价值流的ECC理论框架。本研究的主要结论如下：
物理层：提出了一种基于图论拓扑排序的线性复杂度碳流计算方法，用于解决大规模电网中实时节点碳潜力观测的问题。
市场层：建立了受物理碳流约束的市场交易校正机制，并通过CFCI指数有效抑制了名义-物理不匹配现象。
调度层：通过使用MADRL算法克服了ECC系统的非凸优化挑战，并验证了储能作为碳责任时间转移工具的巨大潜力。
需要指出的是，当前框架依赖于可靠的通信基础设施来实现实时多智能体协调。在实际工程场景中，通信延迟或网络攻击可能会影响评论家的全局状态可观测性，从而降低收敛速度和调度最优性。实际电力系统中的极端运行条件，如突然的级联故障或大规模负荷激增，也可能影响稳态电碳耦合调度的稳健性。未来的研究将通过整合生成式AI来合成极端天气情景和通信故障数据集，进一步提高调度模型的稳健性和泛化能力，以应对不断变化的能源模式中的低概率和高影响事件。此外，在实际工程实践中，不同主体的碳交易需求和减排成本表现出显著的异质性。因此，未来的研究将专注于设计一个高度细粒度的、特定于主体的阶梯式碳定价系统。这将涉及开发差异化的校正机制，并为每个MADRL智能体精心定制异质奖励函数，从而进一步提高框架的工程实用性和市场参与意愿。
CRediT作者贡献声明
魏泰：撰写——原始草稿、可视化、软件、方法论、调查、数据整理。
王琦：撰写——审阅与编辑、验证、监督、资金获取、概念化。
穆玉琴：撰写——审阅与编辑、验证、调查、形式分析。
唐毅：撰写——审阅与编辑、验证、调查、形式分析。
崔涵：撰写——审阅与编辑、验证。
