Loading [MathJax]/jax/element/mml/optable/SuppMathOperators.js

高性能长循环锌离子电池双金属氧化物ZnMnO3正极材料

庄强强, 王保峰, 吴宝柱, 汪浩立, 吴茜凯

庄强强, 王保峰, 吴宝柱, 汪浩立, 吴茜凯. 高性能长循环锌离子电池双金属氧化物ZnMnO3正极材料[J]. 华南师范大学学报(自然科学版), 2022, 54(1): 30-35. DOI: 10.6054/j.jscnun.2022005
引用本文: 庄强强, 王保峰, 吴宝柱, 汪浩立, 吴茜凯. 高性能长循环锌离子电池双金属氧化物ZnMnO3正极材料[J]. 华南师范大学学报(自然科学版), 2022, 54(1): 30-35. DOI: 10.6054/j.jscnun.2022005
ZHUANG Qiangqiang, WAN Baofeng, WU Baozhu, WANG Haoli, WU Xikai. A Bimetallic Oxide ZnMnO3 as a High-performance Long-cycle Cathode for Zinc Ion Batteries[J]. Journal of South China Normal University (Natural Science Edition), 2022, 54(1): 30-35. DOI: 10.6054/j.jscnun.2022005
Citation: ZHUANG Qiangqiang, WAN Baofeng, WU Baozhu, WANG Haoli, WU Xikai. A Bimetallic Oxide ZnMnO3 as a High-performance Long-cycle Cathode for Zinc Ion Batteries[J]. Journal of South China Normal University (Natural Science Edition), 2022, 54(1): 30-35. DOI: 10.6054/j.jscnun.2022005

高性能长循环锌离子电池双金属氧化物ZnMnO3正极材料

基金项目: 

国家自然科学基金项目 22075173

详细信息
    通讯作者:

    王保峰,Email: wangbaofeng@shiep.edu.cn

  • 中图分类号: O646.21

A Bimetallic Oxide ZnMnO3 as a High-performance Long-cycle Cathode for Zinc Ion Batteries

  • 摘要: 通过溶胶-凝胶法制备了一种锰基双金属氧化物ZnMnO3纳米颗粒材料,首次将其应用于水系锌离子电池正极材料。在300 mA/g的电流密度下表现出高的放电比容量(175 mA·h/g)。在1 000 mA/g的电流密度下放电比容量仍然高达134 mA·h/g。与单金属氧化物相比,ZnMnO3表现出更优异的循环稳定性和更好的倍率性能。通过非原位的电极表面扫描电子显微镜(SEM)形貌表征,ZnMnO3在循环过程中能够保持结构的稳定性,从而具有稳定的长循环性能。通过非原位X射线衍射(XRD)分析表明,ZnMnO3的储锌行为符合嵌入脱出机理。
    Abstract: A bimetallic oxide (ZnMnO3) is synthesized with the sol-gel method and used as the cathode for zinc ion batteries for the first time. Electrochemical tests show that the ZnMnO3 exhibits a high specific discharge capacity (175 mA·h/g at 300 mA/g). At a current density of 1 000 mA/g, the specific discharge capacity is still 134 mA ·h/g. Compared with monometallic oxides, the material exhibits more excellent cycling stability and better rate performance. The ex-situ scanning electron microscope (SEM) characterization of the electrode surface morphology shows that the morphology of ZnMnO3 can be well maintained during the cycling process so that it can have stable long-cycle performance. According to the results of ex-situ X-ray diffraction (XRD) analysis, the zinc storage mechanism of ZnMnO3 is the insertion and extraction reaction.
  • 近年来,得益于互联网的迅速发展,线上教育也快速地发展起来。与传统的教育模式相比,线上教育有许多优势:学习资源门槛大大降低、教育成本降低以及学习路径个性化等。而且,线上教育中对学生答案进行自动化批改的技术,可以减轻教师批改大量重复作业的负担。在自动化批改技术中,尽管现在人工智能在通识教育中的文科科目上(如作文语法批改、解析阅读理解题目等)取得不错的进展,但在理科方面却没能够取得很大的突破,其中自动求解数学应用题就是难题之一。

    自动求解数学应用题是自然语言处理(Natural Language Processing, NLP)领域的一项基础研究,旨在通过对自然语言所描述的数学问题进行建模,然后计算得到该数学问题的答案。早在1960年,就有研究者开始使用人工智能(Artificial Intelligence, AI)方法来解决数学应用题[1]。数学应用题由一段描述数学问题的文本组成,在文本的最后进行提问,要求读者给出相应的答案。目前在自动求解数学应用题的研究领域中,中文数据集Math23k[2]是最常用的数据集,其中每个样本由问题文本、问题对应的求解表达式和问题答案组成。在自动求解数学应用题领域的初始阶段(1960—2010年),学者们通过设计规则和模式来进行模式匹配,从而得到数学问题对应的求解表达式[3-6]。2010年后,部分学者设计基于机器学习的方法来预测预定义的数学表达式模板,然后将数字填充到模板中,从而得到求解问题的数学表达式[7-8];部分学者利用语义分析,将数学应用题的问题文本转换成逻辑范式,然后通过预定义的逻辑规则来推理问题的答案[9-10]。显然,这些方法都需要大量的人力去进行特征工程和复杂的数据标注。

    随着大规模数据集的诞生和深度学习技术的迅猛发展,使用深度学习方法能更好地解决上述问题。第一个基于深度学习的数学应用题求解器是一个改进的序列到序列(Sequence to Sequence, Seq2Seq)模型[2],该模型曾广泛地应用在机器翻译、问答系统中。为了提高基于深度学习的数学应用题求解器的泛化性,WANG等[11]提出了等式正则化(Equation Normali-zation, EN)的数据预处理方法,大大减少了模型的输出词表。学者们发现数学表达式可以转换成二叉树,因此摒弃了线性的模型解码器(Decoder),转而设计树形的循环神经网络(Recursive Neural Network, RNN)作为模型的解码器,如抽象句法树解码器(Abstract Synatax Tree Decoder, AST-Dec)[12]和目标驱动的树状数学应用题求解器(Goal-Driven Tree-structured MWP Solver, GTS)[13]。后续研究中,多数学者设计的数学应用题求解器都以GTS为基础。如:ZHANG等[14]提出了一个基于图神经网络的编码器,通过在问题文本上提取数字变量相关的特征来提升文本理解水平,并结合GTS来设计数学应用题求解器。

    但是,这些数学应用题求解模型通常只使用双向的门控循环(Gated Recurrent Unit, GRU)网络[15]或者长短记忆(Long Short-Term Memory, LSTM)网络[16]等循环神经网络来对数学应用题的问题文本进行建模。而由于循环神经网络设计上的局限,模型在建模序列时会遗忘部分历史信息,特别是距离较远的历史信息。近年来,基于深度学习的文本建模方式发展迅猛,学者们将新的文本建模方法应用于自动求解数学应用题研究领域。如:王红等[17]提出了基于注意力机制的LSTM的语义关系抽取,通过注意力机制和LSTM的结合,将文本信息向量化;VASWANI等[18]摒弃了以往使用RNN序列计算的模式,设计了基于自注意力机制的文本模型(Transformer);张小川等[19]针对短文本建模缺乏上下文信息导致的问题,提出了一种融合卷积神经网络和多头自注意力机制的文本分类模型。

    为了提高模型对问题文本的理解水平,让模型学习到距离更远的文本语义信息,本文提出了一个基于循环神经网络和Transformer编码网络的双路文本编码器(Dual Channel Text Encoder, DCTE),在数学应用题的问题文本上进行建模,并结合GTS得到数学应用题求解器(DCTE-GTS)。在DCTE模型的编码中:首先,初级语义编码层通过门控循环网络对文本序列进行初次的建模;然后,使用基于自注意力机制的Transformer编码网络,使得每个词语都能捕捉到文本各个距离上的上下文语义信息,从而缓解因使用循环神经网络进行文本编码而带来的历史信息遗忘问题;其次,使用Transformer编码网络生成的句子表征向量作为模型解码器GTS的初始目标向量,并为下游解码任务提供更准确的词语语义表征和文本语义表征,从而提升模型的总体效果。最后,在Math23k数据集上,将DCTE-GTS模型与Graph2Tree、HMS等6个基线模型进行对比实验,并对DCTE-GTS模型进行消融实验。

    为了提升模型对文本编码的效果,我们设计了双路文本编码器(DCTE)用于模型编码。在该编码器中,经过数据处理的问题文本序列P首先通过嵌入层得到各词的嵌入向量;然后,初级语义编码层通过序列的正向和反向顺序计算得到各词的初级语义表征,远距离语义编码层通过自注意力机制来获取各词的远距离上下文语义信息;接着,在双路融合层中将2个编码层的输出进行拼接和降维,从而得到每个词的语义表征和文本的语义表征。在双路编码器计算完成后,结合GTS得到数学应用题求解器DCTE-GTS模型(图 1),使GTS根据双路文本编码器建模后的文本语义表征和词语语义表征,一步一步地生成求解表达式对应的二叉树。

    图  1  DCTE-GTS模型结构
    Figure  1.  The structure of DCTE-GTS

    一个数学应用题样本由问题文本序列P和对应的求解表达式T组成。

    问题文本序列P是一个由文字和数字量组成的序列。根据有效数字标识符算法[2]P中的第i个出现的数字量会标注为有效数符Ni(在例1所示的数学应用题样本中,N1=120,N2=80%,N3=15%)。接着,使用替换标识符“NUM”替换文本序列P中的所有数字量,并在序列的开头添加分类标识符“CLS”。最后,根据所有训练样本的问题文本序列建立输入词表Vin,并将所有训练样本的问题序列中的每个词语或符号转换成该词语或符号在词表中的位置索引。

    例1  问题文本:张明有120元钱,买书用去80%,买文具的钱是买书的15%。买文具用去多少元?

    求解表达式:120×80%×15%。

    问题答案:14.4。

    求解表达式T是一个由数学操作符、常数量和数字量组成的符号序列,用于解决问题文本序列P中蕴涵的问题。首先,将求解表达式T中的数字量替换成有效数字符(如例1所示的数学应用题样本中,求解表达式会转换成N1×N2×N3)。然后,根据所有训练样本的求解表达式建立和划分输出词表Vin= VopVconnP,其中,Vop表示数学操作符的集合(如+,-,×,÷等),Vcon表示常数量的集合(如1,3.141 59…等数学计算中常用到的数字量),nP表示问题文本序列P中出现的数字量的集合。其中,每个样本的nP都不一样,如例1所示的数学应用题样本中,nP={N1, N2, N3}。

    在嵌入层中,问题文本中的每一个词都会编码成一个嵌入向量。假如问题文本的符号序列为P=x1, x2, …, xn,其中xs为文本序列中第s个词在输入词表Vin中的位置索引,第s个词的嵌入向量xs由下式给出:

    xs=Min[xs],

    其中,MinR|Vin|×d为可训练的嵌入矩阵,|Vin|为输入词表的大小,d为模型隐层向量的维度,Min[xs]表示取Min的第xs行。

    该层使用GRU网络[4]进行编码, 从而捕捉文本中各个词的中距离和近距离的上下文语义信息。GRU网络是一个常用于处理序列数据的神经网络模型,模型通过门机制选择遗忘或者记住序列中各个位置的信息。给定当前时间步t的输入xt和上一时间步t-1的隐层向量ht-1,时间步t的隐层向量ht的计算公式如下:

    GRU(ht1,xt)=ht,ht=(11zt)mt+ztht1,mt=tanh(Wimxt+rt(Whmht1)),rt=σ(Wirxt+Whrht1),zt=σ(Wizxt+Whzht1),

    其中,WirWhrWizWhzWimWhmRd×d均为可训练的参数矩阵,σ(·)为sigmoid激活函数,*表示哈达玛积,tanh(·)为tanh激活函数。假如词嵌入向量序列为x1, x2, …, xn,第s个词的正向编码hsRd由第s个词的嵌入向量xs和它的前一个词的正向编码hs1计算得到:

    hs=GRU(hs1,xs)

    在序列的正方向上计算时,正向编码hs能够获取x1, x2, …, xs的语义信息。相似地,第s个词的反向编码hsRd的计算公式如下:

    hs=GRU(hs+1,xs) 。 

    最后,结合第s个词的正向编码hs和反向编码hs,给出第s个词的初级语义表征hs的计算公式:

    hs=hs+hs

    该层使用Transformer编码网络来捕捉文本的远距离上下文信息。在Transformer编码网络中,各个位置的词语通过自注意力(Self-attention)机制都可以直接与文本序列中每个位置的词语进行交互。如图 2所示,Transformer编码网络由以下3个模块组成:

    图  2  Transformer编码网络结构
    Figure  2.  The structure of Transformer encoder network

    (1) 多头自注意力。假设该模块的输入为g1, g2, …, gn,令输入的序列向量按行组成一个矩阵G = [g1,g2,,gn]TRn×d,由下式得到该模块的计算结果:

    MultiHead(G)=[A1:A2::Ak]WO,Ai=softmax(QiKTidk)Vi,Qi=GWQi,Ki=GWKi,Vi=GWVi,

    其中,WQiWKiWViRd×dkWORd×d均为可训练的参数矩阵;k为注意力头的数量,dk为各头的维度,满足k×dk=d;softmax(·)表示对向量或者矩阵的最后一维进行softmax计算;[· ∶ · ∶ … ∶ ·]表示将每个向量或者每个矩阵的最后一维拼接起来。该模块计算完成后,得到输出矩阵MultiHead(G)= GRn×d,按行解耦可得到输出序列g1, g2, …, gn

    (2) 前馈前向网络。假设该模块的输入为g1, g2, …, gn,由下式得到该模块的计算结果:

    FFN(gs)=W2ReLU(W1gs),

    其中,W1Rdff×d, W2Rd×dff均为可训练的参数矩阵,dff为该模块的隐层维度,一般取dff=4×d;ReLU(·)为ReLU激活函数。前馈前向网络给Transformer编码网络提供了非线性拟合能力。

    (3) 残差连接和层归一化。该模块是接在其他模块后的辅助模块,假设该模块的上一个模块的计算结果为SL(·),输入为g1, g2, …, gn,则由下式可得到该模块的计算结果:

    AddNorm(gs)=LN(gs+SL(gs)),

    其中,LN(·)为可训练的层归一化。通过残差连接,模型可以在训练时减轻梯度爆炸和梯度消失问题,而层归一化可以使模型在计算中保持隐层向量的分布稳定。

    以上为Transformer编码网络的各个模块的计算过程。假设初级语义编码层的输出序列为h1, h2, …, hn,将该序列输入到Transformer编码网络中,通过上述的各个模块计算可得到各个词语的远距离上下文语义表征t1, t2, …, tn。由于各词的初级语义表征是通过序列顺序计算得到的,本身会携带有隐式的位置信息,无需使用原生Transformer的隐式位置编码。

    通过远距离语义编码层后,各词语能够捕捉到与当前词语有关的远距离上下文语义信息,并将信息编码到各自的远距离上下文语义表征中,从而缓解初级编码层中使用循环神经网络进行顺序计算带来的历史信息遗忘问题。

    为了使得编码器输出的每个词的语义表征能够学习到各种距离上的上下文语义信息,本文将词嵌入向量xs、初级语义表征向量hs和远距离上下文语义表征向量ts拼接起来,并通过线性层进行降维操作,从而得到第s个词最终的语义表征向量us

    us=LN(Wdc[xs:hs:ts]),

    其中,WdcRd×3d为可训练的参数矩阵,LN(·)为可训练的层归一化。

    对于每个数学应用题,输出词yVdec 的嵌入向量由下式给出:

    e(y)={Mop[y](yVop),Mcon[y](yVcon),uloc(y,P)(ynP), (1)

    其中,MopR|Vop|×dMcon R|Vcon |×d都是可训练的嵌入矩阵,loc(y, P)表示y在输入序列P中的位置索引。可以看到,当输出词为操作符或者常数量时,该词对应的嵌入向量可以直接在嵌入矩阵中得到;当输出词为问题文本中提及的数字量时,该词的嵌入向量为问题文本中该词编码后的语义表征向量。这是符合直觉的,因为在问题文本中出现过的数字量(如N1N2nP)在不同的数学应用题中所蕴涵的含义必然不同。只有当编码器将该数字量对应的替换标识符“NUM”编码后,该位置的替换标识符“NUM”的语义表征向量uloc(y, P)才能正确地表达该数字量的含义。

    DCTE-GTS模型选择目标驱动的树状数学应用题求解器[3](GTS)为求解的解码器。该解码器将求解表达式转换成对应的二叉树,认为二叉树中的每个节点对应数学应用题的各个子目标,所以解码生成该二叉树的过程就是不断提出和解决各个子目标的过程,直到二叉树生成结束。

    在GTS的二叉树生成过程开始之前,模型需要一个表示该数学应用题总目标的根目标向量。这是一个类似于文本分类的过程,即用一个表征向量来概括整个文本。类似于预训练语言模型BERT中常用于文本分类的做法,本文使用问题文本中分类标识符“CLS”对应的远距离上下文语义表征向量t1作为表达总问题的根目标向量qroot。当模型将分类标识符“CLS”的远距离上下文语义表征向量t1用于概括整个文本内容信息的任务时,远距离编码层可以不受距离影响,通过自注意力机制将大量关键信息编码到t1中,所以t1能被视为一个准确的文本语义表征建模。

    GTS通过前序遍历的顺序来生成求解表达式对应的二叉树。首先,解码器将根节点视作当前节点,令当前节点的目标向量qqroot,进入下列步骤进行解码:

    步骤1:预测节点的输出词。

    为了解决当前目标向量q中蕴涵的目标,解码器使用注意力机制来计算解决该目标所需的上下文向量c

    c=sasus,as=exp(score(q,us))iexp(score(q,ui)),score(q,us)=vTattanh(Wat[q:us]),

    其中,vatRd是可训练的参数向量,WatRd×2d是可训练的参数矩阵。然后,根据目标向量q和上下文向量c,解码器计算得到当前节点中输出词表的概率分布prob(yq,c,P)

    prob(yq,c,P)=exp(s(yq,c,P))iexp(s(yiq,c,P)), (2)
    s(yq,c,P)=vTpdtanh(Wpd[q:c:e(y)]),

    其中,vpdRd是可训练的参数向量,WpdRd×3d是可训练的参数矩阵。接着,解码器选择概率最大的输出词作为当前节点预测词:

    ˆy=argmaxyVdec prob(yq,c,P)

    解码器将当前节点的输出词ˆy视作解决当前节点目标向量q的一个解决方案,然后将当前节点设置为非空。若ˆyVop ,即预测词为操作符,则当前节点会生成2个空的子节点,解码器进入步骤2。若ˆyVcon nP,即预测词为常数量或者问题文本中的数字量,说明当前节点为二叉树的叶子节点并且不再分裂子节点。此时解码器向上回溯找到第1个拥有空的右子节点的节点qR_empty,解码器来到该节点,令qqR_empty并进入步骤3;若找不到拥有空的右子节点的节点,说明二叉树已经生成完毕,解码器解码结束。

    步骤2:左子节点目标向量生成。

    为了填补空的左子节点,解码器通过当前目标向量q、上下文向量c和当前节点的预测词ˆy的嵌入向量e(ˆy)来生成左子节点的目标向量qL

    qL=ρqLωqL,ρqL=σ(WglηqL),ωqL=tanh(WulηqL),ηqL=oqLfqL,oqL=σ(Wol[q:c:e(ˆy)]),fqL=tanh(Wfl[q:c:e(ˆy)]),

    其中,WolWflRd×3d以及WglWulRd×d都是可训练的参数矩阵。左子节点的目标向量qL生成完毕后,解码器从当前节点来到左子节点,令qqL,返回步骤1。

    步骤3:右子节点目标向量生成。

    与左子节点不同的是,在右子节点的目标向量生成之前,当前节点的左子树已经生成完毕,所以右子节点的生成需要得到左子树的信息。解码器通过下列式子递归地计算得到某个节点的子树嵌入向量sst

    sst={comb(sstL,sstR,ˆy)(ˆyVop),e(ˆy)(ˆyVconnP),
    comb(sstL,sstR,ˆy)=ostfst,ost=σ(Wot[sstL:sstRt:e(ˆy)]),fst=tanh(Wft[sstL:sstR:e(ˆy)]),

    其中,WotWftRd×3d都是可训练的参数矩阵。可以看到,当节点是非叶子节点时,该节点的子树嵌入向量sst由该节点左子节点的子树嵌入向量sLst、该节点右子节点的子树嵌入向量sRst和该节点的预测词ˆy计算得到。

    为了填补空的右子节点,解码器通过当前的目标向量q、上下文向量c、当前节点的预测词ˆy的嵌入向量e(ˆy)和当前节点的左子树嵌入向量sLst来生成右子节点的目标向量qR

    qR=ρqRωqR,ρqR=σ(Wgr[ηqR:sstL]),ωqR=tanh(Wur[ηqR:sst L]),ηqR=oqRfqR,oqR=σ(Wor [q:c:e(ˆy)]),fqR=tanh(Wfr[q:c:e(ˆy)]),

    其中,WorWfrRd×3d以及WgrWur Rd×2d都是可训练的参数矩阵。右子节点的目标向量qR生成完毕后,解码器从当前节点来到左子节点,令qqR,返回步骤1。

    给定训练数据集D={(Pi,Ti),1,第i个样本的损失函数Li如下:

    L_i=-\sum\limits_{j=1}^{l_i} \log \operatorname{prob}\left(y_j \mid \boldsymbol{q}_j, \boldsymbol{c}_j, P^i\right),

    其中,liTi的长度,yjqjcj分别为求解表达式Ti对应的二叉树前序遍历顺序中第j个节点的真标签、目标向量、上下文向量。模型的训练目标是最小化模型在训练集上的总损失Ltotal,其计算公式如下:

    L_{\text {total }}=\sum\limits_{i=1}^N L_{i } 。

    在Math23k数据集[2]上,对DCTE-GTS模型和6个基线模型进行数学应用题求解的实验。Math23k是自动求解数学应用题领域中最常用的数据集,包含了23 161个中文数学应用题样本,其中每个数学应用题都能被一个代数式解决。Math23k数据集的数据分布如表 1所示。

    表  1  Math23k数据分布
    Table  1.  Distribution of Math23k
    求解表达式的长度 样本个数/个
    训练集 测试集
    0~3 4 462 174
    3~5 11 001 522
    5~7 4 407 191
    7~9 1 349 66
    9~11 574 34
    11+ 369 13
    下载: 导出CSV 
    | 显示表格

    在自动求解数学应用题时,各个求解器通常会推理出一个求解表达式来解决该问题,而一个数学应用题往往可以通过多个求解表达式来解决,因此,本文选择答案准确率为评估模型效果的指标。由模型预测出的求解表达式得到预测的结果后,将预测结果与样本的标注结果相比较,若相等则表示该模型正确预测该样本。

    本文设置了6个基准模型作为对比模型:

    (1) DNS[2]:为第一个基于深度学习的数学应用题求解器,其结构是一个结合注意力机制的Seq2Seq模型。

    (2) Math-EN[11]:为结合循环神经网络、卷积神经网络和Transformer编码网络的集成模型,设计了表达式正则化来减少输出空间。

    (3) GROUP-ATT[20]:为结合群注意力机制的Seq2Seq模型,其群注意力机制可以分别提取出文本中的全局特征、数字量相关特征、数字量交互特征和问题相关特征。

    (4) GTS[13]:为目标驱动的树状数学应用题求解器,其编码器是一个双向的GRU网络。

    (5) Graph2Tree[14]:使用GTS作为解码器,在编码器上设计了基于图卷积神经网络的图Transformer层来提取数字量相关的特征。

    (6) HMS[21]:使用GTS作为解码器,在编码器上设计了子句层次编码层,并提出层次注意力机制来提升模型对文本语义的理解水平。

    在Ubuntu操作系统上使用PyTorch深度学习平台来实现DCTE-GTS模型,并在图形处理器RTX3090上进行模型训练。在DCTE-GTS模型中,输入的文本按字粒度划分为词语,模型中设置嵌入向量和各个模块隐层向量的维度d=512,初级语义编码层的GRU网络层数设置为2,远距离语义编码层的Transformer编码网络层数设置为4、注意力头数量为8。在训练中,模型使用基于Adam的批梯度下降算法来优化模型参数,其中批大小为64,学习率为1e-3,在训练集上迭代100次,每20次迭代学习率减半。最后,模型使用束搜索(Beam Search)来计算最终结果,束大小设置为5。本论文开源代码可见于https://github.com/SCNU203/DCTE

    在Math23k数据集上,分别测试了6个基准模型和DCTE-GTS模型,结果(表 2)表明:

    表  2  不同模型在Math23k上的测试结果
    Table  2.  The test results of different models on Math23k
    模型 答案正确率/%
    DNS 59.5
    Math-EN 69.7
    GROUP-ATT 69.5
    GTS 75.3
    Graph2Tree 77.4
    HMS 76.1
    DCTE-GTS 77.6
    下载: 导出CSV 
    | 显示表格

    (1) 使用GTS作为模型解码器的4个数学应用题求解器(GTS、Graph2Tree、HMS、DCTE-GTS模型)的答案准确率均远超基于Seq2Seq模型的求解器(DNS、Math-EN、GROUP-ATT模型),说明GTS是自动求解数学应用题领域中的一个优秀的解码算法。这是因为树状的解码方式十分契合数学表达式的结构。由此,比起线性的解码方式,GTS在训练中可以更易于拟合训练样本的求解表达式。

    (2) Graph2Tree、HMS、DCTE-GTS模型都是在GTS模型的基础上改进了编码器,其答案正确率分别比GTS模型的提升了2.1%、0.8%、2.3%。由此可知:增加编码模块来提取问题相关的特征,可以提升模型对问题文本的理解水平,从而提高模型的答案准确率。

    (3) Graph2Tree模型通过依存句法分析工具在问题文本中显式地提取数字量以及与数字量相关的词语来组建图,并在图上进行图卷积神经网络的计算,以此增强数字量的表征向量,其答案准确率达到77.4%。而DCTE-GTS模型在远距离语义编码层的数字量的表征向量生成过程中,每个数字量通过自注意力都可以与所有词语进行相似度匹配,并有选择地与各个词语进行信息交互。这个过程在模型内部进行,无需使用依存句法分析工具,不仅省去了句法分析的时间,而且可以防止因句法分析工具分析错误带来的错误传播,其答案准确率(77.6%)略高于Graph2Tree的。

    (4) 在HMS模型中,编码器使用多个GRU网络对问题文本中的各个子句进行编码,从而得到各个子句的表征向量;然后用GRU网络来融合各个子句表征向量组成的序列,从而得到整个问题文本的语义表征向量,提高了模型对问题文本的概括能力。而DCTE-GTS模型简单地提取出分类符“CLS”对应的远距离上下文语义表征向量作为整个问题文本的语义表征向量,其答案正确率比HMS模型的高1.5%。

    在DCTE-GTS模型上进行了3个消融实验,以进一步评估该模型的有效性。首先,去掉远距离语义编码层,并使用GTS中的方法[13]来生成根节点目标向量qroot,记为DCTE-GTS-a模型;接着,去掉初级语义编码层,并将文本各词的嵌入向量加上原生Transformer的位置编码输入到远距离编码层,记为DCTE-GTS-b模型;然后,将远距离编码层的输入改变为文本各词的嵌入向量加上原生Transformer的位置编码,而不是原来的初级语义表征向量,记为DCTE-GTS-c模型。实验结果(表 3)表明:

    表  3  消融实验结果
    Table  3.  Results of ablation experiment
    模型 答案正确率/%
    DCTE-GTS 77.6
    DCTE-GTS-a 76.3
    DCTE-GTS-b 60.0
    DCTE-GTS-c 76.9
    下载: 导出CSV 
    | 显示表格

    (1) DCTE-GTS-a模型的答案准确率比DCTE-GTS模型的下降了1.3%,表明远距离语义编码层对模型答案正确率的提升是有帮助的;

    (2) DCTE-GTS-b模型的答案正确率仅为60.0%,说明在语料较小的数据集中不适合只使用Transformer编码网络作为编码器;

    (3) DCTE-GTS-c模型的答案正确率比DCTE-GTS模型的下降了0.7%, 说明初级编码层通过序列顺序计算得到的隐式位置信息要强于原生Transformer设计的显式位置编码中的位置信息。

    本文研究了自动求解数学应用题的文本建模问题,提出了基于循环神经网络和Transformer的双路文本编码器(DCTE),以给模型解码器提供更好的词语义表征和文本语义表征,并将其与GTS结合得到数学应用题求解器(DCTE-GTS)。DCTE-GTS模型与6个基准模型的对比实验结果证明:DCTE-GTS模型的答案正确率达到77.6%,优于各基准模型。同时,消融实验验证了DCTE-GTS模型中各个模块设计的有效性以及配置方法的影响,表明该模型的设计可达到最好效果。

    后续研究可探索双路文本编码器在问题文本语料上进行预训练的方法,设计适合自动求解数学应用题的无监督任务来使模型挖掘到问题文本中丰富的语义信息。

  • 图  1   ZnMnO3和Mn2O3的XRD图谱及SEM图

    Figure  1.   The XRD patterns and SEM images of ZnMnO3 and Mn2O3

    图  2   ZnMnO3的XPS光谱

    Figure  2.   The XPS spectra of the ZnMnO3

    图  3   ZnMnO3和Mn2O3的电化学性能

    Figure  3.   The electrochemical performance of ZnMnO3 and Mn2O3

    图  4   不同循环次数下ZnMnO3和Mn2O3极片的SEM

    Figure  4.   The SEM images of ZnMnO3 and Mn2O3 under different times of cycle

    图  5   ZnMnO3的动力学分析

    Figure  5.   The kinetic analysis of ZnMnO3

    图  6   第二个循环中不同充电/放电状态下ZnMnO3的非原位XRD图谱

    Figure  6.   The ex-situ XRD patterns of ZnMnO3 at different charge/discharge states during the second cycle

    表  1   ZnMnO3与锰基单金属氧化物的电化学性能

    Table  1   The electrochemical properties of ZnMnO3 and some manganese-based monometallic oxides

    电极 电流密度/(mA·g-1) 循环次数 比容量/(mA·h·g-1) 来源
    β-MnO2 100 50 150 [10]
    δ-MnO2 100 100 133 [11]
    Mn2O3 100 30 128 [12]
    Mn3O4 500 300 100 [13]
    ZnMnO3 1 000 650 162 本文
    下载: 导出CSV
  • [1] 谭春林, 周豪杰, 许梦清, 等. 铋修饰LiMn2O4锂离子电池正极材料研究[J]. 华南师范大学学报(自然科学版), 2013, 45(4): 100-103. http://journal-n.scnu.edu.cn/article/id/3186

    TAN C L, ZHOU H J, XU M Q, et al. Study on bismuth modified LiMn2O4 as cathode of lithium ion battery[J]. Journal of South China Normal University (Natural Science Edition), 2013, 45(4): 100-103. http://journal-n.scnu.edu.cn/article/id/3186

    [2] 赖海, 林颖, 陈希, 等. 纳米SnOx的水热合成及其储锂电化学性能[J]. 华南师范大学学报(自然科学版), 2021, 53(2): 21-28. doi: 10.6054/j.jscnun.2021022

    LAI H, LIN Y, CHEN X, et al. Hydrothermal synthesis of nano-SnOx and its electrochemical performance for lithium-ions Storage[J]. Journal of South China Normal University (Natural Science Edition), 2021, 53(2): 21-28. doi: 10.6054/j.jscnun.2021022

    [3]

    XU C, LI B, DU H, et al. Energetic zinc ion chemistry: the rechargeable zinc ion battery[J]. Angewandte Chemie International Edition, 2012, 51(4): 33-35.

    [4]

    SELVAKUMARAN D, PAN A, LIANG S, et al. A review on recent developments and challenges of cathode materials for rechargeable aqueous Zn-ion batteries[J]. Journal of Materials Chemistry A, 2019, 7(31): 18209-18236. doi: 10.1039/C9TA05053A

    [5]

    XU D M, WANG H W, LI F Y, et al. Conformal conducting polymer shells on V2O5 nano-sheet arrays as a high-rate and stable zinc-ion battery cathode[J]. Advanced Materials Interfaces, 2019, 6(2): 1801506/1-8.

    [6]

    ZHU C, FANG G, ZHOU J, et al. Binder-free stainless steel@Mn3O4 nano-flower composite: a high-activity aqueous zinc ion battery cathode with high-capacity and long-cycle-life[J]. Journal of Materials Chemistry A, 2018, 6(20): 9677-9683. doi: 10.1039/C8TA01198B

    [7]

    CHEN L, BAO J L, DONG X, et al. Aqueous Mg-ion battery based on polyimide anode and prussian blue cathode[J]. ACS Energy Letters, 2017, 2(5): 1115-1121. doi: 10.1021/acsenergylett.7b00040

    [8]

    ZHANG D D, CAO J, ZHANG X Y, et al. Inhibition of manganese dissolution in Mn2O3 cathode with controllable Ni2+ incorporation for high-performance zinc ion battery[J]. Advanced Functional Materials, 2021, 31(14): 2009412/1-9.

    [9]

    TANG F, GAO J, RUAN Q, et al. Graphene-wrapped MnO/ C composites by MOFs-derived as cathode material for aqueous zinc ion batteries[J]. Electrochimica Acta, 2020, 353: 136570/1-9.

    [10]

    GUO C, LIU H, LI J, et al. Ultrathin δ-MnO2 nanosheets as cathode for aqueous rechargeable zinc ion battery[J]. Electrochimica Acta, 2019, 304: 370-377. doi: 10.1016/j.electacta.2019.03.008

    [11]

    SAIFUL I, MUHAMMAD H A, VINOD M, et al. Facile synthesis and the exploration of the zinc storage mechanism of β-MnO2 nanorods with exposed (101) planes as a novel cathode material for high performance eco-friendly zinc-ion batteries[J]. Journal of Materials Chemistry A, 2017, 5(44): 23299-23309. doi: 10.1039/C7TA07170A

    [12]

    JIANG B Z, XU C J, WU C L, et al. Manganese sesquio-xide as cathode material for multivalent zinc ion battery with high capacity and long cycle life[J]. Electrochimica Acta, 2017, 229: 422-428. doi: 10.1016/j.electacta.2017.01.163

    [13]

    HAO J, JIAN M, ZHANG J, et al. Electrochemically induced spinel-layered phase transition of Mn3O4 in high performance neutral aqueous rechargeable zinc battery[J]. Electrochimica Acta, 2017, 259: 170-178.

    [14]

    CHEN L, YANG Z, QIN H, et al. Graphene-wrapped hollow ZnMn2O4 microspheres for high-performance cathode materials of aqueous zinc ion batteries[J]. Electrochimica Acta, 2019, 317: 155-163. doi: 10.1016/j.electacta.2019.05.147

    [15]

    CHEN H, DING L X, XIAO K, et al. Highly ordered ZnMnO3 nanotube arrays from a "self-sacrificial" ZnO template as high-performance electrodes for lithium ion batteries[J]. Journal of Materials Chemistry A, 2016, 4(42): 18-23.

    [16]

    CHEN L, YANG Z, QIN H, et al. Advanced electrochemical performance of ZnMn2O4/N-doped graphene hybrid as cathode material for zinc ion battery[J]. Journal of Power Sources, 2019, 425: 162-169. doi: 10.1016/j.jpowsour.2019.04.010

    [17]

    GAO Y N, YANG H Y, BAI Y, et al Mn-based oxides for aqueous rechargeable metal ion batteries[J]. Journal of Materials Chemistry A, 2021, 9: 11472-11500. doi: 10.1039/D1TA01951A

    [18]

    LIU S, ZHU H, ZHANG B, et al. Tuning the kinetics of zinc ion insertion/extraction in V2O5 by in situ polyaniline intercalation enables improved aqueous zinc ion storage performance[J]. Advanced Materials, 2020, 32(26): 2001113/1-10.

    [19]

    LIU J L, WANG J, XU C H, et al. Advanced energy storage devices: basic principles, analytical methods, and rational materials design[J]. Advanced Science, 2018, 5(1): 1700322/1-19.

  • 期刊类型引用(1)

    1. 林加艺,夏鸿斌,刘渊. 基于类比学习的数学应用题求解模型. 计算机工程. 2024(07): 63-70 . 百度学术

    其他类型引用(3)

图(6)  /  表(1)
计量
  • 文章访问数:  767
  • HTML全文浏览量:  192
  • PDF下载量:  149
  • 被引次数: 4
出版历程
  • 收稿日期:  2021-06-03
  • 网络出版日期:  2022-03-13
  • 刊出日期:  2022-02-24

目录

/

返回文章
返回