理学院伽玛科创计划：《基于神经网络的洛伦兹方程求解》成果展示

编者按

　　中山大学始终坚持以学生成长为中心，大力支持本科生参加大学生创新训练计划、教师科研项目及学科竞赛等科研训练，激发学生主动学习，注重培养学生的学习力、思想力、行动力核心基本能力。

　　中山大学理学院为贯彻落实立德树人根本任务，增进学生对专业的认知，拓宽学生的视野，以“加强基础、促进交叉、尊重选择、卓越教学”为人才培养理念，自2022年起启动“本科生伽玛科创计划”，鼓励更多的同学和教师参与其中，激发学生专业兴趣，培养学生学习力、思想力、行动力，涵养创造力，努力为学生的学业发展和学院的科学研究打造优质平台。

       理学院开设的2022年度本科生伽玛科创计划项目（简称：“伽玛科创项目”）经过选题、立项、研究、结项答辩等环节，历时一年的时间已顺利完成。2022年度学院伽玛科创共立项18项，参与本科生学生60名。经过专家评审，项目通过结题答辩，6个项目获评优秀。现推出科研成果展示系列。

基于神经网络的洛伦兹方程求解
指导老师：李志兵 教授

项目完成人：刘子航、鲁桂昊、刘子熙

考核结果：优秀

背景简介

       对于一些非线性常微分方程，我们一般无法求取其解析解，故通常会采取一些数值解法如欧拉法、有限差分法、四阶龙格库塔（Runge Kutta）法等等来求解这些微分方程。但是原始的数值计算不太方便，而且工作量较大。因此，我们希望可以构建神经网络模型，通过对数据集进行学习从而预计方程的下一个点，达到解微分方程的目的。

创新点

　　创新点表现在我们设计的神经网络模型上。比如在数据的预处理上，我们从卷积神经网络（CNN）中获得灵感，选择了使用卷积块来处理参杂有噪音的训练集。CNN的优势在于可以提取输入信息的特征而抛弃不重要的部分，它广泛应用于图像处理上，基于这一点，我们使用卷积块处理一遍训练集的数据，使得最终呈现的洛伦兹方程曲线更为光滑，在一定程度上消除了噪音的影响。除此以外，我们在多个步骤上融合了各种算法的优势，并没有直接采用现有的模型。虽然我们的程序是以全连接神经网络（FCN）为基本原理构建的，但是在具体的每个步骤上我们做出了创新。

成果总结

本项目由开始起经历了四个阶段。除去上学期对python语言的学习，分别为：

　　（1）通过四阶Runge Kutta法来生成训练数据，并观察混沌现象。

　　（2）利用pytorch的自动求导机制来进行方程的参数反演。

　　（3）利用最简单的神经网络模型来尝试进行轨迹的预测。

　　（4）利用能够处理时间序列的LSTM来建构模型以期获得更好的泛用性能。

　　在整个过程中，我们还穿插了很多次对程序的更新迭代，比如优化超参数、设计噪音等，使得模型更加真实、更可靠。

在项目中，我们尝试了三种神经网络模型，并分别取得了不同的成果：

　　（1）在最原始的循环神经网络（RNN）基础上，我们可以实现在较短时间内对轨迹做出粗糙的预测。该模型虽然预测的不够精准，但由于其时效性，有利于使用者在较短时间内根据数据样本对未来进行预估。

　　（2）利用全连接神经网络，我们取得了一个预估效果更好的神经网络。

　　（3）第三个模型让我们可以借助更少的训练取得与第二个模型近乎一致的训练效果，而且该模型的泛用性能更好。但是该模型对数据集的要求比较高，需要有分布完善的训练数据。

　　总而言之，三个模型各有各的优势，也有各自的不足，在具体问题中，我们可以根据需要选择性地使用。

项目的科学意义与价值

　　项目的科学意义与价值比较丰富。首先我们的研究问题是求解洛伦兹方程，洛伦兹吸引子是非线性混沌动力系统中的特殊轨迹，对其开展的研究有助于处理其他领域的混沌系统，比如天气预报、云层动向预估、治疗因子对癌细胞的追踪等等。其次，该项目让我们学会了搭建神经网络，让我们积累了相关经验，能更熟练的处理如调整超参数、参数初始化这样的问题。总而言之，项目具有一定的科学意义。