2024年3月5日 新加坡南洋理工大学Dusit Niyato教授等开展学术交流

新加坡南洋理工大学Dusit Niyato教授、Jiacheng Wang、Hongyang Du、Ruichen Zhang学术报告

2024年3月5日， IEEE & IET Fellow、新加坡南洋理工大学校长讲席教授Dusit Niyato应邀来我校进行学术访问，并进行了题为 “Toward Scalable Generative Al via Mixtureof Experts in Mobile Edge Networks” 的学术报告。南洋理工大学科学与工程学院博士后研究员Jiacheng Wang、南洋理工大学能源研究所计算机科学与工程学院博士Hongyang Du、南洋理工大学计算机科学与工程学院的博士后博士后研究员Ruichen Zhang也同时到场访问，并分别进行了题为 “Application of Generative Al in Integrated Sensing and Communications、“Reinforcement Learning With Large Language Models Interactionfor Distributed Diffusion Model-based AlGC Service”、“Generative Interactive Al for Next Generation Networking” 的学术报告。

讲座中，Dusit Niyato提到，生成人工智能（GAl）的发展推动了像ChatGPT这样的革命性应用。这些应用程序的激增是由专家混合（lMoE）支撑的，该混合包含多个专家，并有选择地让他们参与每项任务，以降低运营成本，同时保持性能。尽管MoE的效率很高，但GAI在部署到本地用户设备上时，在资源利用方面仍面临挑战。

Dusit Niyato主要从三方面阐述了目前针对该问题的研究进展。首先，Dusit Niyato提出了使用支持基于MoE的GAL的移动边缘网络，并从传统的人工智能和GAI的角度对MoE进行了严格的回顾，并分析了其结构、原理和应用。根据GAL原理，Dusit Niyato提出构建一个框架，将子任务转移到移动边缘网络中的设备，帮助用户设备上的GAI模型操作。同时，可以利用MoE，并以大型语言模型（LLM）为辅助，有效地分析基于深度强化学习（DRL）的优化问题的用户目标和约束。这种方法选择专门的DRL专家，并对参与专家的每个决定进行加权。在这个过程中，LLM充当监督专家模型的门网络，促进专家集体处理一系列新任务。此外，它还可以利用LLM的高级推理能力来管理专家的输出，以进行联合决策。

最后，为了让大家更直观地感受MoE+GAL+LLM的优势，Dusit Niyato等人讨论了MoE和移动边缘网络的相关研究方向以及未来的发展。各主讲人与在场师生积极互动，耐心细致地答疑解惑，对各师生在生成式模型等前沿方向的研究进展有了更深入的了解。