| 课程号 |
04835550 |
学分 |
2 |
| 英文名称 |
Large Model: From Basic to Practice |
| 先修课程 |
计算机基础课程，Python语言，深度学习原理与Pytorch编程（可自学参考教材《深度学习原理与Pytorch实战》） |
| 中文简介 |
大模型已经成为人工智能发展的主流方向和驱动智能革命的主要力量。大模型是一个人工神经网络，实践表明，大模型规模达到500亿以上时，往往就能出现涌现现象，也就是出现了意料之外的新智能，而且随着模型规模和训练数据的增长，越来越多的能力涌现出来，成为实现各种智能的基础底座，有望成为实现通用人工智能的重要技术途径。
本课程从人工智能的历史介绍大模型的思想起源，从自然语言处理技术演进介绍语义理解的可能性，讲解训练大模型所需的基础知识，包括Transformer基础架构、大深度学习框架和大模型训练平台、常用数据集和数据处理技术、大模型评测方法等，进而进入实战阶段，结合正在进行的前沿科研介绍语言模型、视觉模型、多模态模型和具身模型的技术细节，最后介绍大模型的典型应用方案。 |
| 英文简介 |
Large models have become the mainstream direction of artificial intelligence development and the main driving force for the intelligent revolution. A large model is an artificial neural network, and practice has shown that when the scale of a large model reaches over 50 billion, unexpected new intelligence can often emerge. With the growth of model size and training data, more and more capabilities emerge, becoming the foundation for realizing various intelligences and expected to become an important technological approach to achieving universal artificial intelligence.
This course introduces the origin of the idea of large models from the history of artificial intelligence, the evolution of natural language processing technology, and the possibility of semantic understanding. It explains the basic knowledge required to train large models, including Transformer infrastructure, deep learning frameworks and training platforms for large models, commonly used datasets and data processing techniques, and evaluation methods for large models. It then enters the practical stage and combines cutting-edge scientific research to introduce the technical details of language models, visual models, multimodal models, and embodied models. Finally, it introduces typical application solutions for large models. |
| 开课院系 |
信息科学技术学院 |
| 成绩记载方式 |
|
| 通识课所属系列 |
|
| 授课语言 |
中文 |
| 教材 |
|
| 参考书 |
|
| 教学大纲 |
大模型已经成为人工智能发展的主流方向。通过两周的密集学习，可以打下坚实的基础，具备参与大模型科研的基本能力。
从人工智能的历史介绍大模型的思想起源，从自然语言处理技术演进介绍语义理解的可能性，讲解训练大模型所需的基础知识，包括Transformer基础架构、大深度学习框架和大模型训练平台、常用数据集和数据处理技术、大模型评测方法等，进而进入实战阶段，结合正在进行的前沿科研介绍语言模型、视觉模型、多模态模型和具身模型的技术细节，最后介绍大模型的典型应用方案。
1 从人工智能到大模型
人工智能发展经历了60多年的探索，出现了符号注意、连接主义和行为主义三大流派。大模型主要是连接主义道路，是一个大型人工神经网络，也就是大量人工神经元相互连接形成的复杂网络，其中神经连接的数量是刻画模型规模最重要的参数，目前已经达到万亿，出现了意料之外的新智能，成为实现各种智能的基础底座，有望成为实现通用人工智能的重要技术途径。
2 从自然语言处理到词向量
自然语言处理是人工智能领域的一个重要前沿方向，语言模型是由自然语言处理发展而来，在人工智能的很多领域发挥重要作用的关键技术。本节主要介绍自然语言处理的基础理论、核心技术与应用任务，以及在自然语言处理中从形式语言模型到统计语言模型再到神经语言模型和预训练语言模型的发展脉络，使学生建立对自然语言处理和语言模型知识结构的全面认识。
3 Transformer架构
探索和解析Transformer结构，并介绍其在大模型和机器学习领域的重要应用。内容涵盖了Transformer的核心概念、注意力机制、多头注意力等关键技术，帮助学生深刻理解Transformer结构，并掌握如何使用Transformer模型解决实际问题，为学生未来在人工智能领域的发展奠定坚实基础。
4 大模型训练平台与模型评价
主要介绍深度学习框架Pytorch及大模型训练方法。大模型评测有着区别于传统评测的特点，正在向综合化、平台化、社区化方向转变。本次课程将重点围绕着什么是好的评测，好的评测能给我们带来什么，以及如何才能做出好的评测来展开。
5 数据处理与数据集
数据是大模型成功的核心要素之一。数据质量和数量直接决定了训练后大模型的各项性能。本节将介绍大模型（LLM与MLLM）中文本与图像数据相关工作，包括大规模数据获取方法，常用的数据清洗规则，基于规则和学习的数据精选与蒸馏方法，数据质量度量方法，数据合成与优化方法，数据配比与策略等前沿技术和研究工作。
6 语言大模型
探讨语言大模型的基本原理和最新进展。深入了解语言模型的基本原理、语言大模型的网络结构、训练技术和评估方法等。将介绍最经典的应用—对话模型的构建方法和原理。一般来说，对话模型构建包含基础模型训练，SFT模型训练和强化学习对齐三个典型步骤。通过本课程的学习，帮助学生深入了解大模型的原理及潜在应用，为未来发展奠定坚实基础。
7 视觉大模型
大模型的基本原理可以拓展到视觉领域，将计算机视觉和生成推进到全新阶段。本节以智源研究院开发的EVA和EVA-CLIP系列模型为例，介绍如何构建可扩展且参数更大的视觉表征模型与高效且参数更小的模型，共同推动着计算机视觉领域的创新与突破。
8 多模态大模型
人类的感知认知是视觉、听觉、触觉等多种模态同步进行的，多模态大模型试图模拟人类处理复杂的现实世界多模态任务。本节以智源研究院正在开发的EMU系列模型为例，介绍如何以大一统的方式在理解和生成包括文本、图像和视频在内的多种数据形式，从而完成广泛的多模态任务。
9 具身大模型（仉尚航）
大模型在自动驾驶、智能医疗和智能机器人等领域展现了巨大潜力。当前智能机器人的感知、决策和控制能力也取得了显著提升，然而，如何使其具备更精准的“视觉”能力和更智能的“思维”能力，仍是亟待解决的关键问题。多模态大模型的高通用性、强泛化性和推理能力，使其成为具身智能发展的突破口和技术支撑。本次课将介绍面向具身智能的多模态大模型的模型设计、算法框架、关键技术和训练方法，并重点介绍面向开放场景机器人长程移动操纵任务的多模态大模型架构及高效泛化微调技术。
10 大模型应用
检索增强（RAG）是大语言模型最为重要的应用范式之一，它对于提升语言模型的事实性、处理长序列输入、以及优化语言模型的自适应能力、领域迁移能力有着重要的意义。本次报告将围绕“通用向量检索”、“基于大语言模型的信息获取”、“检索增强的大语言模型”等相关议题，系统介绍近年来的研究工作与应用实践。
1. 课堂教学：10次，每次3学时。
2. 科研实践：结合智源研究院正在研发的系列开源大模型开展科研实践。表现优秀的同学有机会成为实习生参与大模型研制。
通过制。结合教学内容开展科研实践，撰写科研报告，实现代码不少于3000行，科研报告不少于5000字。
|
| 教学评估 |
黄铁军：
学年度学期：24-25-3，课程班：大模型：从基础到实战1，课程推荐得分：0.0，教师推荐得分：9.38，课程得分分数段：null；
|
|