Lab 02 题目

《机器学习与数据挖掘》实验二

实验题目

使用梯度下降法训练多元线性回归模型

掌握线性回归的基本原理，以及梯度下降算法

实验环境（硬件和软件） Anaconda/Jupyter notebook/Pycharm

一、掌握梯度下降的基本思想，具体要求如下：

编写基于梯度下降算法求局部极优解的流程：

（1）目标函数：f(x) = 3*x^4-28*x^3+84*x^2-96*x+65，画出函数在[0, 5.5]上的曲线图；
（2）梯度可用以下两种形式计算：derivate(x) =( f(x+h) - f(x-h))/2*h，h可取0.001；也可以直接对目标函数进行求导。

初始x0=5，迭代500次，学习率ξ=0.001，在目标函数的曲线上绘制出x更新过程的散点图；
尝试不同的学习率ξ，如0.01，0.1等，观察x更新过程有什么不同；
初始x0=0.1，迭代500次，学习率ξ=0.001，0.02，0.03，在目标函数的曲线上绘制出x更新过程的散点图。二、使用梯度下降法训练多元线性回归模型，数据为附件中data2.txt文件；具体要求如下：
编码实现基于梯度下降的多元线性回归算法，包括梯度的计算与验证；
画数据散点图，以及得到的直线；
画梯度下降过程中损失的变化图；
基于训练得到的参数，输入新的样本数据，输出预测值；