Andrew的个人博客

前言完结撒花！！！但是感觉只是了解了部分算法的思想，具体的实现还得找东西练一练。 该篇笔记包括： 第十五章————异常检测 第十六章————推荐系统 第十七章————大规模机器学习 第十八章————图片OCR 视频链接：[中英字幕]吴恩达机器学习系列课程 一、异常检测(Anomaly Detection)1. 问题动机在正常和异常的数据集都很大的时候，我们可以使用监督学习的算法，对正常类别以及出现各种异常类别进行区分。 但是，当异常的数据集较小而且异常种类很多时，监督学习很难对异常有明确的感觉，我们更倾向于使用接下来要提到的异常检测算法。 2. 异常检测算法2.1 数据划分已知数据集有较大量的正常样本，以及少量异常样本，例如：10000正常样本，20异常样本。我们将其划分为： 训练集：6000正常样本 验证集：2000正常样本，10异常样本 测试集：2000正常样本，10异常样本 2.2 算法描述给定训练集$(x^{(1)}, x^{(2)}, …, x^{(m)})$，样本的每一特征都互相独立且满足正态分布，即$x_j \sim N(\mu_j, \sigma_j^2)$ 得 ...

前言这两天刷了四章视频，再来复盘一下： 第十一章————机器学习系统设计 第十二章————支持向量机 第十三章————K-Means算法 第十四章————主成分分析法 视频链接：[中英字幕]吴恩达机器学习系列课程 一、机器学习系统设计 快速构建一个较为简单的模型，然后对模型进行验证，再决定下一步应该怎么优化，而不是过早地去优化。 在引入新的想法时，可对有无引入该想法地不同模型作验证，由单一指标确定引入新想法是否有效 在对偏斜类（或者 不对称类）作误差评估时，应该考虑到查准率(Percision, or P)和召回率(Recall, or R)，定义$F = 2\frac{PR}{P+R}$，通过比较$F$值选择模型保证两者处于较高的水平 在模型低偏差的情况下，增大数据集保证低方差，能有效提高模型效能。 二、支持向量机(Support Vector Machine, or SVM)1. 逻辑回归的局限性在分类问题中，当两个类别之间间隔较大时，我们能够得到许多不同的决策边界将其正确划分。但是不同的决策边界之间也有优劣性：当决策边界与样本点相隔很近时，新的样本稍微有点不同就可能导致模型 ...

前言学习吴恩达机器学习视频的第二篇笔记，内容包括： 第七章————正则化 第八、九章————神经网络 第十章————机器学习诊断法 个人博客页：一文讲清楚机器学习中的正则化、神经网络、机器学习诊断法 | Andrew的个人博客 (andreww1219.github.io) 一、正则化1. 应用背景在前面对线性回归、逻辑回归的学习中，我们都是构造一个假设$h_\theta(x)$，然后得到他的损失函数$J(\theta)$，对其进行梯度下降操作使损失函数的值尽可能小。总而言之，就是对我们的训练集作出最好的拟合。 然而，当我们增加特征的维度，完美地去拟合我们的训练集时，会得到一条相当扭曲，不具有泛化性地曲线，这就是过拟合的问题。解决过拟合问题主要有以下两个手段： 减少特征的数量$n$ 采用正则化（也就是我们今天要介绍的内容） 2. 什么是正则化？我们采集了许多特征，并且相信这些特征对假设的预测值是有用的，并不想去舍弃它，又担心过拟合的问题。所以我们尽可能减小每个特征或某个特征对整体预测值的影响，在损失函数中增加对高特征值的惩罚，这就是正则化的思想。 3. 线性回归中的正则化3.1 ...

前言被各种ddl加上期末考试耽搁了一段时间，准备继续肝机器学习了，对前面学的东西做个阶段性总结。刷的是吴恩达的课：[中英字幕]吴恩达机器学习系列课程 一、线性回归(Linear Regression)1. 问题描述已知m组数据$x^{(1)}, x^{(2)}, …, x^{(m)}$，每组数据表示n个特征,可写为一个n+1维的向量即：(x^{(i)})^T = (x^{(i)}_0, x^{(i)}_1, ..., x^{(i)}_n)，其中，$x^{(i)}_0=1$每组数据对应一个真实值$y^{(i)}$，所有$y$值在一块可表示为一个m维向量$y$我们需要构造一个预测值：$\widehat{y}=\theta_0+\theta_1x_1+…+\theta_nx_n$该函数叫做我们的hypothesis(假设)，记为$h_\theta(x)$，那么有$h_\theta(x)=\theta^Tx$，其中$\theta^T$和$x$都为n+1维的向量，我们要求解的就是使预测值最准确的$\theta$值 2. 梯度下降(Gradient Descend)那么要怎么表示我们的预测和真实值 ...

复习数据结构打OJ顺便梳理一下Prim和Kruskal求最小生成树的思路 题目描述根据输入创建无向网。分别用Prim算法和Kruskal算法构建最小生成树。（假设：输入数据的最小生成树唯一。） 输入顶点数n\n个顶点\边数m\m条边信息,格式为：顶点1顶点2权值\Prim算法的起点v 6\v1 v2 v3 v4 v5 v6 \10\v1 v2 6\v1 v3 1\v1 v4 5\v2 v3 5\v2 v5 3\v3 v4 5\v3 v5 6\v3 v6 4\v4 v6 2\v5 v6 6\v1 输出输出最小生成树的权值之和\对两种算法，按树的生长顺序，输出边信息(Kruskal中边顶点按数组序号升序输出)15\prim:\v1 v3 1\v3 v6 4\v6 v4 2\v3 v2 5\v2 v5 3\kruskal:\v1 v3 1\v4 v6 2\v2 v5 3\v3 v6 4\v2 v3 5 实现思路Prim 维护一个数组dis，表示节点到最小生成树直接距离（有相邻节点在最小生成树中，否则为正无穷，初始为正无穷），已放到最小生成树中则为0。 当有相邻节点被放入最小生成树中，且与 ...

问题1：价值迭代问题描述实验来源于伯克利CS188\项目已将问题形式化为马尔可夫决策过程（Markov decision process，MDP），即MDP\在 valueIterationAgents.py 中，ValueIterationAgent 类构造方法接收MDP（无折扣因子）及折扣因子\我们需要做的是实现以下方法包括： runValueIteration: 执行价值迭代 computeActionFromValues(state)：根据self.values给出的值函数计算最佳行动 computeQValueFromValues(state, action)：返回根据self.values给出的值函数给出的（状态, 动作）对的Q值原理介绍 马尔可夫决策过程由五元组$$构成，项目的MDP已经提供了以下接口： mdp.getStates()：获取MDP的所有状态 mdp.getPossibleActions(state)：当状态确定时，可能发生的所有动作 mdp.getTransitionStatesAndProbs(state, action)：当状态和动作确定时，所有 ...

一、题目描述编写Java程序，实现RMI远程调用。客户端指定某个http网站，把这个网址传递给服务器端，服务器端提供http下载服务，通过http get 请求访问http网站，把对应的html文件返回给客户端 二、实现思路1. 客户端在GUI界面输入访问的网址，按下按钮提交请求\监听按钮点击事件，引用远程访问的类，将处理结果反馈到文本框中 2. 服务器端定义服务接口，需要继承自Remote类\定义实现服务接口的类，在类中编写业务逻辑，需要继承 UnicastRemoteObject 类\在主函数中注册服务 三、实现过程1. 客户端编写基本的GUI界面(不熟。。要是写前端三件套就好了1234567891011121314151617181920212223public class RMIClient extends JFrame { public static void main(String[] args) { new RMIClient("Client"); } public RM ...

题目描述利用数据报通信方式编写一程序，该程序生成两个客户端，一个服务器端，两个客户端可以相互进行简短的文字交流。 实现思路为使客户端能够接收到其他客户端的数据报，客户端在创建时应该指定端口号，开启接收数据的线程和等待发送消息的线程，当接收到数据或发送数据后，重启线程。并且发送方在数据报中应包含接收端的地址，由服务器端对地址进行解析并转达数据包。 实现过程1. 服务器端：在Server.java中实现Server类，静态变量指定服务器端口，接收数据报的大小 123public class Server { static int serverPort = 8000; static int packetSize = 1024; 进入主函数时，初始化数据报套接字及接收数据报 12345public static void main(String[] args) throws Exception { DatagramSocket server = new DatagramSocket(serverPort); byt ...