取消
显示结果 
搜索替代 
您的意思是: 
cancel
2756
查看次数
0
有帮助
4
评论
julianchen
Spotlight
Spotlight
引言:机器学习可以协助我们完成包括回归、预测和分类在内的常见任务。让我们全面解读如何将机器学习应用到网络安全之中。
在网络上,如今有关机器学习(ML)、人工智能(AI)、深度学习(DL)、以及网络安全防护的文章可谓是铺天盖地、纷繁复杂。我们该如何剔除各种炒作因素,潜心研究如何真正地将机器学习应用到网络安全之中呢?
首先是一条坏消息:与图像识别、自然语言处理等应用相比,机器学习在网络安全领域的落地,远达不到“银弹”的水平。黑客们一直致力于寻找目标系统中机器学习算法的弱点,以绕过现有安全机制;更糟的是,他们正凭借着机器学习的技术,不断改进其攻击水平和效率。
其次是一条好消息:机器学习可以协助我们完成包括回归、预测和分类在内的常见任务。这对于数据大爆炸、和网络安全人才短缺的今天,无疑是一剂良药。
本文旨在向技术实务人员介绍机器学习在网络安全领域应用的现状,和未来的发展方向。
机器学习术语
不要混淆“AI”一词,让我们来看看与之相关的术语。

AI(人工智能) - 是一个广义的概念。它是一门让机器变得聪明的科学,换言之,让机器(如:视觉识别、自然语言处理等)替人类处理各项任务。请注意,AI并不完全是机器学习或全面智能。它可能只是一段基本程序,被安装在扫地机器人上,用于判断墙角距离。
ML(机器学习) - 是将AI运用到系统中,实现从经验中学习的一种(或一组)方法。其目标不仅是复制人类的行为;还旨在减少花费在诸如预测股票价格之类,繁简不同的任务上的时间和精力。换句话说,机器学习通过使用样本和基于数据,而不是靠编程或算法,来识别模型并做出决策。
DL(深度学习) - 是采用机器学习,从样本中进行识别(如:图像识别)的一组技术。该系统主要识别物体的边缘、结构、类型、以及对象本身。深度学习不能完全等同于诸如Deep Q-LearningDQN)的深层强化神经网络(Deep Neural Networks)。
根据上述定义,由于网络安全的大部分自动化工作并不涉及到人工,因此该领域主要用到的会是机器学习,而非人工智能。即:根据获取到的数据,使用一些方法来处理某些任务。

机器学习的方法和网络安全
下面让我们来讨论一下机器学习的各种方法、应用示例、和能够解决的网络安全问题。

2 回归

回归(或称预测),是简单地通过现有数据的相关知识,来预测新的数据,例如我们可以用来预测房价的走势。在网络安全方面,我们籍此可以根据诸如可疑交易的数量和位置等特征概率,来检查各种欺诈行为。
就回归的技术而言,我们可以分为机器学习和深度学习两大类。当然这种划分方式也适用于下面提到的其他方法。
机器学习的回归
机器学习的回归方法大致分为如下几种,它们各有利弊。
u 线性回归
u 多项式回归
u 岭回归
u 决策树
u 支持向量回归(Support Vector RegressionSVR
u 随机森林
您可以通过链接https://www.superdatascience.com/wp-content/uploads/2017/02/Regression-Pros-Cons.pdf,来进一步了解每一种方法。
深度学习的回归
以下的深度学习模型所采用的各种回归方法:
u 人工神经网络(ANN
u 递归神经网络(RNN
u 神经图灵机(NTM
u 微神经计算机(DNC

2 分类

分类,是对图像进行区分,例如将两堆照片分为狗和猫两大类。在网络安全方面,我们可以籍此通过垃圾邮件过滤器,从各种邮件中甄别出真正垃圾邮件。
在事先准备好所有分类的定义和已知样本的分组之后,我们便可采用监督学习方法进行分类
机器学习的分类
u 逻辑回归(LR
u k-近邻(K-NN
u 支持向量机(SVM
u 核函数支持向量机(KernelSVM
u 朴素贝叶斯
u 决策树分类
u 随机森林分类
业界普遍认为支持向量机和随机森林两种方法的效果最好。请记住,没有一种是放之四海而皆准的万能方法,“此之毒药,彼之蜜糖”。
深度学习的分类
u 人工神经网络
u 卷积神经网络
只要您提供的数据越多,深度学习方法的效果就越好;不过在您的生产环境、和周期性再培训系统中,它也会消耗您更多的资源。

2 聚类

聚类与分类的唯一不同在于,前者面对的类信息是未知的,即:它并不知道数据是否能够被分类,因此属于无监督学习。
由于安全事件的原因、过程和后果存在着诸多不定因素,而且需要对所有的行为进行分类,以发现蛛丝马迹,因此业界普遍认为聚类最适合取证分析。例如,各种恶意软件防护、或邮件安全网关之类的解决方案就能通过分析,从各种异常信息中发现与司法取证有关的文件。另外,聚类也可以被用于做用户行为的分析,进而将用户区分为不同的组。
通常情况下,聚类并不被用来单独地解决某项网络安全问题,而是被放置到某个处理任务的管道中,例如:将用户分为不同的组,以调整风险取值。
机器学习的聚类
u k-近邻(K-NN
u K-means算法
u 混合模型(LDA
u DBSCANDensity-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)
u 贝叶斯
u 高斯混合模型(GaussianMixtureModel
u Agglomerative层次聚类
u 均值偏移(Mean-shift
深度学习的聚类
u 自组织映射(SOM)或Kohonen神经网络

2 关联式规则学习(推荐系统)

正如NetflixSoundCloud会根据您的电影和音乐偏好来进行推荐那样,在网络安全方面,我们可以运用该原理来进行事件响应。在公司使用不同类型的响应策略,来应对一大波的安全事件时,我们可以使用该系统来学习某项特定事件响应类型,通过标记出误报,进而改变其对应的风险值,以方便调查。另外,风险管理方案可以根据预定的特征描述,用它来为新的漏洞和错误的配置,自动分配风险值。
机器学习的关联式规则
u 先验
u Euclat算法
u 频繁模式增长(FP-Growth)算法
深度学习的关联式规则
u 深度受限玻尔兹曼机(RBM
u 深度信念网络(DBN
栈式自动编码器
评论
one-time
Level 13
Level 13
感谢版主分享,谢谢!
jm.nie
Spotlight
Spotlight
感谢,也有初步的认识,:):):):):)
liu_zhimin
Spotlight
Spotlight
如何能最终落地实施哈
likuo
Spotlight
Spotlight
感觉还行。
入门指南

使用上面的搜索栏输入关键字、短语或问题,搜索问题的答案。

我们希望您在这里的旅程尽可能顺利,因此这里有一些链接可以帮助您快速熟悉思科社区:









快捷链接