条件生成对抗神经网络(CGAN)外文翻译资料

题目：

条件生成对抗神经网络(CGAN)

摘要：

最近，生成对抗网络作为一种新的训练生成模型的方法被提出。在这项工作中，我们介绍了生成对抗网络的条件版本，它可以通过简单地输入条件数据来构建，我们对生成器和判别器都设置条件。我们证明了，该模型可根据类标签生成MNIST数据集中的数字。我们还演示了如何使用该模型来学习一个多态模型，并提供了一个应用于图像标记的初步样例，在该样例中，我们演示了如何利用该方法生成不属于训练标签的描述性标记。

1.引言：

生成式对抗网，最近被引入作为一种替代框架来训练通用模型，以避免近似概率计算而带来的棘手困难。

对抗网络的优点是它只需采用反向传播算法来获取梯度，而不需要马氏链，并且在学习过程中不需要推理，可以很容易地将各种因素及其之间的相互作用纳入模型。

更进一步，正如[8]中演示的那样，它可以产生最好的对数似然估计和真实样本。

在一个无条件约束下的生成模型中，对于被生成的数据，我们是无法控制的。然而，在通过添加附加信息的方式约束模型，就可以指导数据的生成过程。这种条件约束可以基于类标签，也可以基于图像修复的部分数据，例如[5]，甚至基于不同形态的数据。

在这项工作中，我们展示了我们是如何构建条件对抗网络的。对于实验结果，我们展示了两组实验。一个是基于类标签的MNIST数字数据集，另一个是用于多模式学习的MIR Flickr 25,000数据集[10]。

2.相关工作

2.1针对图像标记的多模态学习

尽管监督神经网络(特别是卷积网络)最近取得了许多成功[13,17]，但是若想扩展此类模型以适应预测输出大规模数据的类别，这仍然具有挑战性。第二个问题是，迄今为止的大部分工作都集中在学习从输入到输出的一对一映射。然而，许多有趣的问题更自然地被认为是概率一对多的映射。例如，在图像标记的情况下，可能有许多不同的标签可以适当地应用于给定的图像，不同的(人类)注解者可能使用不同的(但通常是同义或相关的)术语来描述相同的图像。

解决第一个问题的一种方法是利用来自其他模式的额外信息：例如，通过使用自然语言语料库来学习标签的向量表示，他的几何关系有语义上的意义。当在这样的空间种做预测时，我们从这样两个事实中获益：其一，即使预测错误也仍然接近真相（比如，将“椅子”预测为“桌子”）；其二，我们可以自然地对在训练阶段无法被看见的标签做出预测的概括。[3]中的工作表示，即使一个简单的从图像特征空间到表示空间的线性映射都可以提高分类性能。

解决第二个问题的一种方法是利用条件概率生成模型，将输入作为条件变量，并将一对多映射实例化为条件预测分布。

[16]采用了类似的方法来解决这个问题，并在MIR Flickr 25000数据集上训练一个多模态深波兹曼机，就像我们在这项工作中所做的一样。

此外，在[12]中的作者们展示了如何训练一个监督的多模态神经语言模型，并且他们能够据此为图像生成描述性语句。

3 条件对抗网络

3.1 生成对抗网络

最近介绍的生成对抗网络以一种新颖的方式来训练一个生成模型。它由2个对抗的模型组成：

一个生成模型G用来拟合数据的分布，一个判别模型D用来评价样本来自训练数据而不是生成器G的概率。G和D都可以是非线性的映射函数，例如多层感知机。

为了通过数据x学习一个生成器分布，生成器从先验噪声分布构建了一个映射函数到数据空间.而判别器输出一个代表x来自训练数据而不是的概率的标量。

G和D被同时训练：我们调整G的参数来最小化，调整D的参数来最小化，它们就像是下面的带有价值函数的二元极大-极小博弈。

3.2 条件对抗网络

如果生成器和判别器都以一些额外的信息y为条件，则生成对抗网可以扩展到条件模型。可以是任何类型的辅助信息，例如类标签或来自其他模式的数据。我们可以通过输入到判别器和生成器作为额外的输入层来实现条件设置。

在生成器中，先验输入噪声和以联合隐式表示的形式组合，而在如何组合这种隐式表示时，对抗性训练框架允许具有相当大的灵活性。

在判别器中，和被表示为输入和一个判别函数(在本例中再次由一个MLP表示)。

二元极大极小博弈的目标函数如公式2所示

图一解释了一个简单的条件对抗网络。

图1:条件对抗网络

4.实验结果

4.1 单模态

我们在MNIST图像的类标签上训练了一个条件对抗网络，编码成一个one-hot的向量。

在生成器网络中，从单位超立方体内部的均匀分布中提取了维数为100的噪声先验。和分别映射到具有整流线性单元(recfied Linear Unit, ReLu)激活的隐含层[4,11]，层的尺寸大小分别为200和1000，映射到第二个维度为1200的组合隐含ReLu层。然后，我们有一个最终的sigmoid单元层作为输出，用于生成784维MNIST样本。

表1：基于对数似然的Parzen窗口用来估计MNIST。我们按照[8]中同样的步骤来计算这些值。

判别器将映射到具有240个单元和5个部件的maxout[6]层，将映射到具有50个单元和5个部件的maxout层。两个隐含层都映射到一个联合的maxout层，该层有240个单元和4个部件，然后再被输入到sigmoid层。(只要有足够的能力，判别器的精确结构并不重要；我们发现，maxout单元通常很适合这项任务。)

该模型采用随机梯度法进行训练，初始学习率为0.1，以指数形式衰减到0.000001，衰减系数为1.00004。初始值为0.5的动量增加到0.7。生成器和判别器均采用Dropout[91失活，概率为0.5，并且以验证集的对数似然的最佳估计值作为停止点。

表1显示了MNIST数据集测试数据的高斯Parzen窗口对数似然估计。每10个类抽取1000个样本，并对这些样本进行高斯Parzen窗口拟合。然后我们使用Parzen窗口分布对测试集的进行对数似然估计。(见[8]了解更多关于这个估计值构建的细节。)

我们提出的条件对抗网络的实验结果和其他一些基准网络是相当的，但是不如一些其他的方式，包含非条件对抗网络。我们提出这些结果更多的是作为概念的证明，而不是作为有效性的证明，并相信随着超参数空间和架构的进一步探索，条件模型应该匹配或超过非条件结果。

图2展示了一些对抗样本，每一行都是受控于一个条件标签，并且每一列都是一个不同的对抗样本。

图2：生成MNIST数字，每一行都是受控于一个标签

4.2 多模态

像Flickr这样的照片网站，是一个标记数据的丰富来源，其提供了图像和用户生成的元数据(UGM)(特别是用户标记)。

用户生成的元数据不同于更规范的图像标签schems，因为他们通常更具描述性。在语义上更接近人类是如何用自然语言描述图像而不仅仅是识别图像中呈现的对象。

UGM的另一个方面就是同义词是普遍存在的，不同的用户可能会使用不同的词汇来描述相同的概念。因此，拥有一个有效率的方法去标准化这些标签是十分重要的。概念词嵌入在这里非常有用因为相关的概念最终被相似的向量所表示。

在本节中，我们将演示使用多标签预测来自动标记图像，并根据图像特征，使用传统的对抗网络来生成标记向量的(可能是多模式的)分布。

对于图像特征，我们在带有21000个标签[15]的全ImageNet数据集上预训练了一个与[13]相似的卷积模型。我们使用最后一个具有4096个单元的全连接层的输出作为图像表示。

对于词表示，我们首先从YFCC100M的数据集的元数据中收集一个来自用户标签连接的文本的user-tags, titles和descriptions。在预处理和文本的清洗之后我们利用skip-gram模型[14]训练了一个200维的词向量。并且我们在词汇表中删除了出现次数少于200次的单词，因此最终的词典的大小为247465。

在训练对抗网络的过程中，我们保持卷积模型和语言模型混合不变，并且当我们通过这些模型进行反向传播训练时，将这个实验放在未来的工作中。

在我们的实验中，我们使用MIR Flickr 25,000数据集[10]，并且使用之前描述的卷积模型和语言模型抽取图像和标签特征。没有任何标签的图像会在我们的实验中被删除并且被当做一个额外的标签标注。前15000个样例充当训练集，对于每个相关联的标签，我们在训练集内重复将多标签图像放入训练集中一次。

为了进行评估，我们为每幅图像生成100个样本，并使用词汇表中词汇向量表示的余弦相似性来找到最接近的前20个单词。然后我们从100个样本中选出10个最常见的单词。表4.2显示了用户分配的标记和注释的一些示例，以及生成的标记。

最佳工作模型的生成器接收大小为100的高斯噪声作为先验噪声，将其映射到500维的ReLu层，并将4096维图像特征向量映射到2000维ReLu隐含层。这两个层都映射到一个200维线性层的联合表示，它将输出生成的词向量。

该判别器由500维和1200维ReLu隐含层组成，分别用于词向量和图像特征。maxout层由1000个单元和3个部件作为连接层，最后输入到单个sigmoid单元。

该模型采用批量随机梯度下降法进行训练，大小为100，初始学习率为0.1，以指数衰减到0.000001，衰减系数为1.00004。动量从初始值为0.5的增加到0.7，生成器器和判别器上的失活概率均为0.5。

超参数和架构选择可以通过交叉验证、混合随机网格搜索和手动选择(尽管搜索空间有限)获得。

5.未来工作展望

本文中展示的结果只是非常初步的，但是它们显示出了条件对抗网络的潜力并且展示了有趣和有用的应用的保证。

在今后的探索现在和工作之间，我们希望提出更复杂的模型，以及更详细和深入的分析它们的性能和特点。

表2 生成标签的样例

另外，在现在的实验中，我们只单独的用了每一个标签，但是通过同时利用多个标签（有效的将生成问题作为另一个集合生成的问题），我们希望实现更好的结果。

未来工作的另一个明显方向是构建一个学习语言模型的联合培训计划。如[12]这样的工作表明，我们可以学习一种适合于特定任务的语言模型。

题目：

BotMark：自动化的僵尸网络检测，基于流和图的流量行为混合分析

摘要：

僵尸网络已经成为网络安全设施的最严重威胁之一。现有的僵尸网络检测工作大多是基于基于流的流量分析，并挖掘它们的通信模式。除了流特征之外，通信图数据中也存在基于异常检测的相关工作。随着僵尸机器人的不断发展和日益复杂化，仅使用基于流的流量分析或基于图的分析来进行检测将会导致假阴性或假阳性，甚至可以逃避检测。在这项工作中，我们提出了BotMark，一个自动检测僵尸网络的模型，它混合分析了基于流和基于图的网络流量行为。在建立检测模型时，我们提取了15个基于流的流量特征和3个基于图的特征。

对于基于流的检测，我们将C-flow的相似性和稳定性作为检测的度量。特别地，我们使用k-means来测量C-flow的相似度，并将其作为符号相似度分数，通过C-flow中包长度的分布来计算C-flow的稳定性分数。基于图的检测是因为观察到通信图中异常节点的邻域与正常节点的邻域明显不同。特别地，我们使用最小二乘技术和局部离群点Factor (LOF)来计算异常值，这些异常值度量了它们的邻域差异。本模型使用分数去标记僵尸机器人。BotMark将基于相似度分数、稳定性分数和异常分数的检测结果集合起来，对基于流和基于图的流量行为进行混合分析，执行自动化的僵尸网络检测。我们对5个新传播的僵尸网络进行了模拟，包括Mirai、Black energy、Zeus、Athena和Ares，在真实环境中收集了非常大量的网络流量。实验结果验证了该方法的有效性。它的检测精度高达99.94%，优于任何单独的基于流的检测或基于图的检测工作。

1.引言

僵尸网络，由大量感染僵尸程序的主机组成。攻击者可以远程控制机器人进行分布式拒绝服务(DDoS)攻击、传播垃圾邮件、进行点击欺诈或偷窃个人信息等行为。

当僵尸网络的主人命令僵尸网络，它需要一个命令和控制(Camp;C)通道实现如扫描、二进制下载或其他可疑的活动。网络中继聊天(IRC)协议被认为最流行的僵尸网络通信协议之一，其采用集中式拓扑结构。僵尸主人通常建立隐蔽通道，并通过加密来隐藏自己。后来，出现了基于HTTP的僵尸网络，基于HTTP的僵尸网络更难被检测到，因为由机器人生成的HTTP数据包可能会被淹没在大量的web流量记录中。不过显然，在IRC和基于HTTP的僵尸网络中也存在着漏洞，一旦Camp;C服务器被识别并关闭，整个僵尸网络将被摧毁。为了避免被识别，僵尸网络的主人开始提高基于P2P(点对点)通信的隐蔽性和健壮性。

僵尸网络检测是一个被广泛研究的课题，并且许多方法[5.8,11,15,18-21,24,26,411] 已经被提出了。通常，基于签名的方法[26]无法检测未知的僵尸网络及其变体，甚至在遇到加密时失效。基于异常的检测方法[8

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[235341]，资料为PDF文档或Word文档，PDF文档可免费转换为Word