论文泛读
郝伟 2021年度论文
添加日期：2021/04/01
【基本信息】
- 链接：https://mp.weixin.qq.com/s/akfjTkRkPraCAoli-VPC9A
- 在千亿级的数据实时的并发架构设计问题
- 全国多地分布式多集群分布式实时数据库处理
本文介绍了美团设计的一种组件来管理千亿级别的图数据，解决图数据存储以及多跳查询问题。核心内容包括海量图数据的高效存储和查询是图数据库研究的核心课题，如何在大规模分布式场景中进行工程落地是文章面临的痛点问题。传统的关系型数据库、NoSQL 数据库可以用来存储图数据，但是不能很好处理图上多跳查询这一高频的操作。
【论文要点】
…NebulaGraph 基于 C++ 实现，架构设计支持存储千亿顶点、万亿边，并提供毫秒级别的查询延时。文章在 3 台 48U192G 物理机搭建的集群上灌入 10 亿美食图谱数据对 NebulaGraph 的功能进行了验证。
- 一跳查询 TP99 延时在 5ms 内，两跳查询 TP99 延时在 20ms 内，一般的多跳查询 TP99 延时在百毫秒内。
- 集群在线写入速率约为20万 Records/s。
- 支持通过 Spark 任务离线生成 RocksDB 底层 SST File，直接将数据文件载入到集群中，即类似 HBase BulkLoad 能力。
- 提供了类 SQL 查询语言，对于新增的业务需求，只需构造 NebulaGraph SQL 语句，易于理解且能满足各类复杂查询要求。
- 提供联合索引、GEO 索引，可通过实体属性或者关系属性查询实体、关系，或者查询在某个经纬度附近 N 米内的实体。
- 一个 NebulaGraph 集群中可以创建多个 Space （概念类似 MySQL 的DataBase），并且不同 Space 中的数据在物理上是隔离的。
添加日期：2021/04/19
- 介绍链接：https://baijiahao.baidu.com/s?id=1675260026061520559
- 论文地址：https://arxiv.org/pdf/2008.02217.pdf
- 项目地址：https://github.com/ml-jku/hopfield-layers
【要点】
- Transformer 中的注意力机制等价于一种 Hopfield 网络中的更新规则？LSTM 提出者 Sepp Hochreiter 等人在最近的一篇论文中表达了这种观点，并将这篇论文命名为《Hopfield Networks is All You Need》
- 深度学习先驱、图灵奖获得者 Yann LeCun 一直认为无监督学习才是通向真正人工智能的方向。
- 2018 年，谷歌的一篇论文引爆了 NLP 学界。在这篇论文中，研究者提出了一种名为 BERT 的模型，刷新了 11 项 NLP 任务的 SOTA 记录。众所周知，BERT 之所以能取得如此成功，很大程度上要归功于其背后的 Transformer 架构。2017 年，谷歌在《Attention is All You Need》一文中提出了 Transformer。自提出以来，它在众多自然语言处理问题中取得了非常好的效果：不但训练速度更快，而且更适合建模长距离依赖关系。
【文章核心观点】
- 文章提出了一种新的 Hopfield 网络，将 modern Hopfield 网络从二元模式扩展到了连续模式，并表明这些新 Hopfield 网络的更新规则（update rule）等价于 Transformer 中的注意力机制。
- 研究者利用这一发现分析了 BERT 等基于 Transformer 的模型。他们发现，这些模型有不同的运行模式，而且更加倾向于在较高的能量最小值下运行，而后者是一种亚稳态（metastable state）。
- 研究者通过实验证实在免疫组库分类和大规模多实例学习中，modern Hopfield 网络可以被视为类似于 Transformer 的注意力机制。原文中定理 3 表明，modern Hopfield 网络具有指数级存储能力，从而可以解决免疫库分类等大规模多实例学习问题。研究者通过大规模对比研究证实了 modern Hopfield 网络的有效性。
- 此外，研究者还提供了一个新 Hopfield 层的 PyTorch 实现，从而可以将 Hopfield 网络作为一种新颖的记忆概念加入到深度学习架构中。新的 Hopfield 层能够关联两个向量集合。这种通用的功能性可以实现类似于 Transformer 的自注意力、编码器 - 解码器注意力、时序预测（可能使用位置编码）、序列分析、多实例学习、点集学习、基于关联的数据源组合、记忆构建以及运算求平均值和池化等等。具体来说，新 Hopfield 层能够轻易地作为池化层（最大池化或平均池化）、排列等变层、GRU&LSTM 层以及注意力层等现有层的 plug-in 替代。新 Hopfield 层基于连续状态的 modern Hopfield 网络，这些网络具有极强的存储能力以及一次更新即可收敛的能力。
[03] Malware Analysis and Vulnerability Detection Using Machine Learning (2020)
添加日期：2021/07/13
【基本信息】
【论文要点】
- 对网络应用层消息进行分析，只需要检测前400个字节的内容即可以97.57%的正确性判断是否是恶意消息。
- 基本方法
- 使用恶意工具生成恶意数据作为训练集；
- 使用n-gram采集词汇并建立字典；
- 使用64维嵌入向量转换词汇；
- 使用深度学习进行训练；
- 采集消息进行验证。
添加日期：2021/08/17
【基本信息】
- 作者：MIT 研究人员
- 下载地址：http://supertech.csail.mit.edu/papers/WheatmanXu18.pdf
- 摘要
也许是最流行的稀疏图存储格式是压缩稀疏行 (CSR)。 CSR擅长存储图形紧凑，开销最小，允许快速遍历，查找和基本图形计算，例如 PageRank。由于 CSR 格式的元素被打包在一起，添加和删除通常需要与图的大小成线性关系的时间。文章引入了一种新的动态稀疏图表示方法称为 Packed Compressed Sparse Row (PCSR)，PCSR是一种基于数组的称为打包内存阵列的动态数据结构。PCSR 类似于 CSR，但在元素之间留有空格，允许渐近更快的插入和删除交换一个常数因子减速和一个空间开销的常数因子增加。文章的贡献是双重的：1）描述 PCSR 和审查更新、插入和搜索的理论保证PCSR；2）还实施了 PCSR 以及其他基本的图形存储格式并报告文章对各种的基准。PCSR 支持插入数量级比 CSR 快，并且在图表上只慢了两倍遍历，所以 PCSR 是一个轻量级的动态图形表示，支持快速插入和竞争性搜索。
【论文要点】
- 提出了一种插入性能非常好的压缩内存的图表示方法；
- 理论和实验对比了了常用的几种图数据的表示方法，包括邻接链表、邻接矩阵等；
添加日期：2021/08/19
【基本信息】
- 作者: ELLIS Unit Linz, LIT AI Lab, Institute for Machine Learning, Johannes Kepler University Linz, Austria
- 下载: https://arxiv.org/pdf/2008.02217.pdf
- 摘要:
文章引入了具有连续状态的现代 Hopfield 网络和相应的更新规则。新的 Hopfield 网络可以以指数方式存储（使用关联空间的维度）许多模式，检索模式与一个更新，并且具有指数级小的检索错误。它具有三种能量最小值（更新的固定点）：
(1) 所有模式的全局固定点平均，
(2) 对模式子集求平均的亚稳态，以及
(3) 固定点存储单个模式。新的更新规则相当于attention变压器中使用的机制。
这种等价性使得能够表征转换器模型的头部。这些头部最好在第一层执行全局平均和在更高层中通过亚稳态进行部分平均。这新的现代 Hopfield 网络可以集成到深度学习架构中作为允许存储和访问原始输入数据、中间结果、或学习原型。这些 Hopfield 层实现了深度学习的新方法，超越全连接、卷积或循环网络，并提供池化，记忆、联想和注意力机制。文章展示了广泛的适用性跨不同域的 Hopfield 层。改进的 Hopfield 层四分之三考虑的多实例学习问题的最新技术以及数十万种免疫组库分类的实例。在小分类任务的 UCI 基准集合上，其中深度学习方法通常很困难，Hopfield 层产生了一种新的最先进的方法与不同的机器学习方法相比。最后，Hopfield 层在两个药物设计数据集上达到了最先进的水平。
代码实现下载地址：https://github.com/ml-jku/hopfield-layers
【论文要点】
本文长度为94页，其中文章正文为前10页，介绍Hopfield后面的内容都是附录。附录共6章并带有目录（第11-12而）。主要介绍了一种新的带有继续状态和更新规则的 Hopfield 网络，具体内容如下：
This appendix consists of six sections (A.1–A.6).
- Section A.1 introduces the new modern Hopfield network with continuous states and its update rule. Furthermore, Section A.1 provides a thorough and profound theoretical analysis of this new Hopfield network.
- Section A.2 provides the mathematical background for Section A.1.
- Section A.3 reviews binary Modern Hopfield Networks of Krotov & Hopfield.
- Section A.4 shows that the Hopfield update rule is the attention mechanism of the transformer.
- Section A.5 gives details on the experiments.
- Section A.6 describes the PyTorch implementation of layers based on the new Hopfield networks and how to use them.
【核心要点】
- 文章较新（2021年4月发布）介绍了大量DeepLearning的最新技术；
- Modern Hopfield networks with continuous states can be integrated into deep learning architectures,
because they are continuous and differentiable with respect to their parameter. （这里有大量论文）
## [id] title
添加日期：2021/08/17
【基本信息】
* 作者
* 下载
* 摘要
【论文要点】