Author: E. Bagdasaryan, A. Veit, Y. Hua, D. Estrin and V. Shmatikov
Title: How To Backdoor Federated Learning
BookTitle: Proceedings of the Twenty Third International Conference on Artificial Intelligence and Statistics Proceedings of Machine Learning Research 2020
Year: 2020
原文地址：https://arxiv.org/abs/1807.00459
联邦学习是一种分布式机器学习方法，它允许多个用户在数据不出本地的情况下共同训练一个模型。各个用户在本地对模型进行训练之后，仅仅需要上传一个最小的更新到中心服务器，中心服务器利用各个用户上传的更新来对全局模型（global model）进行更新训练，直到全局模型符合要求。因为联邦学习中的各个参与者的数据都没有离开本地，因此数据泄露的风险大大降低（根据原理，联邦学习数据泄露的风险仍然存在，因为它仍然要求用户上传一个最小更新到中心服务器，而从这个最小更新仍然可能破译出原始数据的部分特征）。
这篇文章的主要贡献是：
1、 论证了联邦学习存在的另外一个问题——它容易被后门攻击（backdoor attack）。
2、 提出了一种进行后门攻击的方法——改进的model replacement，并进行了验证，证明了其有效性和规避异常检测的能力。
首先介绍一下什么是后门攻击，后门攻击是指在模型训练过程中，向模型植入后门（backdoor），使得模型在实现自身本职功能的同时，还能实现后门功能。从原理上讲，在联邦学习中容易被后门攻击主要体现在以下几个方面：
从定义上来说，会存在着成千上万的不受中心节点控制训练过程的device，这样必然会容易存在着恶意的device
联邦学习的一个假设就是device上的数据分布是NON-IID的，并且为了聚合的安全性，会引入secure aggregation。这样异常检测就很难做了
深度学习的能力很强，即便是在主任务上不引人任何backdoor，device还是容易从subtask上引入backdoor。
作者提出的改进的model replacement方法在持久性和规避异常检测方面有着很好的效果：
持久性：在有恶意攻击者参与的联邦学习过程中，攻击者控制的参与者一定是远远小于参与者总数的，并且根据联邦学习的原理，并非每个参与者都能参加每次的迭代过程，因此在攻击者没有参与的迭代中，攻击效果被削弱了，在本文中，采用在攻击训练中减缓学习率的方式来提高攻击效果的持久性。
规避异常检测：本文提出了两种规避异常检测的方法：Constrain-and-scale方法和Train-and-scale方法。前提是攻击者已知中心服务器异常检测的方法。
最后作者在图片分类和词语预测两个联邦学习实验中验证了自己的理论。
这篇文章讲的是如何对联邦学习进行后门攻击，实际上也是在找联邦学习中尚且存在的一些问题，对联邦学习的发展和今后的应用实践是非常有好处的。所以今后联邦学习研究的课题可以是：既然恶意参与者无法避免，有没有相应的制裁措施，如何完善异常检测机制？