Robust Decentralized Vertical Federated Learning based on Adaptive Huber
报告人简介
练恒，现任香港城市大学数学系教授，于2000年在中国科学技术大学获得数学和计算机学士学位，2007年在美国布朗大学获得计算机硕士，经济学硕士和应用数学博士学位。先后在新加坡南洋理工大学，澳大利亚新南威尔士大学，和香港城市大学工作。在高水平国际期刊上发表学术论文30多篇，包括《Annals of Statistics》《Journal of the Royal Statistical Society，Series B》、《Journal of the American Statistical Association》《Journal of Machine Learning Research》《IEEE Transactions on Pattern Analysis and Machine Intelligence》. 研究方向包括高维数据分析，函数数据分析，机器学习等。
内容简介
联邦统计学习将数据分布在多个智能体（agent）上，在保护数据隐私的同时协同训练模型，已成为一种颇具前景的范式。虽然基于样本划分的水平学习已被广泛研究，但纵向学习——即不同智能体掌握同一批个体的不同特征——在具有严格统计与计算保证方面的研究仍相对有限。鉴于鲁棒性在现代学习系统中至关重要，我们进一步研究去中心化系统下基于自适应 Huber 损失的高维回归纵向联邦学习。 我们提出采用纵向联邦学习的对偶形式，将原优化问题转化为在形式上类似于水平联邦学习的问题。结合弹性网惩罚，我们证明了对偶去中心化 ADMM 算法的线性收敛性；该结论既不依赖于数据的分布假设，也不受节点数目的限制。在标准独立同分布（iid）设定下，我们还分析了估计量的统计估计速率。最后，通过若干数值算例展示了所提算法的性能。
