연합학습(Federated Learning) 2
[논문리뷰] Multi-Level Branched Regularization for Federated Learning

요약 클라이언트들에게 최근의 Global representation을 제공하고, Client drift를 방지하는 것을 목표로 함. 기존에 연합학습에 Knowledge Distillation을 적용하는데 있어 마지막 logit에 대해서만 수행하는 것을 Model을 블록화 시키고, 이를 Hybrid Pathway로 구성하여 Knowledge Distillation을 포함한 학습을 진행함 1. Motivation Goal is to make each client preserve the latest global representations and prevent model drift caused by independent local updates Server learns client-specific knowle..
연합학습(Federated Learning) 2023.01.04

Introduction of Federated Learning

1. 연합학습(Federated Learning) 연합학습(FL)은 많은 디바이스(이하 클라이언트)가 각자 보유하고 있는 데이터를 바탕으로 모델을 학습하여, 데이터를 직접 공유하지 않으면서, 중앙 서버 또는 마스터 노드의 관리(Orchestration) 하에 전체 모델(Global model)을 학습하는 기계학습 기법이다. 연합학습은 중앙 집중형 데이터 수집을 최소화하는 것을 원칙으로 구현하며, 전통적인 중앙 집중식 기계 학습으로 인해 발생하는 많은 개인 정보 보호 위험과 학습에 필요한 비용을 줄일 수 있다[1]. 연합학습의 기본 메커니즘은 1) 중앙 서버가 Client들에게 모델을 보내주는 것부터 시작한다. 물론 이 때, 학습에 참여 가능한 client를 선별을 먼저 진행한다. 연합학습에서는 Clien..
연합학습(Federated Learning) 2022.11.04
1
더보기

티스토리툴바