Parameter-efficiënt continu leren met grote vision modellen

'Continu leren' is een machine learning paradigma waarbij modellen continu nieuwe kennis accumuleren over tijd, in plaats van slechts één keer getraind te worden en daarna statisch te blijven. Het doel is om modellen te creëren die zich efficiënt kunnen aanpassen aan nieuwe informatie, zonder opnieuw vanaf nul getraind te hoeven worden. Om dit te bereiken, moeten twee belangrijke uitdagingen worden aangepakt: 'verlies van plasticiteit' en 'catastrofale vergeetachtigheid'. Verlies van plasticiteit verwijst naar het afnemende vermogen van het model om nieuwe informatie te leren na verloop van tijd, terwijl catastrofale vergeetachtigheid de neiging van het model beschrijft om eerder geleerde informatie te vergeten bij het verwerven van nieuwe kennis. Dit onderzoeksonderwerp richt zich op continu leren voor computervisie, specifiek gericht op grote vision modellen zoals Vision Transformers en grote Convolutionele Neurale Netwerken. Het primaire doel is om een parameter-efficiënte aanpak voor continu leren te ontwikkelen voor deze modellen.