Een holistische aanpak voor object lokalisatie voor 3D random bin picking

Het doel van deze doctoraatsstudie is om via een globale optimalisatie en het in rekening brengen van alle beschikbare prior knowledge te komen tot een situatie-specifieke efficiënte 3D random bin picking oplossing.

Random bin picking is een term die wordt gebruikt binnen de robotica. Het betreft het automatisch grijpen van objecten met een robotarm die op ongestructureerde wijze aangeleverd worden, bijvoorbeeld objecten die in een container of bakje liggen. Hierbij kan het om verschillende objecten gaan, of om meerdere identieke objecten.

Om de objecten te identificeren en de juiste positie van de objecten te bepalen (zowel locatie als oriëntatie) moet de scene opgemeten worden. In dit doctoraat zullen we werken met 3D-sensoren gebaseerd op stereovisie, sheet-of-light (SoL), time-of-flight (ToF) of structured light (SL) om een driedimensionale reconstructie mogelijk te maken. Dit in tegenstelling tot het gebruik van één enkele camera waarbij door de projectie informatie verloren gaat.

In tegenstelling tot de ad hoc aanpak die in de praktijk gevolgd wordt, stellen we in dit doctoraat een systematische holistische aanpak voor, die een globale optimalisatie doorvoert over het volledig gemodelleerde random bin picking proces. In dit procesmodel zal alle beschikbare prior knowledge opgenomen worden betreffende de sensor, de objecten en de scène:

* Sensor: type (stereo, SoL, ToF, SL), resolutie, snelheid, occlusie, …

* Objecten: nauwkeurigheid beschikbaar CAD-model of 3D-scan, materiaal (speculaire reflecties bijvoorbeeld), maattoleranties, aantal verschillende soorten objecten, variatie van de objecten binnen één klasse (zoals de natuurlijke vormvariaties van bijvoorbeeld fruit en groenten), …

* Scène: afmetingen van de container, kinematicabeperkingen van de robot, …

Binnen dit doctoraat wordt onderzocht hoe al deze gegevens optimaal kunnen gebruikt worden voor het automatisch detecteren van objecten alsook het bepalen van hun positie. Door al deze beperkingen in rekening te brengen verwachten we een dubbel voordeel. Enerzijds zal de robuustheid gevoelig verhogen omdat een groot aantal foutieve detecties net door deze beperkingen vermeden, en anderzijds zal de fysische zoekruimte beperkt worden waardoor de vereiste opname –en verwerkingstijd zal reduceren.

In tegenstelling tot ander onderzoek in dit domein trachten we niet te komen tot één generisch algoritme voor 3D objectdetectie. De enorme verscheidenheid in objectvormen en –materialen maakt dit immers niet mogelijk. Onze approach zal eerder voor elk aangeboden type object een optimale keuze maken van de features die het best geschikt zijn voor 3D-detectie.

Door deze holistische optimalisatie-aanpak zullen we de state-of-the-art in dit domein gevoelig verleggen. De verhoogde robuustheid van de detectie zorgt voor een bredere toepasbaarheid van random bin picking in de industrie. Voor de eenvoudige objecten waarvoor op dit moment reeds random bin picking technisch mogelijk is volgen uit deze studie voor elke situatie ook de mimimale requirements van de set-up (bvb. benodigde resolutie van de scanner), waardoor in industriële toepassingen grote economische besparingen kunnen gerealiseerd worden. Bovendien wordt random bin picking door dit doctoraatsproject ook mogelijk voor een hele brede waaier aan ‘moeilijk te detecteren’ objecten, zoals o.a. een mix van verschillende objecten of objecten die van vorm kunnen variëren.