Meta zet met SAM 3D nieuwe standaard in AI-3D-reconstructie

3D-content is bezig aan een opmars. Van AR-experimenten in retail tot digitale twins in sport en gezondheidszorg. Visualisatie wordt steeds interactiever, meeslepender en persoonlijker. Met de lancering van SAM 3D laat Meta zien dat die toekomst snel dichtbij komt. SAM 3D is Meta’s nieuwste AI-suite en maakt het mogelijk om op basis van één enkele afbeelding een volledig 3D-model te genereren.

Twee modellen, eindeloze toepassingen

De release bestaat uit twee geavanceerde modellen: SAM 3D Objects en SAM 3D Body. Beide systemen zijn ontworpen om een enkele 2D-afbeelding om te zetten naar een levensechte 3D-representatie.

SAM 3D Objects is gericht op objectherkenning en -reconstructie. Het systeem kan gedetailleerde 3D-modellen maken van gemaskeerde objecten, inclusief geometrie en textuur. Dit model is robuust genoeg om ook met deels verborgen objecten aan de slag te gaan, wat belangrijk is voor ‘real-world’ toepassingen. Denk hierbij aan het plaatsen van meerdere objecten in een virtuele ruimte, bijvoorbeeld bij AR-showcases van producten in een online winkel.

SAM 3D Body richt zich op het menselijk lichaam. Het model reconstrueert vorm en houding vanuit slechts één foto, zelfs als het lichaam gedeeltelijk buiten beeld valt. Dit maakt het mogelijk om gepersonaliseerde avatars te maken, bewegingen te analyseren of fysieke interacties na te bootsen. In een marketingcontext kan dit toepasbaar zijn in de vorm van interactieve pasvormen in fashion e-commerce of gepersonaliseerde training in sport-apps.

Facebook Marketplace als eerste live use case

Meta past SAM 3D nu al toe binnen Facebook Marketplace. Gebruikers kunnen meubels en woonaccessoires in 3D bekijken en visualiseren hoe deze eruitzien in hun eigen woning via de ‘View in Room’-functie. Dat betekent dat consumenten vanuit één productfoto direct een virtueel model kunnen projecteren in hun leefruimte.

Voor merken en retailers is dit een stap richting conversieverhoging. De drempel tot aankoop daalt, doordat consumenten meer vertrouwen krijgen in het eindresultaat.

Eén beeld, volledige reconstructie

Sam 3D kan volledige scènes reconstrueren vanuit gewone foto’s. De modellen zijn getraind op real-world datasets en presteren beter dan de huidige benchmarks op het gebied van 3D-accuratesse, textuurgeneratie en menselijke pose-detectie.

De architectuur achter deze modellen speelt hierin een belangrijke rol. Zo maakt SAM 3D Body gebruik van een transformer-gebaseerd encoder-decoder systeem, waarmee het 3D-parameters van het menselijk lichaam direct uit beelden kan voorspellen. Dat zorgt voor een nauwkeurige reconstructie van houding en lichaamsvorm, zelfs bij beperkte zichtbaarheid. SAM 3D Objects werkt daarentegen in twee opeenvolgende fasen: eerst wordt de globale vorm en positie van het object vastgesteld, waarna het model in een tweede stap textuur en details verfijnt. Deze aanpak zorgt voor realistische, interactieklare 3D-modellen die toepasbaar zijn in verschillende digitale contexten.

Beide modellen zijn beschikbaar via de Segment Anything Playground, een experimenteeromgeving waarin gebruikers hun eigen beelden kunnen uploaden om te testen hoe objecten of mensen in 3D gereconstrueerd worden.

Waarom dit relevant is voor marketeers

3D-content is niet alleen aantrekkelijk, maar ook functioneel. Merken kunnen producten tastbaar maken in digitale omgevingen, wat zorgt voor meer betrokkenheid en hogere conversiepercentages. Daarnaast maakt SAM 3D massale productie van 3D-modellen toegankelijk voor kleinere spelers zonder dure studio’s of hardware.

Voor campagnes betekent dit: schaalbare personalisatie, snellere contentcreatie en diepere interactie. Stel je bijvoorbeeld een AR-advertentie voor waarin gebruikers producten direct in hun eigen omgeving kunnen bekijken, zoals een bankstel in de woonkamer of een lamp op het nachtkastje. Of denk aan gepersonaliseerde avatars binnen fitness-apps en gaming-platforms, waarmee gebruikers zich sterker identificeren met de ervaring. Ook in de B2B-markt ontstaan kansen, zoals virtuele showrooms waarin klanten producten of systemen kunnen bekijken en aanpassen zonder fysieke aanwezigheid.

Maak iedere week een sprong vooruit in je marketing AI transformatie

Elke vrijdag brengen wij je de meest actuele inzichten, nieuws en praktijkvoorbeelden over de impact van AI in de marketingwereld. Of je nu je marketing efficiency wilt verbeteren, klantbetrokkenheid wilt verhogen, je marketingstrategie wilt aanscherpen of je bedrijf digitaal wilt transformeren. ‘Marketing AI Friday’ is jouw wekelijkse gids.

Meld je gratis aan voor Marketing AI Friday.