OpenAI maakt een enorme sprong vooruit met de introductie van GPT-4o, die in de komende weken uitgerold wordt. Deze sterk verbeterde versie van GPT-4 kan in realtime redeneren over audio, beeld en tekst, is sneller, toegankelijker en grotendeels gratis beschikbaar voor iedereen!

De aankondiging werd gedaan tijdens deze livestream, waarin diverse live demo’s gedaan werden met de nieuwe mogelijkheden. In de video hieronder zie je een samenvatting. 

Een overzicht van GPT-4o

✔️ GPT-4o (de ‘o’ staat voor ‘omni’) kan combinaties van tekst, audio en beeld verwerken en genereren. Het reageert op audio net zo snel als een mens reageert, de prestaties voor tekst in niet-Engelse talen is sterk verbeterd en het is 50% goedkoper in het gebruik via de API.

✔️ Spraakinteractie: Je kunt realtime met GPT-4o praten en midden in een zin onderbreken. Het reageert direct, zonder lange stiltes. Het kan emoties in je stem herkennen en in bijpassende emoties reageren, die steeds menselijker lijken. En het kan zelfs zingen. (Dit maakt Apple’s Siri wel heel ouderwets.)

✔️ Visuele herkenning: Het kan nu real-time de echte wereld bekijken. Je kunt live beelden, foto’s en screenshots laten analyseren. Tijdens de demo lieten ze zien hoe GPT-4o een wiskundig probleem kan helpen oplossen als je een som op een stuk papier schrijft. Het kan ook eerst hints geven zonder direct het antwoord te onthullen. Hiermee wordt het o.a. een nog krachtigere tool bij educatie en huiswerk.

✔️ Realtime vertaling: GPT-4o kan gesproken tekst realtime vertalen, zoals ze tijdens de demo lieten zien met vertaling van Engels naar Italiaans en andersom. Maar je kunt bijvoorbeeld ook een foto maken van een menu in een andere taal en met GPT-4o praten om het te vertalen en meer te weten te komen over de gerechten, en aanbevelingen te krijgen.

✔️ Het is mogelijk om met meerdere mensen live spelletjes te spelen zoals steen-papier-schaar, waarbij ChatGPT bijvoorbeeld de ‘showmaster’ of ‘scheidsrechter’ kan zijn.

✔️ GPT’s kunnen met elkaar praten en samen zingen!

✔️ De meeste huidige functies van GPT-4 en het gebruik van GPT’s en maatwerk GPT’s worden gratis beschikbaar gesteld voor alle gebruikers. Ook voor iedereen die geen betaald abonnement heeft. Dit is een belangrijke verandering en kan een enorme versnelling gaan geven aan het gebruik van ChatGPT en het ontwikkelen en gebruiken van maatwerk GPT’s.

Deze update wordt in de komende weken met alle functionaliteiten uitgerold naar de betaalde ChatGPT-gebruikers en de ChatGPT Free gebruikers met gebruikslimieten.

Volgens OpenAI is GPT-4o nog maar het begin, er komt spoedig nog veel meer aan, vooral voor de betaalde versies.

🔗 Bekijk hier de hele demo
🔗 Bekijk hier aanvullende informatie met o.a. meer indrukwekkende voorbeelden