I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen den nuværende tilstand af AI, især med fokus på Vibe Coding og AI-agenter. De dykker ned i emner som forbedringer i AI-agenter, context engineering, prompt engineering, og hvordan skills kan implementeres i AI-systemer. Diskussionen inkluderer også lytterspørgsmål om ChatGPT apps og fremtiden for store konceptmodeller. I denne episode diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen emner relateret til AI, herunder betydningen af large concept models, OpenAI's no-code agent framework, markedets overophedning, og hvordan AI kan bidrage til en mere CO2-neutral ejendomsektor. De berører også fremtidige buzzwords i AI, kategorisering af AI-titler, og vigtigheden af et eksperimentelt mindset i AI-udvikling. Desuden diskuterer de, hvordan almindelige mennesker kan implementere AI i deres hverdag og fremtiden for AI og vektordatabaser.Chapters00:00 Introduktion til Verbos Podcast01:55 State of AI og Vibe Coding05:53 AI-agenter og deres udvikling11:52 Context Engineering og Prompt Design17:48 Skills og deres anvendelse i AI22:12 Lytterspørgsmål og interaktion26:28 MCP og ChatGPT: En Ny Dimension32:05 Large Concept Models: Fremtidens Arkitektur?37:45 No-Code Agent Frameworks: En Spændende Udvikling?41:48 AI og CO2-Neutralitet: En Udfordring for Ejendomsektoren?44:53 Fremtidens AI Buzzwords45:49 Kategorisering af AI-Titler46:54 AI-Ingeniørens Rolle49:41 Vigtigheden af Kodekompetencer51:44 Eksperimentelt Mindset i AI55:17 Implementering af AI i Hverdagen01:00:14 Fremtiden for AI og Vektordatabaser

I dette afsnit af Verbos Podcast får Kasper Junge besøg af Anders Thorhauge Sandholm, Group Product Manager i Google, der har været med på nogle af de største Google-projekter de sidste 18 år.Anders tager os med bag kulisserne på udviklingen af V8 Engine og Chrome - en historie, der starter på en gård udenfor Aarhus og ender med at ændre hele internettet.Vi taler om:- De hemmelige år, hvor Chrome blev bygget i skjul 🕵️‍♂️- Hvordan V8 gjorde webapps mulige, og hvorfor JavaScript stadig lever i bedste velgående- Lanceringen af Chrome og de benchmark-kampe, der fulgte- Hvordan Google vandt udviklernes hjerter med DevTools og nye webstandarder- Og Anders’ senere arbejde i Google Research med NLP, transformer-modeller og AI i produkterHvis du er nørdet om software, AI eller bare elsker de der historier om “hvordan det hele startede”, så er det her afsnit noget for dig.Følg Anders her:https://www.linkedin.com/in/anderssandholm

I denne episode af Vabos podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen med professor Thomas Hildebrandt om de seneste fremskridt inden for AI, især med fokus på generative modeller og deres anvendelse i offentlig sektor. Thomas deler sin erfaring med at anvende AI i sagsbehandling og diskuterer vigtigheden af at matche den rigtige type AI til de rigtige problemer. Derudover berører de emner som datakvalitet, lovgivningens kompleksitet og hvordan AI kan hjælpe med at forbedre beslutningsprocesser. I denne samtale diskuterer deltagerne emner relateret til lovgivning, sprogmodeller, softwareudvikling og AI. De udforsker, hvordan sprogmodeller kan anvendes i lovgivning og softwareudvikling, samt de udfordringer og muligheder, der følger med. Derudover berører de emner som reasoning, verificerbare resultater, og hvordan mennesker og maskiner interagerer i AI-kontekster. Samtalen afsluttes med refleksioner over fremtiden for AI og teknologi.

Kapitler

00:00 Introduktion til AI og Kritisk Perspektiv

02:46 Thomas Hildebrandts Baggrund og Erfaringer

05:32 AI og Dens Anvendelse i Offentlig Sektor

08:22 Forskellige Typer AI: Symbolisk vs. Neuralt Netværk

11:07 Udfordringer med AI i Offentlig Administration

13:52 Lovgivning og AI: En Kompliceret Relation

16:44 Praktiske Anvendelser af AI i Sagsbehandling

19:19 Data Kvalitet og Forudsigelser i Offentlig Sektor

22:11 Repræsentation af Lovgivning som Graf

24:47 Fremtidige Udsigter for AI i Offentlig Sektor

35:34 Lovgivning og Sprogmodeller

38:34 Modulær Softwareudvikling

40:27 Reasoning og Verificerbare Resultater

46:05 AI i Software Engineering

53:04 Forståelse af Programmering

01:02:58 Menneske vs. Maskine i AI

01:09:03 Afslutning og Fremtidige Perspektiver

Følg Thomas Hildebrandt her: https://www.linkedin.com/in/thomas-hildebrandt-7677a31/

I denne episode diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen den nuværende tilstand af AI-teknologi, herunder hype, udfordringer og fremtidige muligheder. De reflekterer over, hvordan AI påvirker softwareudvikling, brugergrænseflader, og interaktionen mellem mennesker og maskiner. Diskussionen berører også emner som tale vs. tekst, innovation i AI-agenter, og hvordan fremtidige AI-modeller kan blive mere brugervenlige. I denne episode diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de seneste innovationer inden for AI, herunder betydningen af dataens kvalitet og fremtidige udfordringer. De udforsker brugeroplevelsen med AI-teknologier og reflekterer over den nuværende tilstand af AI, herunder behovet for nye modelarkitekturer og den potentielle fremtid for AGI.

I denne episode af Vabos Podcast dykker værten Kasper Junge og gæsten Emil Jensen ned i Retrieval Augmented Generation (RAG). De diskuterer, hvad RAG er, hvordan det kan anvendes i virksomheder, og hvilke udfordringer der er forbundet med datahåndtering og søgning. Derudover taler de om vigtigheden af at optimere supportartikler og den iterative proces i systemforbedringer. Episoden afsluttes med en diskussion om hukommelse og RAGs fremtidige perspektiver. I denne samtale diskuterer deltagerne emner relateret til AI, semantisk søgning, evaluering af RAG-systemer, fine-tuning og RAG. De udforsker, hvordan uendelige kontekstvinduer kan forbedre søgninger, vigtigheden af feedback loops i systemer, og hvordan man bedst anvender fine-tuning i forhold til RAG. Deltagerne deler også deres erfaringer med forskellige modeller og værktøjer, samt hvordan domæneviden spiller en afgørende rolle i data science.

Find Emil Lykke Jensen og hans projekter her:

- https://www.linkedin.com/in/emillykkejensen/

- https://www.governt.io/

- https://www.brieft.io/

Chapters

00:00 Introduktion til RAG og gæsternes baggrund

02:31 Hvad er Retrieval Augmented Generation?

05:22 Anvendelse af RAG i virksomheder

08:06 Udfordringer ved datahåndtering og søgning

10:44 Effektivitet i søgning og retrieval

13:39 Optimering af supportartikler med RAG

16:23 Data som en vigtig ressource

18:56 Iterativ forbedring af systemer

22:03 Hukommelse og RAGs rolle

24:42 Fremtidige perspektiver for RAG

35:52 Uendelige kontekstvinduer og semantisk søgning

42:20 Evaluering af racksystemer og feedback loops

47:48 Fine-tuning vs. RAG: Hvornår skal man bruge hvad?

55:03 Praktiske anvendelser og fremtidige perspektiver

I denne episode af Vabos Podcast diskuterer værterne den nylige lancering af GPT-5 og dets indvirkning på softwareudvikling, herunder Vibe Coding og Cloud Code. De dykker ned i, hvordan Cloud Code fungerer, og hvordan agent swarms kan revolutionere måden, vi udvikler software på. Diskussionen inkluderer også de udfordringer og muligheder, der følger med denne nye teknologi. I denne samtale diskuterer deltagerne balancen mellem AI og udvikling, hvordan agentic setups og Cloud Code kan forbedre udviklingsprocesser, og hvordan abstraktionsniveauer i AI kan ændre måden, vi arbejder på. De taler også om MCP-servere, integrationer, og hvordan ideer og innovation kan fremmes i udviklingsmiljøer. Diskussionen berører fremtidens brugergrænseflader og samarbejde mellem agenter, samt afsluttes med perspektiver på fremtiden for teknologi og udvikling.

Følg Poul her: https://www.linkedin.com/in/pksorensen/

Chapters

00:00 Introduktion til GPT-5 og Vibe Coding

10:34 Cloud Code og Agentswarms

21:09 Fremtidens udviklingsmiljøer og AI's rolle

26:15 AI-kodning og Iterationer

27:08 Teknisk Gæld og Kodekvalitet

28:29 Udvikling og Omkostninger

29:01 Agent Swarms og Cloud Code

30:45 Task Tool og Agent Processer

32:48 Parallelle Agenter og Workflow

34:44 Demonstration af Agent Swarms

37:26 Kritisk Artikel Framework og Looping

39:46 Main Loop Orchestration

43:56 Abstraktionsniveau og Task Orchestration

48:21 Mål og Backlog i MCP Servere

50:55 Fremtidens UI og MCP Servere

53:52 Dynamisk UI og Brugeroplevelse

56:33 Samarbejde mellem Agenter og Kodebase

59:20 Dokumentation og Arkitektur i Kodeudvikling

01:02:16 Afslutning og Fremtidige Perspektiver

I dette afsnit af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen et paper udgivet af Apple, der kritiserer eksisterende reasoning modeller inden for AI. De dykker ned i paperets hovedpointer, herunder evaluering af modeller, kompleksitet i problemløsning og de observerede resultater. Diskussionen inkluderer også kritik af paperet og dets tilgang til emnet, samt hvordan det relaterer til den nuværende tilstand inden for AI og machine learning. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen emner relateret til AI, machine learning, og reasoning modeller. De udforsker forskellene mellem menneskelig og AI-performance, kritiserer nuværende AI-modeller for deres begrænsninger, og diskuterer Apples tilgang til AI og Siri. Samtalen berører også vigtigheden af at have realistiske forventninger til AI's evner og fremtiden for Vibe Coding.

I dette afsnit af Verbos Podcast diskuterer værten Kasper Junge og gæsten Anne Poulsen den komplekse verden af droneteknologi, især med fokus på autonome droner. De dækker emner som de tekniske og juridiske udfordringer ved droner, hvordan man bygger dem, og de praktiske anvendelser i både civile og militære sammenhænge. Anne deler sin erfaring som droneingeniør og giver indsigt i, hvordan droner fungerer, samt de fremtidige muligheder og udfordringer i branchen.

Chapters

00:00 Introduktion til Droneteknologi og Krig

03:00 Udfordringer ved Autonome Droner

06:02 Juridiske Aspekter af Droner

09:00 Uddannelse som Droneingeniør

12:01 Teknisk Gennemgang af Droner

14:58 Fremtiden for Droner og Autonome Løsninger

17:09 Regulering og Autonome Droner

20:45 Navigationssystemer og Udfordringer

23:15 Innovative Løsninger i Krig

25:55 Hardware vs. Software i Droneproduktion

30:36 Danske Dronevirksomheder og Fremtiden

I denne episode af Verbos Podcast diskuterer vært Kasper Junge de nyeste fremskridt inden for Large Language Models (LLM'er) og deres anvendelse i browseren med Rasmus Aagaard og Jakob Hoeg Mørk. De dækker emner som use cases, teknologier, udfordringer og fremtiden for LLM'er i browseren, samt hvordan udviklere kan komme i gang med at implementere disse modeller.

Læs Rasmus Aagaards transformers.js tutorial her:

https://rasgaard.com/posts/getting-started-transformersjs/

Kapitler

00:00 Introduktion til LLM'er i Browseren

03:01 Erfaringer med LLM'er og Open Source

05:58 Use Cases for LLM'er i Browseren

09:00 Praktiske Anvendelser og Compliance

12:02 Teknologier til Implementering af LLM'er

15:04 Fremtidige Udsigter for LLM'er i Browseren

19:38 Brugeroplevelse og udfordringer med LLM'er

20:50 Modenhed af biblioteker og funktionalitet

23:06 GPU-udnyttelse og læring i browseren

26:31 Modelstørrelse og performance balance

28:20 Fremtidige standarder og API'er i browseren

31:02 Function calling og integration i produkter

33:29 AI's indflydelse på softwareudvikling

35:22 Brugergrænseflade og UX-udfordringer med AI

39:46 Specialisering af AI-modeller

42:37 Potentialet i Semantisk Søgning

44:31 Demokratisering af AI-teknologier

47:45 Fremtidige Udsigter for AI

50:30 Praktiske Anbefalinger til AI-udvikling

I dette afsnit af Verbos Podcast diskuterer værterne Kasper Junge, Mads Henrichsen og Jonas Høgh Kyhse-Andersen emner relateret til AI og open source. De dykker ned i, hvordan open source AI kan bidrage til uafhængighed fra tech-giganter, samt de seneste udgivelser fra 7.ai. Derudover diskuterer de reasoning modeller og deres relevans i dagens teknologiske landskab. I denne samtale diskuterer deltagerne emner relateret til tokenisering, chat templates, fine-tuning af LLM'er, etiske overvejelser i AI, encoder-decoder modeller, træning af lydmodeller og indsamling af samtale lyd. De deler erfaringer og indsigter om, hvordan disse teknologier fungerer og deres anvendelser, samt de udfordringer og muligheder, der følger med. I denne samtale diskuterer værterne betydningen af open source i forhold til suverænitet og teknologi i Europa. De udforsker udfordringerne ved at stole på amerikanske tech-virksomheder og behovet for europæiske alternativer. Derudover berører de, hvordan open source kan implementeres i den offentlige sektor og de forretningsmodeller, der kan understøtte dette. Samtalen afsluttes med en refleksion over fremtiden for open source og dets rolle i politiske diskurser.

Kapitler

00:00 Introduktion til AI og Open Source

08:11 Open Source AI: Udgivelser og Implementering

15:32 Reasoning Modeller: Overhypede eller Underhypede?

20:03 Fremtiden for Open Source Modeller

23:05 Tokenisering og Chat Templates

25:29 Fine-Tuning af LLM'er

26:54 Etiske Overvejelser i AI

28:57 Encoder-Decoder Modeller

34:41 Træning af Lydmodeller

40:33 Indsamling af Samtale Lyd

42:26 Open Source og Suverænitet

47:03 Udfordringer med Europæisk Teknologi

52:04 Open Source i Offentlig Sektor

56:04 Forretningsmodeller for Open Source

59:48 Fremtiden for Open Source og Suverænitet

I dette afsnit af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen udviklingen af AI-agenter, deres funktioner, og hvordan de er blevet mere effektive over tid. De dykker ned i, hvad der definerer en agent, hvordan de bruger værktøjer, og hvordan integrationen af agenter i produkter har ændret brugeroplevelsen. Derudover reflekterer de over tidligere episoder og de fremskridt, der er sket inden for området. I denne samtale diskuterer værterne udviklingen af AI, især fokus på output parsing og specialiserede AI-agenter. De fremhæver vigtigheden af at træne modeller til specifikke opgaver og introducerer konceptet 12-Factor Agents, som præsenterer bedste praksis for at bygge effektive AI-agenter. Derudover berører de emner som kontrolflow, fejlhåndtering og interaktion med API'er, hvilket er essentielt for at skabe robuste og effektive AI-løsninger. I denne episode diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen udviklingen af AI-agenter, fremtiden for interaktive systemer, og hvordan teknologi som WebSocket kan revolutionere brugeroplevelsen. De taler også om vigtigheden af prompt engineering og den iterative proces i AI-udvikling, samt hvordan voice agents kan ændre landskabet for AI-applikationer. Diskussionen afsluttes med refleksioner over fremtidige udfordringer og muligheder for udviklere i AI-verdenen.

I denne episode af Verbos Podcast diskuterer Kasper Junge og Poul Kjeldager den nyeste udvikling inden for MCP server og Vibe Coding. De dykker ned i, hvordan AI påvirker softwareudvikling, og hvordan udviklere kan navigere i denne nye virkelighed. Poul deler sin personlige rejse med at bruge AI til at kode og de udfordringer, han har mødt undervejs. Diskussionen inkluderer også fremtiden for AI i softwareudvikling og de muligheder og udfordringer, der følger med implementeringen af MCP server. I denne samtale diskuterer deltagerne emner relateret til automatisering, brugeroplevelse, API-design, MCP-servere og den nye A2A-protokol. De udforsker, hvordan man kan forbedre brugeroplevelsen gennem bedre UI-design og routing af API-kald, samt hvordan MCP-servere kan integreres i en app-store-lignende struktur. Diskussionen omhandler også, hvordan A2A-protokollen kan muliggøre samarbejde mellem agenter og forbedre kommunikation og funktionalitet. I denne samtale diskuterer deltagerne de seneste udviklinger inden for AI, herunder Googles rolle og marketingstrategier, betydningen af protokoller og standardisering, samt hvordan AI kan forbedre brugeroplevelsen og softwareudvikling. De udforsker også udfordringerne ved legacy-systemer og hvordan AI kan revolutionere måden, vi interagerer med teknologi på.

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge, Henrik Fabrin og Jonas Høgh Kyhse-Andersen deres erfaringer med AI-værktøjerne Cursor og Lovable. De dykker ned i, hvordan disse værktøjer kan hjælpe med softwareudvikling, og hvordan de påvirker kvaliteten af koden. Diskussionen inkluderer også emner som UX-design, iterative udviklingsprocesser og vigtigheden af feedback fra brugerne. I denne samtale diskuterer deltagerne vigtigheden af design tænkning i softwareudvikling, hvordan programmører skal interagere med forretning og brugere for at skabe bedre produkter. De taler også om håndtering af fejl i kode, kompleksiteten ved AI og integrationen af værktøjer som Cursor og Lovable. Desuden berører de emnet om MCP-servere og deres betydning for AI-agenter, samt hvordan kontekst kan forbedre LLM-svar. I denne samtale diskuterer deltagerne vigtigheden af klarhed i projektbeskrivelser og hvordan værktøjer som Lovable og Cursor kan forbedre arbejdsprocesser. De udforsker frontend-udvikling, UI-design og de udfordringer, der opstår ved brug af AI-værktøjer. Vibe-coding og kreativitet er centrale temaer, ligesom fremtidige udfordringer i softwareudvikling. Samtalen afsluttes med refleksioner over AI's rolle i udvikling og behovet for at følge med i teknologiske fremskridt.

I denne episode af Verbos Podcast dykker Kasper Junge og Natalie Havs Sørensen ned i sprogets fascinerende verden, herunder arbejdet med det danske sprog og litteratur gennem DSL. De diskuterer også, hvordan AI og teknologi påvirker sprog, samt hvordan datasæt kan bruges til at teste sprogmodellers viden. Derudover udforsker de betydningen af talemåder og deres anvendelse i det danske sprog, samt de kreative aspekter af sprog og de udfordringer, der ligger i at definere og forstå betydninger. I denne samtale udforsker Kasper Junge og Nathalie betydningen af talemoder og deres kulturelle kontekst. De diskuterer, hvordan talemoder kan variere mellem forskellige grupper og kulturer, samt hvordan de kan ændre betydning over tid. Derudover berører de udfordringerne ved at anvende sprogmodeller til at forstå disse talemoder, og hvordan kulturelle referencer kan påvirke sprogudviklingen. Samtalen indeholder også sjove eksempler på danske talemoder og deres historiske baggrund. I denne samtale diskuterer Nathalie og Kasper evalueringen af sprogmodeller, med fokus på upassende sprog og kulturelle forskelle mellem Danmark og USA. De udforsker, hvordan sprogbrug ændrer sig over tid, og hvordan diskrimination kan manifestere sig i sproget. Samtalen berører også fremtidige projekter og dataudvikling inden for sprogmodeller.

Chapters

00:00 Introduktion til Sprog og DSL

03:07 Sprog og Teknologi: AI's Indflydelse

06:08 Datasæt og Sprogmodeller: En Ny Dimension

09:01 Talemåder: Betydning og Anvendelse

11:51 Kreativitet i Sprog: Abstrakte og Konkrete Betydninger

14:47 Fremtidige Udfordringer og Perspektiver

23:37 Talemoder og deres betydning

25:15 Arbejdsskader og sprogforståelse

26:49 Kulturelle referencer i talemoder

28:54 Metaforer og deres betydning

30:50 Sprogmodeller og deres udfordringer

32:56 Kropslige metaforer og deres variationer

35:18 Kulturelle påvirkninger på sprog

37:32 Betydningsskift i talemoder

39:41 Historiske perspektiver på sprog

41:43 Sprogudvikling og sjove udtryk

43:05 Evaluering af sprogmodeller

46:31 Evaluering af Sprogmodeller

49:35 Upassende Sprog og Kulturelle Forskelle

53:55 Diskrimination og Sprogbrug

01:00:27 Ændringer i Sprog og Offentlig Diskurs

01:04:14 Fremtidige Projekter og Dataudvikling

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen de seneste trends inden for teknologi og programmering, herunder nye værktøjer som Cursor og begrebet Vibe Coding. De udforsker, hvordan AI påvirker programmeringsmetoder og værktøjer, og hvordan udviklere kan drage fordel af disse nye teknologier. I denne samtale diskuterer værterne brugen af AI i kodeudvikling, herunder kontekstvinduer og team dynamik. De dykker ned i nyheder fra Hacker News, herunder de seneste trends og værktøjer som Mistral OCR, og hvordan disse teknologier kan forbedre arbejdsprocesser. I denne episode diskuterer værterne udfordringerne ved UCR-services, Mistrals position i det europæiske LLM-marked, og bekymringerne omkring dataoverførsel til USA i lyset af EU's sikkerhedspolitik. De berører også tilliden til cloud-løsninger og databeskyttelse, før de afslutter med en analyse af OpenAI's nyeste model, GPT 4.5, og dens begrænsninger.

I denne episode af Verbos Podcast diskuterer Kasper Junge og Henrik Fabrin, hvordan AI kan revolutionere softwareudvikling, selv for dem uden kodningsfærdigheder. Henrik deler sin erfaring med at bygge chatbots og anvende AI-værktøjer, samt hvordan disse værktøjer kan lette udviklingsprocessen og frigive kreativ energi til produktudvikling. Samtalen dækker også vigtigheden af kontekst i AI-systemer og fremtiden for AI i softwareudvikling. I denne samtale diskuterer Kasper Junge og Henrik Fabrin effektiviteten i produktudvikling, vigtigheden af prototyper og iteration, samt de udfordringer der opstår ved skalering af software. De berører også emner som automatisering og AI i kode, nødvendigheden af kvalifikationer og erfaring i softwareudvikling, samt hvordan workflow og brugeroplevelse påvirker udviklingsprocessen. Endelig deler de deres erfaringer med læring og udvikling ved hjælp af værktøjer som Cursor. I denne samtale diskuterer Henrik Fabrin og Kasper Junge fremtiden for programmering, no-code værktøjer og hvordan teknologi kan ændre måden, vi udvikler software på. De taler om vigtigheden af brugercentreret design, nicheprodukter og hvordan man kan balancere mellem funktionalitet og brugervenlighed. Samtalen berører også de risici, der er forbundet med at udvikle SaaS-applikationer uden tilstrækkelig teknisk viden.Chapters00:00 Introduktion til AI og Softwareudvikling10:10 Henrik Fabrins Baggrund og Erfaringer19:49 Brug af AI-værktøjer i Softwareudvikling29:55 Fremtiden for AI i Softwareudvikling32:01 Prototyper og Iteration34:56 Udfordringer ved Skalering37:32 Automatisering og AI i Kode40:49 Kvalifikationer og Erfaring i Softwareudvikling43:58 Workflow og Brugeroplevelse i Kode51:28 Læring og Udvikling med Cursor53:25 Fra Kode til Kreativitet56:06 Fremtidens Programmering og No-Code Værktøjer01:00:48 Nicheprodukter og Brugercentreret Design01:07:23 Brugervenlighed vs. Funktionalitet01:11:31 Risiko og Ansvar i SaaS Udvikling

I denne episode af Verbos podcast diskuterer værterne Kasper Junge, Mads Henrichsen og Jonas Høgh Kyhse-Andersen de nyeste fremskridt inden for AI, især fokus på reasoning modeller som DeepSeek R1 og OpenAI O1. De dykker ned i emner som syntetisk data, reinforcement learning, og de udfordringer, der er forbundet med anonymisering i forhold til GDPR. Diskussionen inkluderer også hype omkring disse modeller og deres anvendelse i virkelige scenarier. I denne samtale diskuterer deltagerne emner relateret til AI, herunder Supervised Fine Tuning, udfordringerne ved reinforcement learning, og spørgsmålet om, hvorvidt AI kan tænke. De dykker ned i specifikationerne for DeepSeek R1-modellen og dens innovative funktioner, samt hvordan disse teknologier kan anvendes i praksis. I denne samtale diskuterer deltagerne emner relateret til maskinlæring, herunder MLA, DeepSeek's innovationer, reinforcement learning, model distillation og merging. De deler indsigt om, hvordan man kan optimere AI-modeller og udfordringerne ved at implementere nye teknologier. Derudover opfordrer de danske virksomheder til at engagere sig mere i open source-initiativer.

Kapitler

00:00 Introduktion til AI og Reasoning Modeller

02:57 DeepSeek R1 og OpenAI O1 Modeller

06:09 Syntetisk Data og Fine-Tuning

09:00 Reinforcement Learning og Dens Anvendelse

11:57 Hype omkring Reasoning Modeller

14:53 Verificerbare Resultater og Anvendelse

18:02 Anonymisering og GDPR Udfordringer

21:00 Fremtiden for AI og Reasoning Modeller

29:15 Supervised Fine Tuning og Dens Udfordringer

32:06 Reinforcement Learning og Verificerbare Belønninger

37:16 Kan AI Tænke? En Diskussion om Reasoning

48:01 DeepSeek R1-modellen og Dens Funktioner

54:44 Introduktion til MLA og Dimension Reduktion

57:04 DeepSig og Innovation i AI

01:00:10 Reinforcement Learning og Model Træning

01:02:58 Distillation og Supervised Fine-Tuning

01:06:58 Model Merging og Dens Udfordringer

01:09:54 Afslutning og Budskaber til Virksomheder

I denne episode af Verbos Podcast dykker værterne ned i DeepSeek og deres R1 reasoning model, som har skabt betydelig opmærksomhed på aktiemarkedet og i medierne. De diskuterer, hvordan DeepSeek har trænet deres model, dens indflydelse på aktiemarkedet, og hvordan open source tilgangen kan ændre landskabet for AI. Derudover udforsker de brugen af reinforcement learning med verificerbare belønninger og de fremtidige perspektiver for reasoning modeller. I denne samtale diskuterer Jonas Høgh Kyhse-Andersen og Kasper Junge forskellige aspekter af token generering, verifikation, og forskellene mellem reinforcement learning og supervised learning. De dykker ned i emner som preference tuning, usikkerhed i modeller, og hvordan selvrefleksion kan forbedre output. Derudover taler de om cold start og model distillering, samt hvordan reasoning oriented reinforcement learning kan forbedre modellerne. I denne samtale diskuterer værterne innovative tilgange til AI-modeller, herunder brugen af reinforcement learning og GPU-optimering. De udforsker, hvordan forskellige metoder kan forbedre præstationen af AI-systemer og hvordan fremtidige eksperimenter kan ændre landskabet for AI-træning. Samtalen dækker også vigtigheden af verifiable rewards i træningsprocessen og de potentielle anvendelser af reasoning-modeller.

Ugens Repo: https://github.com/Jiayi-Pan/TinyZero

Kapitler

00:00 Introduktion til DeepSeek og R1 modellen 03:03 DeepSeek's indflydelse på aktiemarkedet 05:51 Reasoning modeller og deres træningsmetoder 08:47 DeepSeek's open source tilgang 12:07 Reinforcement learning med verificerbare belønninger 15:09 Fremtidige perspektiver for reasoning modeller 28:45 Verifikation af Token Generering 31:12 Reinforcement Learning vs. Supervised Learning 32:55 Preference Tuning og Human Feedback 36:33 Verifikation og Usikkerhed i Modeller 39:43 Selvrefleksion i Modeller 42:51 Cold Start og Model Distillering 50:00 Reasoning Oriented Reinforcement Learning 54:01 Innovative Tænkning i AI Modeller 57:50 GPU Innovation og Performance Optimering 01:01:03 Reinforcement Learning og Verifiable Rewards 01:05:26 Eksperimenter med Reasoning Modeller 01:10:54 Fremtidige Perspektiver for AI Træning

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen det nye AI-infrastrukturprojekt Stargate, præsenteret af Donald Trump. De dykker ned i projektets struktur, dets politiske implikationer, og hvordan AI er blevet en central del af amerikansk politik. Diskussionen berører også bottlenecks i AI-udviklingen, herunder data og compute, samt Sam Altman og OpenAI's hurtige vækst. Værterne reflekterer over populisme i politik og hvordan det påvirker AI's fremtid. I denne samtale diskuterer værterne Jonas Høgh Kyhse-Andersen og Kasper Junge emner relateret til data centre, META's beslutning om at fjerne deres fact checking system, og de etiske implikationer af misinformation, især i forbindelse med vacciner. De udforsker også, hvordan Community Notes kan fungere som en alternativ tilgang til faktatjek, og hvordan det kan påvirke den offentlige diskurs. Desuden berører de de seneste fremskridt inden for AI, især med fokus på Deep Seek og kinesiske AI-modeller. I denne episode diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de nyeste tendenser inden for AI, herunder DeepSeq R1 og koldstart-data, samt paradigmeskift i træning af modeller. De dykker ned i emner som reinforcement learning, test time bandits, og hvordan cloud teknologi kan revolutionere AI. Desuden præsenteres et spændende open source laptop projekt, der fremhæver hardware innovation.

00:00 Introduktion til Stargate og AI Infrastruktur 03:00 Donald Trump og AI's Rolle i Politik 05:53 Stargate Projektets Struktur og Formål 09:02 Bottlenecks i AI Infrastruktur 11:59 Sam Altman og OpenAI's Vækst 15:03 Populisme og AI's Fremtid 18:11 Data og Compute som Bottlenecks 23:02 Data Center og GPU-udfordringer 24:18 META's Fjernelse af Fact Checking 26:47 Community Notes vs. Fact Checking 31:58 Etiske Overvejelser om Vacciner og Misinformation 39:43 Reaktioner på META's Ændringer 44:32 Deep Seek og Kinesiske AI-modeller 54:34 Forventninger til DeepSeq R1 og Koldstart-data 57:41 Paradigmeskift i Træning af Modeller 01:00:10 Deep Dive i Reinforcement Learning og Test Time Bandits 01:01:37 Nye Tendenser i AI og Cloud Teknologi 01:10:37 Open Source Laptop Projekt og Hardware Innovation

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen de seneste fremskridt inden for AI, herunder den nye LLM DeepSeek V3 og den moderne encoder-model ModernBERT. De dykker ned i specifikationerne, anvendelserne og de økonomiske aspekter af disse teknologier, samt hvordan de påvirker softwareudvikling og AI-landskabet generelt. I denne samtale diskuterer værterne opgraderinger af kodeværktøjer, nye teknologier inden for AI og maskinlæring, samt de seneste nyheder fra Nvidia, herunder deres nye AI supercomputer. Derudover berører de målgruppen for sådanne teknologier og prisen på avancerede GPU'er. Samtalen afsluttes med en introduktion til ugens repo, Predantic AI, som er et framework relateret til Pydantik. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen emner relateret til softwareudvikling, herunder dependency injection, frameworks, og open source projekter. De dykker ned i, hvordan man kan bruge agenter og abstrahering i programmering for at skabe mere fleksible og brugervenlige løsninger. Derudover præsenterer Kasper sit nye værktøj, MagScribe, som hjælper med transkription af videoer og podcasts, og de afslutter med at tale om fremtidige projekter og vigtigheden af at dele viden i udviklingssamfundet.

Chapters

00:00 Introduktion til AI og Verbos Podcast 06:59 DeepSeek V3: En ny LLM i AI-verdenen 15:00 Modern Bird: En ny tilgang til encoder-modeller 19:17 Opgradering af kodeværktøjer 21:05 Nye teknologier og deres anvendelse 23:34 Nvidia's nyheder og GPU udvikling 25:43 Nvidia's AI supercomputer og dens potentiale 31:26 Diskussion om målgruppen for AI supercomputere 32:22 Ugens repo: Predantic AI 33:43 Introduktion til Dependency Injection 36:17 Frameworks og Agenter 38:32 Abstraktion og Fleksibilitet i Software 40:18 Open Source Projekter og Pydantic 44:19 MagScribe: Et Nyttigt Værktøj 51:07 Afslutning og Fremtidige Projekter