SPEAKER_02 0:04

Welkom bij een nieuwe aflevering van onze podcastserie over AI-infrastructuur en AI factories en alles wat daarbij komt kijken, in deze reeks praten we met specialisten die eigenlijk op dit onderdeel allerlei diensten leveren. Om niet alleen te beginnen, maar ook om te kunnen doorschalen en uiteindelijk van een pilot naar productie kunnen komen op de meest effectieve manier. Want zodra AI serieus wordt, komen er een aantal vragen naar boven bij heel veel bedrijven, zoals soevereiniteit, kostenbeheersing, veiligheid, duurzaamheid. En hoe hou je nou controle over al die bewegende onderdelen die daaronder zitten. Deze aflevering is zeker een zin een thuiswedstrijd voor Cisco. Want we zitten hier in de Cisco podcast studio in het Cisco kantoor in Amsterdam. En bij ons hebben we twee gasten. Eén gast daarvan is Sander. Sander, welkomid. En de andere gast is Raymond. Raemond, goedemiddag.

SPEAKER_01 1:16

Goedemiddag, Raymond.

SPEAKER_02 1:18

Ik laat jullie absoluut zo aan het woord om jezelf te introduceren. Maar om dit nog even in de context te zetten van deze aflevering. Iedereen kent Cisco wel ergens van. Maar als je AI hoort, dan hoor je ook vaak begrippen zoals computer, GPU's, storage, platformen, software en video ergens op de achtergrond. En wat doet Cisco dan precies in dit domein? Nou, dat gaan we deze aflevering uit de doek doen. Dus we gaan anders kijken naar Cisco vandaag. Verder van de networking af naar deze onderdelen. Maar we gaan ook zien dat netwerking daar een ongelofelijk belangrijk onderdeel in is. Sander, nogmaals, welkom. Misschien voor de luisteraar die je nog niet helemaal kennen van een eerdere aflevering, kun je jezelf nog even voorstellen, en je rol binnen Cisco.

SPEAKER_00 2:14

Ja, zeker. Leuk om weer te zijn, Niels. Dankjewel. Mijn naam is Sanne tenet. Ik mag binnen Cisco het team aansturen, wat onze klanten en partners helpt met datacenter cloud en AI-infrastructuur binnen de Benelux en Zwitserland regio's. En dus dat team helpt juist op dit domein het bij elkaar brengen van de verschillende Cisco-componenten om klanten en partners op weg te helpen in de wereld van AI. Infrastructuur, moet ik eraan bij toevoegen.

SPEAKER_02 2:41

Ja, AI-infrastructuur, AI factories, AI-platformen, geef het een naam.

SPEAKER_01 2:45

En Raymond, ook al een keer eerder aangeschoven, wederom welkom en dank voor de uitnodiging op deze mooie, in ieder geval zonnige vrijdagmiddag. Ik hoop dat het continueert in het weekend. Voor degene die mij nog niet kennen, mijn naam Raymond Drielinger, oprichter eigenaar van MDCS, MDCSI. Dat doe ik nu sinds een kleine 21 jaar. En specifiek waar we hiervoor zitten, ook in combinatie met Cisco, is dat wij dus organisaties welke behoefte hebben aan AI-infrastructuren, behoefte hebben, advies, guidance, hoe te komen tot AI factories, dat wij die daarvan kunnen informeren en eigenlijk begeleiden in hun journey naar een succesvol AI-platform. Daar wij iedereen over AI spreekt. Je vaak ziet dat zijn kleine fabriekjes, dat zijn kleine eilandjes met systemen, waar wat GPU-performance in zit. Proberen wij daar gewoon een platform neer te zetten, wat klein kan beginnen, maar wat gewoon kan schalen richting de toekomst.

SPEAKER_02 3:41

Mooi. En dan de bal terug naar Sander. Dus Sanne, wat ik al zei in de opening, Cisco kent iedereen vanuit netwerking en switches en routers. Jullie misschien wel een traditionele achtertuin. Nog steeds. Maar jullie doen meer dan dat. Zeker als we dat vertalen in het domein van AI. Kan je eens een beetje duiden wat dat dan is, wat de rol daarin is.

SPEAKER_00 4:10

Zeker. Het netwerk is en blijft een fundamenteel onderdeel van IT-infrastructuur. En in de wereld van AI zie je eigenlijk dat die rol nog belangrijker is geworden. Waar je voorheen datacenters hebt die waar met name rondom East West infrastructuur en verkeer gaat, zie je eigenlijk dat daar wat aanpassingen in benodig zijn. Cisco heeft door de jaren heen continu ook geïnvesteerd in andere domeinen. Maar networking blijft daarin de cruciale. en waar uiteindelijk ook alles op blijft landen. Ju. Dus waar we verder hebben doorontwikkeld op security componenten en die volledig weten te integreren in de networking deel. Door overnames als Splunk die ons daarbij helpen om dat te kunnen gaan doen. En dus eigenlijk wat je ziet is dat in de afgelopen jaren we bepaalde componenten goed bij elkaar kunnen brengen. Nu in de context eigenlijk die er iemand net aanzet. De context van ook een AI-factory. En die je zelf in de intro ook aanhaalt. Waarbij we het stukje compute al jaren in ons portfolio hebben. En dat een volwassen product is met de laatste Nvidia AMD oplossingen. Het netwerk infrastructuur die continu blijft doorevolueren met betrekking tot de snelheden die benodigd zijn om AI-applicatie stabiel te kunnen laten draaien. En daart bovenop je eigenlijk een heel ecosysteem hebt van partijen in de markt, zoals een Vast, zoals Red Hat. En we dan ook op die laag binnen die container security enforcement kunnen gaan doen. tot uiteindelijk zelfs de applicatie zelf. Waarbij we tot op het token niveau security enforcement en guard rules kunnen gaan enforcen. En als je dat dan allemaal bij elkaar weet te brengen waar we momenteel mee bezig zijn geweest in de afgelopen jaren. En we nu een volledig gevalideerde stack hebben volgens Nvidia's reference architecture. Zie je dat dat een perfecte match is voor de meeste enterprises die nu klaar zijn om IE-appliaties en IE use cases op schaal te gaan uitrollen en te gaan draaien. Met een zo laag mogelijke kost per token. Zoals de markt daarnaar kijkt vanuit het concept tokenomics.

SPEAKER_02 6:23

Tokenomics, ja, zo'n crate die dan opeens een soort gemeen goed wordt, maar nog niet iedereen. Daar gaan we straks nog wel even op in, wat we daar precies onder staan. En Raymond, vanuit jouw rol als integrator, als dienstverlener op het gebied van AI-infrastructuur, waar je tussen te maken hebt met veel verschillende leveranciers en onderdelen binnen zo'n AI-factory. Hoe kijk jij tegen Cisco aan? In het kader wat Salne net heeft geduid.

SPEAKER_01 6:56

Ik denk als je kijkt waar wij tot op heden met onze klanten mee bezig geweest zijn, dat je dan ziet dat daar zaten wat gaten in. En het is ook weer een reis, het hele AI-fenomeen, om het zo te noemen, staat zeker niet meer in de kinderschoenen. Maar je ziet wel dat wat wij vanuit de enterprisewereld gewend waren en zoiets van, joh, dit is normaal, dat dat nu ook binnen deze of dit domein, het AI-domein, geïmplementeerd moet worden. En dan specifiek zoals Sander net ook benoemt, dat wij op een gegeven moment inzicht krijgen in. pak bijvoorbeeld een organisatie, die draait een AI-omgeving, daar draait de Kubernetes platform, daar draai je containers op. Maar wie die in een container zit, ik probeer het al te vergelijken met de NS. Die vervoert passagiers van A naar B. Maar je weet niet wat voor passagiers er in de trein zitten. Met technieken onder andere die Cisco heeft, kunnen zij in die containers kijken, zitten daar eventueel bedkays in en daar eigenlijk per direct op ingrijpen, zodat er geen schade of wat voor zaken dan ook, zeg maar, binnen de fabriek aangericht kunnen worden.

SPEAKER_02 7:53

Is dat wat jou betreft ook een van de belangrijkste onderscheidende factoren van Cisco ten aanzien van andere aanbieders die weliswaar GPU's aanbieden?

SPEAKER_01 8:05

Dat denk ik zeker. Ik denk dat we het hier gewoon kijk ik eventjes naar rechts voor de kijkers. Over een USP mogen hebben, zeg maar, welke Cisco in combinatie met die extra beveiligingslagen kunnen kijken daadwerkelijk wat zit er in containers. Dat je daar een USP te pakken hebt, welke andere Vendoren op dit moment nog niet in het portfolio hebben zitten. Dus weer die extra laag security.

SPEAKER_02 8:27

Ja, veiligheid, daar hoor je natuurlijk veel over. Jij noemde net een naam Splunk. Splunk is kort duidelijk voor misschien dat niet iedereen nog precies weet. A wat Spunk is, en B dat jullie het hebben overgenomen, hoewel het natuurlijk wel nieuws is geweest.

SPEAKER_00 8:42

Ja, het is nieuws geweest, het is de grootste overname ooit. Splunk is een platform wat enorm goed is in het ingesten van enorme hoeveelheden data. En dat is data, dus het elk überhaupt internetgebonden device. Of geconnecteerde device of applicatie. En daarom is Plunk in staat om enorm goed security visibiliteit te doen, maar ook enorm goed analyses te kunnen leggen en te kunnen gaan kijken rondom alle verschillende componenten in deze context van een AI factory, wat in principe een productielijn is, om te gaan kijken, oké, elk stapje werkt dat naar behoren. En daarop dan ook predictive te kunnen gaan kijken naar op basis van tickets die worden geopend, op basis van wat wij noemen time series data, te kunnen gaan kijken naar de stabiliteit en efficiëntie van dat netwerk. En vandaag de dag in de context van een Secure I factory, zoals Cisco die momenteel kan aanbieden, ook met de recente aankondigingen bij Nvidia GTC een aantal weken geleden. Zie je eigenlijk dat Splunk een belangrijk onderdeel speelt om elk deel in die keten van die productielijn inzichtelijk te kunnen gaan krijgen qua uptime, qua issues. Om te zorgen dat die kost per token zo laag mogelijk blijft. En tegelijkertijd de AI-appliatielaag ook kan gaan monitoren vanuit een security perspectief. En vanuit een performance perspectief. En dat gaat heel belangrijk zijn op de langere termijn. Want misschien nog één deel om hem te kaderen. Kijk, we hebben eigenlijk verschillende delen van AI-infrastructuur. En de meeste investeringen by far gaan momenteel in HPC, complexe HPC-omgevingen, waar Nvidia grootste investeert, AMD grootste investeert, waar soevereine landen nu bezig zijn om AI factories en projecten op te tuigen. Maar eigenlijk zie je dat wij veel meer kijken naar. We hebben organisaties die zo meteen een gevalideerde AI-application moeten gaan draaien op schaal, volgens de security eisen van een enterprise organisatie. En dat vergt een ander type stack. En dat vergt een ander type integratie in hoe het IT-landschap er vandaag de dag uitziet. Dus daar zie je dat het gros van onze ontwikkeling naartoe gaat. En de platformen Splunk en onze security integratie, juist daar de USP zijn, zoals Raymond het net benoemde.

SPEAKER_02 11:09

Goede duiding. En ook denk ik heel belangrijk voor Cisco dat jullie over die capability beschikken. Om uiteindelijk die veiligheid nog naar een hoger niveau te tillen en snelheid. En Raymond, als we even teruggaan naar de roots van Cisco, als ik dat vrij vertaald mag zeggen, networking. Dan maak jij volgens mij wel eens mee dat networking onderschat wordt door bedrijven die zeggen nou, we investeren in relatief dure GPU's. En die sluiten we aan op bestaande networking. Vanuit een officeomgeving bijvoorbeeld. Ja, zie je dat vaak gebeuren of zie je dat gebeuren? Ja, wat is daar het gevolg aan?

SPEAKER_01 11:51

Dat heeft natuurlijk verschillende oorzaken. Ik denk, en ik zeg wel eel gek scherend, ook in gesprekken met onze klanten, dat zeg maar, de beheerdteams, welke sinds jaar en dag vaak bij klanten intern aanwezig zijn, waar je traditioneel opgekniet ziet, daar hebben wij onze serverbeheerders, daar hebben we onze netwerkbeheerders, daar hebben onze security officers, daar hebben we onze databasebeheerders, storagebeheerders. Dat al deze dames en heren, op hun eigen domein, noem het server, noem het database, noem het storageplatform. Van A tot Z weten wat er gebeurt. Ga je kijken naar een bijvoorbeeld een AI factory, dan zijn al die componenten daar ook in aanwezig, die moeten daarin aanwezig zijn. Maar je moet het dan ook vervolgens gaan zien als zijn er een appliance. Op het moment dat ik een tweak uithhaal of een update doe op een storageplatform, kan dat direct zijn impact hebben op de throughput over, en je komt hier binnen, het netwerk. Om in ieder geval die GPU's constant met zo groot mogelijke data te kunnen blijven voeden, zodat die optimaal aan de gang gaan. En de trade-offs die je daarin vaak genomen ziet worden, is dat als we het hebben over snelheden, praten we vandaag over 200 gig in een enterprise-omgeving, zeggen ze vaak al 200 gig. Daar begonnen wij een jaren geleden al mee. Het ging van 200 gig, het ging naar 400 gig, vandaag de dag 800 gig. Voor Oost-West, voor Noord-Zuid, die componenten zitten er allemaal in. De volgende generatie gaan we naar 1,6 terra qua doorvoersnelheid. En dat zijn gewoon totaal andere omgevingen die vaak, en dan noem ik het weer zeg maar, in de traditionele beheerswereld hebben van jongens, waar hebben wij het hier met z'n allen over? Maar wel essentiële componenten om die dataflow op gang te kunnen houden tussen alle verschillende componenten.

SPEAKER_00 13:35

Een GPU is een enorm dure infrastructuur. Nou goed, nu helemaal met de geheugencrisis die we zien, de grootste crisis die we als IT-markt in drie decades hebben gehad. Maar om die GPU het maximale uit te halen, is inderdaad die GPU-utilisatie cruciaal. En een van de belangrijkste metrics van een dergelijke AI factory. De bottlenck is inderdaad vaak het netwerk. En 1.6 hebben we recentelijk aangekondigd voor het wijd dit jaar. En we zitten dus al op dat niveau. Om inderdaad die GPU's die enorm wat enorm zonde is om die niet zo dicht mogelijk tegen 100% utilisatie te hebben draaien. Die te kunnen blijven voeden met de data, of het nou een inferencing use case is of een training use case en alles daartussen.

SPEAKER_02 14:18

Remand, heb jij niet een keer de analogie gemaakt of de beeldspraak? Over de benzine leidingen in een auto, de brandsofleidingen in een auto en de motor, de motor als GPU.

SPEAKER_01 14:30

Ik maak ook vaker van dit soort beeldspraken en race teams. En het is toevallig ook iets waar ik graag naar kijk als we over Formule 1 hebben. Maar eigenlijk probeer ik het vaak ook op een andere manier uit te leggen. Op het moment dat je het advies doet bij organisaties voor jou luister. We kunnen allemaal de motor, het motorblok van Max Verstappen nemen. Als we daarvoor zorgen dat er een te kleine brandstoftank in zit met te smalle brandstofleidingen om datgene wat de motor nodig heeft, brandstof, door de juiste leidingen naar de motor te krijgen. dan performance gaat er niet zijn. En dat wordt iedere wedstrijd die gereden gaat worden in het achterveld eindigen. En op het moment dat je zorgt dat die componenten op elkaar afgestemd zijn. En ja, dat zijn vaak doorvoersnelheden en hoeveelheden die in de traditionele wereld ze kijken, nog steeds staan. Dat ze zeggen van waar hebben we het over. Dit is hetgeen waarmee je kampioenen maakt, een juiste setup. Alle componenten op elkaar afstemmen, als één kloppend geheel. En dan ga ik weer terug naar je ziet als een appliance. Waar heel veel disciplines onder één AI factory aanwezig zijn.

SPEAKER_02 15:33

Nou, dus een mooi bruggetje naar de vraag die ik wil stellen aan Sander. Zo'n AI-fabriek of zo'n AI-stack, zoals je wilt, een AI-infrastructuur, die bestaat uit heel veel verschillende componenten. Wat is nou het verschil tussen die verschillende componenten als je die aanschaft, en een gevalideerde AI-omgeving die je bij Cisco kan afnemen. Want dat bestaat ook uit die componenten, neem ik aan.

SPEAKER_00 16:04

Kijk, uiteindelijk kan alles wel. Alleen het zijn enorm grote aanschafkosten om deze infrastructuur af te nemen en te laten draaien. En eigenlijk als we toch in beeldspraak werken voor de luisteraars, dan hebben we ook uiteindelijk hebben we namelijk de term AI factory is bewust gekozen door eigenlijk de markt. We hebben het eigenlijk over een productielijn waar we in de context van een AI-fabriek twee dingen in stoppen: data en stroom. Dan heb je een fabriek draaien. Aan de andere kant komt er uiteindelijk een outcome uit die die AI-applicat levert. Als ik dat dan naar een productielijn van een auto om in de lijn te blijven, we willen eigenlijk een formule één auto hebben aan de andere kant. Dat betekent dat ik een productielijn heb met allemaal verschillende stapjes. Waar allemaal losse componenten in gegooid worden. Die aan het eind van de productlijn tot een auto leiden. Dat is misschien Formule 1 een slecht voorbeeld, gezien de customizability. Maar ik hoop dat die overkomt. Dan heb je eigenlijk elke stap zo vast mogelijk en op elkaar afgestemd zijn om een zo efficiënt mogelijke productielijn te hebben waarmee je zoveel mogelijk auto's van de band kunt laten rollen. Dat is eigenlijk exact waarom wij geloven in het volledig integreren van die AI-fabriek. Zodat je van tevoren al kunt zien en de risico's kunt mitigeren dat als ik er data en stroom in doe, dat ik dan ook op zo'n efficiënt mogelijke manier de maximale output eruit kan krijgen. En dat is niet iets wat alleen Cisco natuurlijk doet, laat dat ook duidelijk zijn. Dat is niet de belofte die ik hier kan maken. Maar eigenlijk zie je dat de grotere AI use cases, vanuit de hyperscalers op exact dezelfde filosofie gebouwd zijn, wij hem door hebben getrokken met onze componenten. En wij differentiëren op het security en observability deel. Ten opzichte van andere partijen in de markt, om ook te zorgen dat de cyber security niveaus geborgd worden. Maar eigenlijk zie je dat dat de kadering is waarop we hem nu zetten en waarom wij daarin geloven ten opzichte van het los aanschaffen van die componenten.

SPEAKER_02 18:10

Dat is iets wat jij natuurlijk ook tegenkomt. Dat je bij bedrijven komt die zeggen, nou, ik koop zelf wel mijn componenten in en ik ga het zelf wel aan elkaar rijigen, om zo maar te zeggen. Of dat je zegt, nou, ik weet niet of dat zo'n slim idee is. Je kunt beter een reference architectuur, een gevalideerde architectuur aanschaffen. Wat is jouw ervaring daarin in de praktijk?

SPEAKER_01 18:31

Het is eigenlijk zoals je juist reeds benoemd, Niels. Partijen die we dus zien die zelf denken de wijsheid in pachten hebben, gewoon puur op kennis opgedaan in het verleden en zeggen van, prima, wat hebben wij nodig om een AI-fabriek of een GPU-platform in elkaar te zetten, dan hebben wij GPU's nodig. Dan hebben wij een stuk netwerkkonnectiviteit nodig. Dan hebben wij een stuk opslag daarin nodig. We hebben een stuk manageability nodig. En dan even een stap terugdoen en zeggen van oké, dat zijn vrij prijzige componenten om het zo te zeggen. En die daar al een trade-off gaan maken. Prima doe ik het voorbeeld wat net ook benoemd is: netwerkkonnectiviteit aan schaffen met een doorvoersnelheid van 400 gig. Die 200, dat scheelt mij toch een paar puntjes. Vervolgens zie je dat dat aan elkaar geknutseld wordt. En dat je daar dus eigenlijk een GPU-infrastructuur, een kleine fabriek, hoe ze het dan ook mogen noemen internet, waar relatief veel geld in gestoken is. Maar wat eigenlijk, zoals zeg, niet de juiste output en de hoeveelheid auto's laat produceren, weet je, wat eigenlijk mogelijk had kunnen zijn. Daarvoor ons advies ook altijd. En op het moment dat wij met organisaties in gesprek gaan, van zorg in ieder geval dat je een referentiearchitectuur neemt, die is getest, die is gevalideerd op het moment dat er iets is, wordt dat volledig gesupport en vaak wordt er een call gelogd, is het niet prima, dat zijn componenten van ons die eigenlijk niet het Cisco-label op de doos hebben staan. Nee, dat is gewoon een referentiearchitectuur. En je komt eigenlijk in een one-stop shopping-omgeving terecht. en die hebben we gezien en aan de lijve kunnen ondervinden met onze klanten. Het doet zich een probleem voor. Support komt aan boord en we gaan niet slapen tot het probleem is opgelost.

SPEAKER_02 20:17

Omdat het bij één loket trekt. En die los het op. Want het andere is dan ook waar, als je dat dus niet zo inregelt, dan ga je langs vier loket.

SPEAKER_01 20:30

Precies, en ieder loketje kijkt eerst van, is er bij mij in het domeinje iets aan de hand. Ik ben helemaal oké, dat krijg je vier keer. En ik zeg het altijd heel gekscherend, weer terug naar de race autootjes. Vandaag heb ik een auto die 320 km per uur draait. Er gaat onderhoud gedaan worden op verschillende deelgebieden. En diezelfde auto komt morgen weer op de baan doet 180. Dan gaan we geen races meer winnen. Iedereen kijkt zijn, haar, componenten. Alles is goed. Het enige wat we concentreren, we hebben snelheids. Achteruitgang. Waar zit het probleem? Ga referentiear structuur, heb je hier een garantie.

SPEAKER_02 21:04

En dat heet bij Cisco AI-pods, toch?

SPEAKER_00 21:07

Of is dat AI-pod is waarin we eigenlijk al die componenten bij elkaar hebben gebracht. En ook al van tevoren kunnen gaan helpen bepalen. Als dit het type applicatie is met bepaalde parameters die benodigd zijn. En hoe die steger dan uit zou moeten kunnen komen te zien om dat te gaan helpen draaien.

SPEAKER_02 21:27

En dat is inclusief de storage, die dan weliswaar niet Cisco eigen is, maar die zijn uit een gevalideerde.

SPEAKER_00 21:34

Absoluut. En die komen uit diezelfde gevalideerde architectuur, die ook met Nvidia dan compatible uiteraard zijn. Jazeker. En ik vind het misschien nog goed om ook toe te voegen. Kijk, voor een bepaalde chatbot functie komen de meeste organisaties denk ik nog wel weg met het losdraaien van bepaalde infrastructuurcomponenten. Want bij elke prompt heb je één piek op het netwerk. Eén piek op die op dat systeem. En dat is dat is, als je het gaat kijken naar hoeveelheid concurrent users en dat soort zaken, is het enigszins nog te overzien. Maar als je ziet hoe snel de innovatie en ontwikkelingen gaat op het gebied van de agente use cases. En de impact die dat mensen meebrengt op een dergelijk systeem en op het netwerk, wat daar als fundering onder ligt, is gewoon continue piekbelasting. En dat vergt een totaal andere filosofie, hoe we zo'n systeem in elkaar moeten gaan zetten. En waarom het zo belangrijk is, omdat ook van tevoren goed geïntegreerd met security op elk niveau te kunnen gaan invoeren.

SPEAKER_02 22:36

Dus uiteindelijk is het ook een must om die technische capaciteit in zo'n GPU, wat je eigenlijk zou kunnen om die ook echt te benutten. Absoluut. Dat zal in de praktijk nog niet het geval zijn bij heel veel implementaties.

SPEAKER_00 22:50

Exact. En daarom zien we ook heel veel pilots vaak misgaan. Dan komt het terug op de ROI van de use cases. En daarom zie je dat die kost per token en het efficiënt draaien van zo'n fabriek, is fundamenteel in het succes. Want anders wordt de stekker er gewoon uitgetrokken.

SPEAKER_02 23:07

Meeting veel bedrijven al in een kost per token, filosofie.

SPEAKER_00 23:11

Nee, nog niet genoeg. Nog niet genoeg. In ieder geval wat wij zien. Een aantal lopen er vooruit, maar dat is met name industrieën. De farma-industrie, de finance industrie. Dat zijn omgevingen en type bedrijven die al wat verder zijn qua ontwikkeling. Maar er zijn nog genoeg industrieën die nog enorme stappen te maken hebben. Maar uiteindelijk wordt finance wel een belangrijke peer en counterpart als onderdeel van deze trajecten. Omdat als we eenmaal een use case hebben met een verwachte outcome, maar deze fabriek draait niet op de efficiëntie. Of de kost per token gaat ergens omhoog. Omdat er ergens op een van die lagen een issue is, of het draait niet efficiënt. Dan kan die kost per token. En de totale kosten van die AI-applicatie enorm hoog raken. Ja, dan wordt de stekker eruit getrokken. En dat zie je nu helaas enorm veel bij pilots. Wat jammer is, met name ook omdat het in hyperscalers gebeurt. Ook daar kunnen we natuurlijk bij helpen om dat on-prem lokaal te doen. Maar er zijn nog genoeg zaken waarbij we moeten gaan helpen om dat voorspelbaarder te maken, is denk ik het woord. In deze casus.

SPEAKER_02 24:25

Voorspelbare performance, voorspelbare kosten. De cost-to-performance ratio. Nog even terug naar dat security. Security by design. Waar eigenlijk Sys gewoon een ander verhaal heeft dan veel andere aanbieders van compute GPU's, laat ik zo maar even generiek zeggen. Er zijn vakantie zo'n 20 OEM's die GPU compute kunnen aanbieden. Dus dat is ook niet zo heel veel anders ten opzichte van elkaar. Het onderscheid zit er dus heel erg in die architectuur waar het in wordt gebracht. Kan je nog eens voor de luisteraar die niet helemaal thuis is in security en wat Cisco daarin te bieden heeft, in dat AI-domein, kan je dit nog eens belichten.

SPEAKER_00 25:17

Laat ik dan aan de bovenkant beginnen. Dus op het moment dat we een organisatie hebben die een AI-applicatie uitrollen, dan is het eigenlijk daar al heel belangrijk om in de eerste plaats bepaalde guardrails te kunnen gaan zetten. Zo noemde de markt dat. Dus we hebben een I-applicatie, dat is een non-deterministe applicatie. Dus we weten niet altijd wat eruit gaat komen, over het algemeen. Dus die wil je wel guardrails geven dat het een veilige applicatie is die we willen gaan gebruiken als het een chat bijvoorbeeld is. Dus als ik vraag hoe leg ik mijn collega om, dat hij dan zegt van joh, dat ga ik nu niet beantwoorden. Dus moet ook allemaal real live. Daar zijn allemaal zaken waar je als organisatie en als enterprise over moet gaan nadenken wanneer je werknemers dat soort applicaties in gebruik gaan nemen en het gaan toepassen op dagdagelijkse basis. Dan hebben we ook het domein rondom oké, wat als ik wil gaan kijken naar welke data gaat die AI-applic dan naartoe. In de context van Agentic AI. We hebben meer en meer organisaties nu waarbij een medewerker, eigenlijk een andere medewerker, en dat is dan een agent, aan zich heeft rapporteren. En dat wordt een soort assistant. Er zijn heel veel in de afgelopen weken, maanden rondom OpenClaw en dat soort zaken nu bekend geworden. Maar dat ga je dus ook in je enterprise omgeving zien. Hoe ga je dat soort type applicaties waarmee je je productiviteit van je werknemers wil gaan verhogen, hoe gaan we dat dan beveiligen? Dus daar heb je aan de bovenkant al een laag nodig. En wij doen dat met een oplossing dat heet AI Defense. Dat zit geïntegreerd ook in een Videas-ecosysteem. Dus als je die agents vanuit hun enterprise omgeving draait, zullen we op diezelfde manier security enforcement en guardrails kunnen gaan doen. Als we dan die lagen afpellen, dan zie je eigenlijk dat ook binnen het containerplatform, waar die applicaties naast elkaar gaan bestaan en met elkaar aan het werk zijn om tot die informatie te komen die ze nodig hebben voor een bepaalde taak. Ook daar moeten we wat we noemen container networking security kunnen gaan doen. En dat doen wij met het EBPF-protocol, maakt verder niet uit, maar daardoor kunnen wij binnen die applicaties, in die applicaties gaan kijken. Oké, draait dit zoals het hoort. Dan het netwerk. Het netwerk zien wij als los van het feit dat natuurlijk onze bread and butter is, als plek waarop nu enorme hoeveelheid data overheen gaat. En dus het kunnen enforcen van security op het netwerk, en dus niet de noodzaak voor organisaties om een losse firewall nodig te hebben om dit te kunnen gaan beveiligen. Ik weet niet of de luisteraars bekend zijn met files, maar als we het firewall hebben over dit soort bandbreedtes voor throughput. Dat zijn enorme investeringen. Op het moment dat wij dat dus in het netwerk kunnen gaan plaatsen, is dat heel interessant. En dan kunnen we dus binnen het netwerk ook enforcement gaan doen. Dus dat doen we met een serie smart switches, zoals wij dat noemen. Wat dan het belangrijk is, is dat in de markt er een term, en dat noemen ze hybrid mesh firewall. En dat is een marktterm die ook wij hanteren, waarbij elk van deze componenten van Cisco op één plek bij elkaar komen. En dus in deze hele fabriek kunnen we op één plek visibiliteit zien, kunnen we op één plek security enforcement doen. En mitigeren we dus aanzienlijk de risico's vanuit het draaien van II-application.

SPEAKER_02 28:38

En deze context, Raymond, zie je die ook als stijgende behoefte bij bedrijven die willen investeren in een eigen IE-omgeving. Die zeggen ja, de GPU, dat geloof ik allemaal wel, die levert zijn performance wel en dat moet natuurlijk goed georganiseerd worden. Maar die security is natuurlijk veel omvattender en lastiger te pakken.

SPEAKER_01 28:59

Ik denk zeker als je kijkt dat dit gewoon eigenlijk een must en verplichting moet zijn. Als je één stap terug gaat in het proces voordat die agents daadwerkelijk hun werk kunnen gaan doen, daar zijn hele slimme dames en heren zee bezig geweest om die agent te bouwen. En onderdelen van de agent om hem te kunnen laten functioneren zoals die moet functioneren, die komen van allerlei verschillende plekken af. Als er één ding is waarin een ontwikkelaar zich niet mee bezighoudt, is dat security en stukjes herbruikbare software. Beter goed gevonden dan slechts zelf gemaakt, van allerlei plekken naar binnen gehaald worden om uiteindelijk de agent, als ze hem even klein willen houden, zijn juiste werk te kunnen laten doen. Nou, laat daar nu precies een uitdaging in zitten van die stukjes software code die je nodig hebt om de agent uiteindelijk zijn haar werk te kunnen laten doen, daar kunnen foute activiteiten in plaatsvinden. Nou, koppel dat aan het, net hoe Sander verteld wordt, daar kun je op dat moment reeds ingrijpen. En dat is niet bewust, maar dat is gewoon onwetendheid. Niet mee bezig zijn.

SPEAKER_02 30:04

Dat is vaak ook onbekend waarschijnlijk. Mensen gaan een pilot in en die gaan het uitbreiden. En dan kom je misschien tegen dit soort dingen aan. Wij zien ook wel voorbeelden in de markt. Waar inderdaad, de hele stack als een soort security audit. Het moet bijna geodit kunnen worden. Van ik wil het zien, ik wil bewijs hebben dat zowel van die input als die output en alles wat ertussenin zit, dat we dat op zijn minst kunnen volgen. Dat is natuurlijk een groot voordeel van een eigen omgeving ten aanzien van een gehuurde of gedeelde omgeving. Zoals de cloud. Maar dan moet je het nog wel organiseren natuurlijk. Een eigen omgeving is niet de facto secure. Dat moet je dus daarover over nadenken. Daar moet je goed over nadenken.

SPEAKER_01 30:54

En ik denk als je daar nog aan toevoegen. pak een omgeving die zijn eigen soevereine on-prem, dus dat is in huis. AI-fabriek heeft draaien. Daar werken verschillende afdelingen op. Maar het is niet per definitie dat omdat wij onder dezelfde noemen een Cisco werken, dat mensen van legal toegang hebben tot dezelfde informatie die beschikbaar is in de fabriek en verwerkt wordt als bijvoorbeeld een marketing of een sales of financiële afdelingen. Daarbinnen moet je ook die kadering kunnen maken. We hebben een gemeenschappelijk platform. Dus dat zou zeggen, een single use binnen de Cisco-omgeving, als we het even daarover een fabriek hebben, daar zitten verschillende afdelingen tussen. En daar wil je ook gewoon harde vangrails maken en gewoon firewalls eigenlijk tussen zetten. Wat hier verwerkt wordt, blijft onder het dak van Cisco. Maar dat is wel specifieke data waar niet iedereen inzicht in hoeft te hebben.

SPEAKER_02 31:51

Het is een afgescheiden domein binnen je totale AI-omgeving eigenlijk. Ik wil het graag even hebben naar controle. Sander, als je kijkt naar een AI-omgeving en je hebt de term enterprise ready. Kan je entterprise ready duiden vanuit een Cisco gedachte, wat dat voor betekenis heeft, ja, dat is zeker, dat kan het best doen.

SPEAKER_00 32:20

Elke organisatie. Staat ook in je eigen website ook volgens mij. Ja, kijk, entterprise ready. Ik krijg een enterprise omgeving, en dat is uiteindelijk waar Cisco al sinds het begin zich op focust. We ontwikkelen technologie die past bij de vragen die enterprise organisaties hebben. Je laat net de term audit vallen. Maar het feit dat we inderdaad volledige visibiliteit moeten kunnen gaan hebben in deze infrastructuur, daar ook zo goed als mogelijk garanties op moeten kunnen gaan geven, is van groot belang voor een enterprise omgeving. Vaak is het dus ook zo dat enterprises dit soort infrastructuur wel zelf in gebruik hebben. En we zitten aan de voorkant van de golf, dat die investeringen op grotere schaal ook echt gedaan gaan worden. Maar als we eens kijken naar enterprise ready, dan moet een infrastructuur zoals deze. Helemaal in de context van AI-applic of IE-agents, waar zometeen deze enterprise volledig op gaat draaien. En dat betekent dat het gekoppeld is aan financial outcome en financial predictability van een dergelijk bedrijf Funest is. En dan moeten ze op een andere manier gekeken worden naar dat type infrastructuur. En dan koop je het vaak niet los bij losse partijen, maar ga je kijken naar gevalideerde designs. Ga je kijken naar voldoende het aan alle ISO-standaarden vanuit een security perspectief. En kunnen we dat ook goed en force en visible maken. En hoe borgen we dat het enigszins financially predictable wordt. Misschien een lastige term, in gezien de wereld waarin we nu zitten met geheugen. Maar zo goed als mogelijk wanneer we die infrastructuur hebben draaien, dat we weten wat onze kost gaat zijn. In ieder geval voor onze klanten.

SPEAKER_02 34:02

En dan idealiter een kost per token.

SPEAKER_00 34:06

De waarde, dat is onze verwachting, de metric waarop gekeken wordt, net zoals dat bij voor de dot-comcrisis er gekeken werd naar kliks, views, hoe nu software applicaties gemeten worden op monthly active users. Op een gegeven moment ga je naar de meest simplistische manier om te meten hoe iets pervormt. En in de context van een productielijn is of een AI-fabriek is dat tokens.

SPEAKER_02 34:29

Ik denk een mooi onderwerp, ook nog eens een keer voor een andere aflevering, om die kost per token wat verder uit te diepen. Want ik denk voor hoop mensen die snappen wel wat we ermee bedoelen waarschijnlijk. Maar hoe breek je een token? Is iedere token hetzelfde? En hoe breek je de waarde van een token?

SPEAKER_00 34:48

Misschien leuk om een keer een live webinar. En dan gaan we gewoon uittekenen met iedereen. Dat is een leuk idee.

SPEAKER_02 34:54

Om alle definities op mijn rij te krijgen. Raemon, we zijn een beetje aan het einde van deze episode. Als je nog een uitsmijder hebt, een takeaway die je wil geven aan de luisteraar. Heb je iets in gedachten? Hoeft ook niet? Het mag ook een mooi weekend zijn.

SPEAKER_01 35:11

Of sowieso laat ik het zo stel, zonnige weekenden altijd meer dan welkom. Ik denk ook voor de luisteraars. Nee, ik denk gewoon als je serieus gaat kijken als organisatie en reeds bezig bent, met hoe kan ik AI in positieve zin bijdrage laten leveren, zeg maar, binnen onze interne bedrijfsprocessen. En je hebt daar vragen over van en hoe ga ik dat nu serieus aanpakken. En waar moet ik op letten om niet wat je vaak ziet, een desinvestering te doen. Omdat we vervolgens groter moeten gaan en eigenlijk weer even terugkomen dat netwerk 100 gig is wel spannend. Die hebben we dan toch genomen. Maar nu dat we door moeten schalen, dat eigenlijk die 100 gig een bottlenek gaat creëren voor de volgende stap. Schroom dan niet, neem contact op en we drinken graag die eerste bak koffie samen om te kijken wat we voor elkaar betekenen.

SPEAKER_02 36:00

Hoo. Heb je nog iets wat je zou willen delen op de voorreak van deze aflevering.

SPEAKER_00 36:08

Het belangrijkste is dat we goed nadenken over die hele stack. Dan zou ik de luisters willen vragen om in te bellen in die tokenomic sessie. Ik denk dat die van cruciaal belang gaat zijn om uiteindelijk AI-fabrieken en AI-applicaties en use cases tot een succes te laten komen. Ik hoop dat we het belang van een AI-fabriek in ieder geval hebben beter uit te leggen en te kunnen duiden.

SPEAKER_02 36:33

Dan wil ik hier een beetje een Ina maken. We kunnen natuurlijk heel lang doorpraten, maar dat lukt helaas niet. Wij gaan afronden. Wij gaan afronden. Ik denk samengevat, wat we gehoord hebben vandaag is met name het aspect integratie, validatie, veiligheid, om uiteindelijk dat ontwerp van die AI-infrastructuur of AI-fabriek of AI-stack, hoe je het ook wilt noemen, in ieder geval een capability om AI te kunnen bedrijven om die zo optimaal mogelijk samen te stellen, om uiteindelijk die tokens, die output, gevoed door energie en data zo optimaal mogelijk te krijgen. En dat je met name die security op gebied van AI door die hele stack wil borgen. Niet beschrijvend, maar controleerbaar. Dus auditable. Dat is denk ik een hele belangrijke. Ik denk dat deze waarden allemaal leiden tot het opzetten van een eigen soevereine omgeving. De plek van toegang is uiteindelijk niet soeverein. Het feit dat je in Europa toegang tot krijgen tot computer, is niet de facto soeverein. Soeverein is het als je als je zelf in de regie bent, als het controleerbaar is, als je controle hebt over die omgeving. Dat is iets wat we hier met z'n allen proberen te duiden. En mochten bedrijven daardoor getriggerd zijn of personen, dan staan we uiteraard open voor wat Raymond net zei: een bak koffie. Mag ook thee zijn, maakt ons niet uit. We komen graag in gesprek en delen onze kennis en ervaring erin. Dit was deze aflevering voor nu een hele mooie rest van de dag vanuit Cisco Studio in Amsterdam graag tot volgende aflevering.