JansBrief

Något genuint oroande — och genuint upplysande — kom fram från Anthropics forskningslabb den här veckan. Företaget byggde ett verktyg kallat Jacobian-linsen som tittar in i de interna tillstånden hos deras stora språkmodell, Claude, medan den arbetar sig igenom ett problem. Vad de fann är inte det vanliga pressmeddelandet om att "vi har gjort AI mer transparent". De fann något som snarare liknar en topologi av tänkande.

Jacobian-linsen fungerar genom att kartlägga hur modellens interna representationer förskjuts medan den bearbetar en fråga — inte bara vad som kommer ut i slutändan, utan de mellanliggande konceptuella manövrerna som modellen utför på vägen mot ett svar. Anthropics forskare beskriver att de funnit ett "dolt utrymme" där modellen verkar grubbla över abstrakta begrepp innan den bestämmer sig för en output. En del av det de observerade var alldagligt: modellen som cyklar genom syntaktiska mönster och väljer ordförråd. Men andra observationer var mer slående. Modellen tycktes hålla konkurrerande representationer av ett begrepp samtidigt, lösa tvetydigheter genom något som liknar — men inte är — övervägande, och ibland landa i svar genom vägar som forskarna inte fullt ut kunde förklara.

Detta spelar roll eftersom tolkningsbarhet — förmågan att förstå varför ett AI-system gör det det gör — är det enskilt viktigaste olösta problemet inom fältet. Tillsynsmyndigheter vill ha det. Företag som använder AI inom sjukvård, finans och försvar behöver det. Och fram till nu har det mesta av tolkbarhetsarbetet varit antingen för ytligt (uppmärksamhetskartor som visar vilka ord modellen fokuserade på) eller för abstrakt (matematiska bevis om teoretiska nätverk som har föga likhet med produktionsmodeller). Jacobian-linsen befinner sig i en produktiv mellanposition: den fungerar på en faktisk, driftsatt modell, och den avslöjar strukturer som varken är trivialt uppenbara eller helt ogenomskinliga.

Det oroväckande är klyftan mellan vad linsen avslöjar och vad vi för närvarande kan förklara. Om en modell håller flera konkurrerande ramar för en medicinsk diagnos innan den väljer en, och vi kan se att den gör detta, men vi ännu inte kan förklara varför den löser konflikten åt det ena hållet snarare än det andra — känner vi oss då mer eller mindre bekväma med att driftsätta den? Anthropics egna forskare är ärliga om denna spänning. Verktyget är ett mikroskop, inte en karta.

För AI-branschen förgrenar sig konsekvenserna i två riktningar. Om tolkbarhetsverktyg som detta mognar snabbt kan de bli grunden för en ny generation av AI-granskning — inte den typ av kryssruteefterlevnad som Bryssel för närvarande föredrar, utan genuint mekanistisk förståelse av modellbeteende. Det skulle vara en konkurrensfördel för varje företag som behärskar det först. Alternativt, om de dolda utrymmena avslöjar mönster som motstår mänsklig förståelse även med bättre verktyg, står vi inför en svårare fråga: huruvida det är fundamentalt annorlunda att driftsätta system vars interna resonemang vi kan observera men inte förstå, jämfört med system vars resonemang är osynligt.

Källa: MIT Technology Review · 10 juli 2026