AI begint in “concepten” te denken met meer dan alleen “next-token prediction”
NCP-ArchPreview introduceert Next Concept Prediction (NCP), waardoor taalmodellen in staat zijn om multi-token concepten te voorspellen naast individuele tokens.
Het model met 8,9 miljard parameters is getraind op 5,73 biljoen tokens en bereikt het uiteindelijke pre-trainingsverlies van OLMo-3-7B met slechts 51,3% van de trainings-tokens.
Het behaalt een 1,95× snellere convergentie en verbetert de downstream-prestaties met 2,45 punten, inclusief een winst van +5,99 op GSM8K.
De aanpak combineert generatie op token-niveau met een aangeleerde latente “conceptruimte”, wat toekomstige basismodellen potentieel aanzienlijk efficiënter qua rekenkracht en schaalbaarder maakt.