NCP-ArchPreview introduceert Next Concept Prediction (NCP), waardoor taalmodellen in staat zijn om multi-token concepten te voorspellen naast individuele tokens. Het model met 8,9 miljard parameters is getraind op 5,73 biljoen tokens en bereikt het uiteindelijke pre-trainingsverlies van OLMo-3-7B met slechts 51,3% van de trainings-tokens. Het behaalt een 1,95× snellere convergentie en verbetert de downstream-prestaties met […]
