NCP-ArchPreview introduit la prédiction de prochains concepts (NCP), permettant aux modèles de langage de prédire des concepts multi-jetons en plus des jetons individuels. Le modèle de 8,9 milliards de paramètres a été entraîné sur 5,73 billions de jetons et atteint la perte de pré-entraînement finale d’OLMo-3-7B en utilisant seulement 51,3 % des jetons d’entraînement. Il […]
