Разбор исследования In-Place Test-Time Training: адаптация модели во время обработки входных данных
После обучения большинство больших языковых моделей работает с фиксированными весами. Даже длинный документ обрабатывается механизмом внимания в пределах контекстного окна, без непосредственной адаптации весов к этому документу. Подход In-Place Test-Time Training предлагает альтернативу…
Читать статью



