gpt-3 README

The project's README from github.com/openai/gpt-3. As one markdown file: README.md.

GPT-3: Language Models are Few-Shot Learners

arXiv link

Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions – something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3's few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.

Contents

How to cite

@article{brown2020language,
    title={Language Models are Few-Shot Learners},
    author={Tom B. Brown and Benjamin Mann and Nick Ryder and Melanie Subbiah and Jared Kaplan and Prafulla Dhariwal and Arvind Neelakantan and Pranav Shyam and Girish Sastry and Amanda Askell and Sandhini Agarwal and Ariel Herbert-Voss and Gretchen Krueger and Tom Henighan and Rewon Child and Aditya Ramesh and Daniel M. Ziegler and Jeffrey Wu and Clemens Winter and Christopher Hesse and Mark Chen and Eric Sigler and Mateusz Litwin and Scott Gray and Benjamin Chess and Jack Clark and Christopher Berner and Sam McCandlish and Alec Radford and Ilya Sutskever and Dario Amodei},
    year={2020},
    eprint={2005.14165},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

gpt-3 (openai/gpt-3)

Searching Database…

15.7K ·GitHub
Gpt-3
archived
Что это такое?Официальный репозиторий-компаньон статьи о GPT-3 «Language Models are Few-Shot Learners». GPT-3 — авторегрессионная языковая модель со 175 миллиардами параметров (в 10 раз больше, чем у любой предыдущей неразреженной модели), которая тестировалась в режиме few-shot обучения на множестве задач NLP.
Здесь сама модель GPT-3 или что-то другое?Здесь нет ни весов модели, ни кода — в репозитории лежат материалы к статье: примеры сгенерированных текстов, синтетические наборы данных с переставленными словами и арифметикой, статистика языков из обучающей смеси, анализ пересечений n-грамм и карточка модели (model card).
Здесь нужно что-то устанавливать или запускать?Нет. Здесь нет скриптов сборки, зависимостей или исполняемого кода — вы просто читаете файлы вроде model-card.md или скачиваете 175bsamples.jsonl и наборы данных.
Как выглядят сырые примеры в 175bsamples.jsonl?Это безусловные, ничем не отфильтрованные генерации длиной 2048 токенов, полученные с параметрами p=.85 и t=1. В README предупреждают, что они могут содержать оскорбительный контент и лексику, потому что GPT-3 обучалась на произвольных данных из интернета.
Что означает «few-shot» в названии статьи?GPT-3 применяется без каких-либо обновлений градиентов и дообучения: задача и несколько примеров записываются прямо в промпт обычным текстом. Такая настройка, не зависящая от конкретной задачи, позволила одной модели соперничать с системами, дообученными на тысячах примеров.
Насколько хорошо GPT-3 показала себя в оценках из статьи?Сильно — в переводе, вопросно-ответных задачах, задачах с пропусками слов и в рассуждениях на лету, например расшифровке переставленных слов и трёхзначной арифметике — иногда на уровне предыдущего дообучённого state of the art. Люди-оценщики тоже с трудом отличали её новостные статьи от настоящих.
Репозиторием кто-то ещё занимается?Нет — на GitHub он помечен как архивный, то есть остаётся замороженным исследовательским артефактом 2020 года. Ссылка на статью на arXiv, примеры данных, статистика по наборам данных и карточка модели по-прежнему доступны для чтения.
What are similar projects?gpt-2, MSA, Attention-Residuals, train-llm-from-scratch, math, LoRA, minGPT, nanoGPT
Which topics is it in?gpt-3, pretraining, text-generation, arxiv, paper, dataset, gpt, fine-tuning, academic-research, large-language-models, transformer, nlp
Creator
openai
Size
2.2 MB
Stars
15.7K
Updated
CommitSep 18
Age
6y
Commits · 90 Days