GPT-J

GPT-J
Тип большая языковая модель, открытое программное обеспечение, генеративный предобученный трансформер, авторегрессионная модель и foundation model[вд]
Лицензия Apache License 2.0
Сайт 6b.eleuther.ai (англ.)

GPT-J — языковая модель искусственного интеллекта с открытым исходным кодом, разработанная EleutherAI[1]. GPT-J работает очень похоже на GPT-3 от OpenAI в различных zero-shot задачах и может даже превзойти его в задачах генерации кода[2]. Новейшая версия GPT-J-6B представляет собой языковую модель, основанную на наборе данных под названием The Pile[3]. Pile — это 825- гигабайтный набор данных языкового моделирования с открытым исходным кодом, который разделен на 22 меньших набора данных[4]. GPT-J похож на ChatGPT по возможностям, хотя он не работает как чат-бот, а только как предсказатель текста[5]. В марте 2023 года Databricks выпустила Dolly, лицензированную Apache модель следования инструкциям, основанную на GPT-J с тонкой настройкой из набора данных Stanford Alpaca[6].

Примечания

  1. ↑ Demo. GPT-J | Discover AI use cases (англ.). gpt3demo.com. Дата обращения: 28 февраля 2023. Архивировано 28 февраля 2023 года.
  2. ↑ GPT-J-6B: An Introduction to the Largest Open Source GPT Model | Forefront (англ.). www.forefront.ai. Дата обращения: 28 февраля 2023. Архивировано из оригинала 9 марта 2023 года.
  3. ↑ Wang, Ben, Table of contents, Архивировано 28 февраля 2023, Дата обращения: 28 февраля 2023
  4. ↑ The Pile  (неопр.). pile.eleuther.ai. Дата обращения: 28 февраля 2023. Архивировано 28 февраля 2023 года.
  5. ↑ Mueller. How you can use GPT-J (англ.). Medium (25 января 2022). Дата обращения: 28 февраля 2023. Архивировано 28 февраля 2023 года.
  6. ↑ Conover; Hayes, Matt; Mathur, Ankit; Meng, Xiangrui; Xie, Jianwei Hello Dolly: Democratizing the magic of ChatGPT with open models  (неопр.) (24 марта 2023). Дата обращения: 5 апреля 2023. Архивировано 5 апреля 2023 года.