GPT-2 | Solutional Webdesign Antwerpen

TODOS 0-9 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

GPT-2, short for Generative Pretrained Transformer 2, is a sophisticated inteligência artificial^[1] model designed for natural language processing tasks. Developed and introduced by OpenAI^[2] in February 2019, it’s notable for its ability to generate diverse types of text, with capabilities extending to answering questions and autocompleting code. GPT-2 was trained on a large corpus of online text, known as WebText, and is powered by a whopping 1.5 billion parameters. While its deployment can be resource-intensive, it has been used in various unique applications, including text-based adventure games and subreddit simulations. Despite initial fears of misuse, the full GPT-2 model was released in November 2019 after concerns didn’t materialize. However, a smaller model, DistilGPT2, was created to alleviate resource issues. Looking forward, the breakthroughs with GPT-2 pave the way for future advancements in AI text generation.

Definições de termos

1. ↑ inteligência artificial.

1 A Inteligência Artificial (IA) refere-se ao domínio da ciência da computação que tem por objetivo criar sistemas capazes de realizar tarefas que normalmente exigiriam a inteligência humana. Estas tarefas incluem o raciocínio, a aprendizagem, o planeamento, a perceção e a compreensão da linguagem. A IA tem origem em diferentes domínios, incluindo a psicologia, a linguística, a filosofia e a neurociência. Este domínio é proeminente no desenvolvimento de modelos de aprendizagem automática e de sistemas de processamento de linguagem natural. Desempenha também um papel importante na criação de assistentes virtuais e de sistemas de computação afectiva. As aplicações da IA estendem-se a vários sectores, incluindo os cuidados de saúde, a indústria, a administração pública e a educação. Apesar dos seus benefícios, a IA também suscita preocupações éticas e sociais, exigindo políticas regulamentares. A IA continua a evoluir com técnicas avançadas, como a aprendizagem profunda e a IA generativa, oferecendo novas possibilidades em vários sectores.

2 A Inteligência Artificial, vulgarmente conhecida por IA, é um domínio da ciência informática dedicado à criação de máquinas inteligentes que executam tarefas que normalmente requerem o intelecto humano. Estas tarefas incluem a resolução de problemas, o reconhecimento do discurso, a compreensão da linguagem natural e a tomada de decisões. A IA divide-se em dois tipos: a IA restrita, que é concebida para executar uma tarefa específica, como o reconhecimento de voz, e a IA geral, que pode executar quaisquer tarefas intelectuais que um ser humano possa fazer. É uma tecnologia em constante evolução que se baseia em vários domínios, incluindo a informática, a matemática, a psicologia, a linguística e a neurociência. Os conceitos fundamentais da IA incluem o raciocínio, a representação do conhecimento, o planeamento, o processamento da linguagem natural e a perceção. A IA tem aplicações abrangentes em vários sectores, desde os cuidados de saúde e os jogos até ao militar e à criatividade, e as suas considerações e desafios éticos são fundamentais para o seu desenvolvimento e implementação.

2. ↑ OpenAI ( OpenAI ) A OpenAI é uma proeminente organização de investigação em inteligência artificial (IA), criada em dezembro de 2015. Foi fundada por um grupo de empresários do sector da tecnologia, incluindo Elon Musk e Sam Altman, com o objetivo de desenvolver e promover uma IA amigável para benefício de toda a humanidade. Enquanto organização, a OpenAI coloca uma ênfase significativa na abertura, colaboração e transparência, estabelecendo frequentemente parcerias com outras instituições na sua investigação. A OpenAI foi financiada com mais de $1 mil milhões e está sediada em São Francisco. A organização desenvolveu várias plataformas de IA, como o OpenAI Gym e o Universe, e também introduziu vários modelos inovadores de IA, incluindo o GPT-3 e o DALL-E. Numa mudança significativa em 2019, a OpenAI fez a transição para um modelo com fins lucrativos limitado para atrair mais financiamento, com lucros limitados a 100 vezes o investimento. A empresa também colaborou com a Microsoft num investimento de $1 mil milhões. A investigação e os modelos da OpenAI têm aplicações comerciais de grande alcance, impulsionando o futuro da tecnologia de IA.

Artigos relacionados:

GPT-2 (Wikipédia)

Generative Pre-trained Transformer 2 (GPT-2) is a grande modelo linguístico by OpenAI and the second in their foundational series of GPT models. GPT-2 was pre-trained a dataset of 8 million web pages. It was partially released in February 2019, followed by full release of the 1.5-billion-parameter model on November 5, 2019.

Generative Pre-trained Transformer 2 (GPT-2)
GPT-2 completion using the Hugging Face Write With Transformer website, prompted with text from this article (All highlighted text after the initial prompt is machine-generated from the first suggested completion, without further editing.)
Original author(s)	OpenAI
Lançamento inicial	14 February 2019; 5 years ago (14 February 2019)
Repository	https://github.com/openai/gpt-2
Antecessor	GPT-1
Successor	GPT-3
Tipo	Modelo linguístico de grande dimensão Generative pre-trained transformer
Licença	MIT
Sítio Web	openai.com/blog/gpt-2-1-5b-release/

GPT-2 was created as a "direct scale-up" of GPT-1 with a ten-fold increase in both its parameter count and the size of its training dataset. It is a general-purpose learner and its ability to perform the various tasks was a consequence of its general ability to accurately predict the next item in a sequence, which enabled it to translate texts, answer questions about a topic from a text, resumir passages from a larger text, and generate text output on a level sometimes indistinguishable from that of humans, however it could become repetitive or nonsensical when generating long passages. It was superseded by GPT-3 and GPT-4 models, which are not open source anymore.

GPT-2 has, like its predecessor GPT-1 and its successors GPT-3 and GPT-4, a generative pre-trained transformer architecture, implementing a deep neural network, specifically a transformer model, which uses attention instead of older recurrence- and convolution-based architectures. Attention mechanisms allow the model to selectively focus on segments of input text it predicts to be the most relevant. This model allows for greatly increased parallelization, and outperforms previous benchmarks for RNN/CNN/LSTM-based models.

" Voltar ao Índice do Glossário