Sbírky

GPT2 OpenAI nyní píše abstrakty vědeckých prací

GPT2 OpenAI nyní píše abstrakty vědeckých prací

OpenAI vytvořila GPT2 na začátku tohoto roku - což je „rozsáhlý jazykový model bez kontroly, který generuje souvislé odstavce textu“, jak uvádí stránka blogu OpenAI. Tato neuvěřitelná transformační neuronová síť generuje celé odstavce jedno slovo po druhém.

V zábavné a zajímavé události se Dr. James Howard, praktikant z kardiologie na Imperial College v Londýně ve Velké Británii, rozhodl otestovat vědecké schopnosti GPT2.

Dr. Howard se rozhodl vyzvat GPT2 náhodnými vědeckými tituly a sledoval, jak mu přímo před očima píše abstrakty. Dr. Howard poté sdílel své odpovědi prostřednictvím Twitteru.

SOUVISEJÍCÍ: OPEPAI JEDNODUŠE UVOLNIL AJ SCARIER FAKE NOVINY-PÍSEMNÝ ALGORITMUS

Zde je to, co GPT2 dokázal vytvořit

Dr. Howard proškolil GPT2 v databázi Pubmed / MEDLINE - vědecké databázi s více než 30 milionů citace z biomedicínské literatury. To znamená, že když Dr. Howard poskytl své vědecké tituly, byla transformační neuronová síť schopna reagovat vědecky.

Dr. Howarda to vzalo 24 hodin tímto způsobem přetrénovat GPT2.

To, co Dr. Howard neuvěřitelně obdržel jako odpověď, byly stručné lékařské souhrny, které byly dobře strukturované a podněcovaly k přemýšlení. Níže jsou uvedeny některé abstrakty pro vaše nahlédnutí.

Slovo varování od Dr. Howarda:

Vytvořil jsem monstrum. Přeškolil jsem neuronovou síť transformátoru GPT2 @ OpenAI v databázi Pubmed / MEDLINE, takže když mu dám název článku, vyplivne mi abstrakt. Neučil jsem to, jak strukturovat abstrakt, jak dlouhý je, nebo jakéhokoli žargonu.

- James Howard (@DrJHoward) 26. října 2019

Na každém z níže uvedených snímků obrazovky se v horním řádku zobrazuje název, kterým jsem síť poskytl, a vše pod ní je práce sítě. Vygenerování abstraktu trvá přibližně 30 sekund, přestože jeho získání na tuto úroveň trvalo více než 24 hodin tréninku sítě.

- James Howard (@DrJHoward) 26. října 2019

První abstrakt:

Nejprve jsem se pokusil dát jí název připravené randomizované kontrolované studii. Porovnání renální denervace s apixabanem pro hypertenzi se zdá být nepřiměřené. Fasciantically, to dobrovolně klinické údaje o registraci studie na konci abstraktu. pic.twitter.com/Z9794BpgdJ

- James Howard (@DrJHoward) 26. října 2019

Ten druhý:

Dále jsem mu dal název pro metaanalýzu. Je zřejmé, že název, který jsem si vybral, je směšný, ale chtěl jsem zjistit, co udělal. Úžasně se rozhodl vložit strategii vyhledávání do sekce metody. Poskytuje také relativní rizika, i když volba upravené Rankinovy ​​stupnice ... pic.twitter.com/Vjp6fhlFW2

- James Howard (@DrJHoward) 26. října 2019

Třetí:

Myslel jsem, že zkusím něco, s čím mám obzvlášť málo zkušeností: analýzu efektivity nákladů. I když může být závěr správný, nejsem si jist, zda adekvátně vyjadřuje zjištění studie ... Baví mě, jak se význam shoduje s hodnotami p (> vs <0,05). pic.twitter.com/5rXlTUh8Hr

- James Howard (@DrJHoward) 26. října 2019

GPT2 stále dává:

Nakonec jsem si myslel, že zkusím něco zápalného. Ukazuje se, že prevalence užívání omamných látek u dospělých kardiologů je 71%! A musí to být pravda, použili vlastní vektory! Omlouvám se za pomluvu, moji jihoameričtí kolegové. pic.twitter.com/j700yVryve

- James Howard (@DrJHoward) 26. října 2019

Je docela neuvěřitelné - i když trochu znepokojující - co dokázal transformátor OpenAI a jak by jej bylo možné za tak krátkou dobu znovu vycvičit.

Doufám, že vás to zaujalo. Rád poskytnu další příklady, pokud mi lidé chtějí dát tituly. Mohl bych se pokusit, aby nervová síť fungovala online, jako jsem to udělal u kardiostimulátorů (https://t.co/CMnspA0N8R) - i když hardwarové požadavky jsou mnohem strmější!

- James Howard (@DrJHoward) 26. října 2019

Dr. Howard byl velmi otevřený a transparentní ohledně toho, jak k této zajímavé výměně došlo, a zde si můžete vyzkoušet sami sebe, kde si „promluvíte“ s transformátorem sami.


Podívejte se na video: GPT-2: Language Models are Unsupervised Multitask Learners (Říjen 2021).