text: DALL-E是一個可以透過文字描述中生成影象的人工智慧程式。於2021年1月5日由OpenAI發表。DALL-E透過120億引數版本的GPT-3 Transformer模型來理解自然語言輸入和20世紀西班牙加泰隆尼亞畫家薩爾瓦多·達利之混成詞。自2000年代以來，已有其他許多神經網路有生成逼真影象的能力。而DALL-E的特點在於它能夠透過純文字描述生成這樣逼真的影象。OpenAI尚未釋出DALL-E模型的原始碼，不過OpenAI在其網站上提供了DALL-E演示，可以檢視部分文字描述的輸出影象。除了官方版本的DALL-E，另有DALL-E Mini等其他人釋出的以少量資料訓練的開源替代方案。《麻省理工科技評論》認為OpenAI的目標之一是“讓語言模型更好地掌握人類用來理解事物的日常概念”。歷史.DALL-E模型最初於2021年1月5日由OpenAI釋出。2022年4月，OpenAI宣佈了新版本的DALL-E 2，聲稱它可以從文字描述中生成照片般逼真的影象，另外還有一個允許對輸出進行簡單修改的編輯器。根據OpenAI的公告，該程式仍處於研究階段，訪問許可權僅限於小部分測試版使用者。該模型有時仍會犯一些人類不會犯的嚴重錯誤。OpenAI稱DALL-E 2是一個“可以從文字描述中生成原創、逼真的影象和藝術”的模型。CLIP模型.DALL-E是與CLIP模型一起開發並向公眾釋出的。CLIP是一個單獨的模型，其作用是理解輸出影象併為其打分。DALL-E生成的影象由CLIP模型進行篩選，以呈現最高質量的影象。架構.GPT模型最初由OpenAI於2018年開發，其使用了Transformer架構。第二版的GPT-2於2019年釋出。2020年又再次擴大規模釋出了擁有1750億個引數的GPT-3。DALL-E模型是GPT-3的多模態實現，共擁有120億個引數，使用從網路上收集的文字和影象對進行訓練。 它使用從描述和提示中生成輸出，而無需進一步訓練。DALL-E會根據提示生成多個影象，之後由CLIP模型對這些影象進行排序。CLIP模型使用了超過4億對影象和文字進行訓練。該模型是一個影象識別系統，它的訓練集是從網路上抓取的影象與描述，而不是諸如ImageNet之類的經過整理的標記影象資料集。CLIP將影象與所有文字相關聯。它能夠預測哪個文字最適合影象，使其在之後有能力識別不在其訓練集之中的影象中的物件。表現.DALL-E能夠生成各種風格的影象，從照相寫實主義影象到繪畫和表情符號。它還可以“操縱和重新排列”影象中的物件。其創作者指出DALL-E的一項能力是在沒有明確指示的情況下將設計元素正確放置在新穎的作品中：“例如，當被要求畫一個白蘿蔔擤鼻涕、喝拿鐵或騎獨輪車時，DALL-E通常能在合理的位置畫出手帕、手和腳。”DALL-E展現了多種能力。《Input》、NBC、《自然》等的報道文章中都提到了DALL-E生成的“穿著芭蕾舞裙遛狗的小白蘿蔔插圖”。 而它生成的“鱷梨形狀的扶手椅”也同樣受到關注。另一方面，DALL-E還展現出了足以解決瑞文氏標準推理測驗的視覺推理技能。劍橋大學機器學習教授尼爾·勞倫斯系統要出色許多。DALL-E模型在沒有特定提示的情況下也能夠推斷合適細節的能力也受到了關注。技術部落格ExtremeTech注意到，DALL-E繪製的“穿著聖誕毛衣的企鵝”不僅會生成企鵝穿著毛衣的影象，而且還會生成與主題相關的聖誕老人帽。另一個技術部落格Engadget則注意到模型生成的“一幅一隻狐狸冬天坐在田野裡的畫”中出現了適當放置的陰影。此外，DALL-E展示了對視覺和設計趨勢的廣泛理解。例如，DALL-E可以繪製指定年代的手機或吸塵器的照片，它瞭解這些物體的形態是如何隨時間改變的。不過有時模型也會出現錯誤。比如DALL-E 2就無法區分“一本黃色的書與一個紅色的花瓶”與“一本紅色的書與一個黃色的花瓶”這兩個描述，也無法區分“正在咖啡拉花的熊貓”與“熊貓圖案的咖啡拉花”。
metadata.dataset: erhwenkuo/wikipedia-zhtw
metadata.title: DALL-E
metadata.url: https://zh.wikipedia.org/wiki?curid=8007135