text: Stable Diffusion是2022年發布的深度學習文字到影象生成模型。它主要用於根據文字的描述產生詳細影象，儘管它也可以應用於其他任務，如內補繪製、外補繪製，以及在提示詞指導下產生圖生圖的翻譯。它是一種的擴散模型，由慕尼黑大學的CompVis研究團體開發的各種生成性人工神經網路之一。它是由初創公司StabilityAI、CompVis與Runway合作開發，並得到EleutherAI和的支援。 截至2022年10月，StabilityAI籌集了1.01億美元的資金。Stable Diffusion的程式碼和模型權重已公開發布，可以在大多數配備有適度GPU的電腦硬體上執行。而以前的專有文生圖模型只能透過雲端運算服務訪問。技術架構.Stable Diffusion是一種擴散模型中間的U-Net架構完成，透過從前向擴散往反方向去噪而獲得潛在表徵。最後，VAE解碼器透過將表徵轉換回畫素空間來生成輸出影象。研究人員指出，降低訓練和生成的計算要求是LDM的一個優勢。去噪步驟可以以文字串、影象或一些其他資料為條件。調節資料的編碼透過交叉注意機制暴露給去噪U-Net的架構。為了對文字進行調節，一個預訓練的固定CLIP ViT-L/14文字編碼器被用來將提示詞​轉化為嵌入空間。用法.Stable Diffusion模型支援透過使用提示詞來產生新的影象，描述要包含或省略的元素，以及重新繪製現有的影象，其中包含提示詞中描述的新元素。 此外，該模型還允許透過提示詞在現有的圖中進行內補繪製和外補繪製來部分更改，當與支援這種功能的使用者介面使用時，其中存在許多不同的開源軟體。Stable Diffusion建議在10GB以上的下執行，但是VRAM較少的使用者可以選擇以float16的精度載入權重，而不是預設的float32，以降低VRAM使用率。文生圖.Stable Diffusion中的文生圖取樣指令碼，稱為"txt2img"，接受一個提示詞，以及包括取樣器，影象尺寸，和的各種選項引數，並根據模型對提示的解釋生成一個影象檔案。 生成的影象帶有不可見的數位浮水印標籤，以允許使用者識別由Stable Diffusion生成的影象，儘管如果影象被調整大小或旋轉，該水印將失去其有效性。 Stable Diffusion模型是在由512×512解析度影象組成的資料集上訓練出來的，這意味著txt2img生成影象的最佳配置也是以512×512的解析度生成的，偏離這個大小會導致生成輸出質量差。 Stable Diffusion 2.0版本後來引入了以768×768解析度影象生成的能力。每一個txt2img的生成過程都會涉及到一個影響到生成影象的隨機種子；使用者可以選擇隨機化種子以探索不同生成結果，或者使用相同的種子來獲得與之前生成的影象相同的結果。 使用者還可以調整取樣迭代步數；更具實驗性或創造性的用例可以選擇較低的值，而旨在獲得更具體輸出的用例可以使用較高的值。反向提示詞相比，使用反向提示詞在降低生成不良的影象的頻率方面具有高度統計顯著的效果；強調符是另一種為提示的部分增加權重的方法，被一些Stable Diffusion的開源實現所利用，在關鍵詞中加入括號以增加或減少強調。圖生圖.Stable Diffusion包括另一個取樣指令碼，稱為"img2img"，它接受一個提示詞、現有影象的檔案路徑和0.0到1.0之間的去噪強度，並在原始影象的基礎上產生一個新的影象，該影象也具有提示詞中提供的元素；去噪強度表示新增到輸出影象的噪聲量，值越大，影象變化越多，但在語義上可能與提供的提示不一致。 影象升頻是img2img的一個潛在用例，除此之外。2022年11月24日發布的Stable Diffusion 2.0版本包含一個深度引導模型，稱為"depth2img"，該模型推斷所提供的輸入影象的，並根據提示詞​和深度資訊生成新影象，在新影象中保持原始影象的連貫性和深度。內補繪製與外補繪製.Stable Diffusion模型的許多不同使用者介面軟體提供了透過img2img進行圖生圖的其他用例。內補繪製將影象擴充套件到其原始尺寸之外，用根據所提供的提示詞生成的內容來填補以前的空白空間。許可證.與DALL-E等模型不同，Stable Diffusion提供其原始碼以及預訓練的權重。其許可證禁止某些使用案例，包括犯罪，誹謗，騷擾，人肉搜尋，「剝削…未成年人」，提供醫療建議，自動建立法律義務，偽造法律證據，以及「基於…社會行為或…個人或人格特徵…或受法律保護的特徵或類別而歧視或傷害個人或群體」。 使用者擁有其生成的影象的權利，並可自由地將其用於商業用途。模型訓練.Stable Diffusion是在LAION-5B的圖片和標題對上訓練的，LAION-5B是一個公開的資料集，源自從網路上抓取的資料。該資料集由建立，LAION是一家德國非營利組織，接受StabilityAI的資助。 該模型最初是在LAION-5B的一個大子集上訓練的，最後幾輪訓練是在「LAION-Aesthetics v2 5+」上進行的，這是一個由6億張帶標題的圖片組成的子集，人工智慧預測人類在被要求對這些圖片的喜歡程度打分時至少會給5/10打分。 這個最終的子集也排除了低解析度的影象和被人工智慧識別為帶有水印的影象。 對該模型的訓練資料進行的第三方分析發現，在從所使用的原始更廣泛的資料集中抽取的1200萬張圖片的較小子集中，大約47%的影象樣本量來自100個不同的網站，其中Pinterest佔8.5%子集，其次是WordPress，Blogspot，Flickr，DeviantArt和維基共享資源等網站。該模型是在亞馬遜雲端計算服務上使用256個NVIDIA A100 GPU訓練，共花費15萬個GPU小時，成本為60萬美元。終端使用者微調訓練.為了糾正模型初始訓練的侷限性，終端使用者可以選擇實施額外的訓練，以微調生成輸出以匹配更具體的使用情況。有三種方法可以讓使用者對Stable Diffusion模型權重存檔點進行微調：社會影響.由於藝術風格和構圖不受版權保護，因此通常認為使用Stable Diffusion生成藝術品影象的使用者不應被視為侵犯視覺相似作品的版權，絕大部分的畫作作者也沒有授權允許用他們的作品訓練ai，這將導致畫師的失業。 如果生成的影象中所描述的真人被使用，他們仍然受到人格權的保護， 而且諸如可識別的品牌標識等智慧財產權仍然受到版權保護。儘管如此，藝術家們表示擔心Stable Diffusion等模型的廣泛使用最終可能導致人類藝術家以及攝影師、模特、電影攝影師和演員逐漸失去與基於人工智慧的競爭對手的商業可行性。與其他公司的類似機器學習影象合成產品相比，Stable Diffusion在使用者可能產生的內容型別方面明顯更加寬容，例如暴力或性暴露的影象。StabilityAI的執行長Emad Mostaque解決了該模型可能被用於濫用目的的擔憂，他解釋說：「人們有責任瞭解他們在操作這項技術時是否符合道德、道德和法律」，將Stable Diffusion的能力交到公眾手中會使該技術在整體上提供淨收益，即使有潛在的負面後果。 此外，Mostaque認為，Stable Diffusion的開放可用性背後的意圖是結束大公司對此類技術的控制和主導地位，他們之前只開發了封閉的人工智慧系統進行影象合成。
metadata.dataset: erhwenkuo/wikipedia-zhtw
metadata.title: Stable Diffusion
metadata.url: https://zh.wikipedia.org/wiki?curid=8142260