來源:新智元
導讀:零門檻就能晉升插畫師,簡單勾勒個草圖就能得到電影級大片。 Stability AI的全新作圖神器,簡直要讓畫師和設計師原地失業了
殺瘋了殺瘋了,讓畫家和設計師原地失業的AI作畫工具,又上新了
Stability AI新推出的Stable Doodle簡直要封神了
它能把你的塗鴉一秒變大作,完全顛覆了AI作畫傳統流程中的純文本prompt方式。
很多朋友都是「語死早」,用精準的語言去描述出自己想要的圖像,簡直是要了命了。
而現在,只要潦草地畫上幾筆,圖像瞬間就變成色彩豐富、完全渲染的大片級圖像。
只要給一個大致輪廓,其餘細節AI都能幫你補全
這幅梗圖再也不是梗,用Stable Doodle完全可以成真了
所以,繪畫小白也能秒變藝術大師了?
幾筆草稿變出大片
官網上給出的演示,簡直酷斃了。
隨意畫出幾個建築物,右上方畫一個圓。
輸入prompt「Cityspace with full moon(滿月下的街景)」,接下來,就是見證奇蹟的時刻——
風格分別選擇無風格(no style)、攝影(photographic)、模擬電影(analog film)、fantasy art(幻想藝術)、comic style(漫畫風格)、origami(摺紙)、pixel art(像素藝術)、neon punk(霓虹朋克)、isometric(等距)
畫一個機器人草圖,輔以prompt提示:「photo, photorealistic CG rendering of a robot head, predator, downtown city bokeh at night, dramatic lighting(照片,機器人頭部逼真的CG渲染,鐵血戰士,虛化的城市夜景,戲劇光效)」,就得到3張城市夜景下的機器人戰士。
寥寥數筆,就得到賽博朋克風的機甲女人肖像。 (prompt:Mecha woman portrait)
簡單畫出一個城堡的輪廓,加上prompt「Castle on a hill, winter, ‘Anime’ Style(山上的城堡,冬天,動漫風格)」,立馬生成了可以用在書籍封面上的插畫。
畫一隻穿衣服的貓,prompt是「Cat with a jeans jacket, ‘Digital Art’ Style(穿著牛仔夾克的貓,數字藝術風格)」,就得到了三位充滿藝術風格的貓先生。
而對於擅長繪畫的朋友,它可以幫你生成更詳細的草圖。比如,給它一幅「客廳草圖」,prompt是「living room, comic-book style(客廳,漫畫風格)」,它就自動畫出了構圖和上色完美的漫畫。
網友整活
不用說,網友們已經激動得玩瘋了。
簡單的一個美杜莎草圖,Stable Doodle給你畫出金屬質感的玫瑰荊棘女王。
隨意畫一個人體輪廓,不用畫五官,不用畫身材,不必懂人體解剖學,一句簡單的prompt,就畫出一個手扶頭髮的美女。
prompt:photo, beautiful woman with her hands in her hair
想要一個日光下身材絕絕子的比基尼美女?大致勾勒出輪廓就行,只要prompt到位,Stable Doodle絕對給你驚喜。
prompt:photo, beautiful woman, bikini, facing the camera, standing between two big open windows, her arms up, sunlight
想要一個戴著白帽、塗著紅唇的時尚女郎,就讓Stable Doodle充分發揮它的想像力吧。
prompt:beautiful face, fashion, white colors, red lips
小學美術課上學簡筆劃,畫一個小房子是最基本的,有了Stable Doodle,直接就是從小學版進階到了繪畫大師版。
這位網友一看就是有繪畫功底的,想要幾個肌肉版皮卡丘。
只要給Stable Doodle淺打個樣,各種皮卡丘肌肉猛男它是信手拈來。
給它再抽象的草圖,只要配上prompt,它都能給你滿意的答案。
畫出一幅很寫意的草圖,告訴它要一幅「走在雨中大街上的紳士」,它就會自動給你補上適宜的街景,一秒魂穿19世紀有著大本鐘的英倫街頭。
只餵一個寥寥數筆的草圖,Stable Doodle就畫出一個叢林中的神秘廟宇,天上是滿月,門前是流水。
prompt:secret temple in the jungle, river in front of the temple, full moon in the night sky
那麼,如果沒有塗鴉,直接用prompt,效果會是如何呢?
可以看出,有了塗鴉草圖的指引,AI作畫工具會非常容易地get到我們想要的意思。如果只輸入prompt,有可能需要繞很多彎路,多生成很多圖片,才能恰巧「撞上」自己想要的結果。
此外,在手機App上,用起來也很方便。
要知道,目前發布的還只是第一個版本再過幾個月,Stable Doodle恐怕會強大到恐怖。
不過,Stable Doodle也「完美」地繼承了Stable Diffusion在人物生成上的各種問題。
比如用下面這張塗鴉配合「man standing woman sitting on a chair holding a baby」,生成的圖像可以說是一個比一個掉san。
手把手教程已出爐
有了這麼個厲害的工具,不會用可不行。
這不,Stable Doodle還沒出來熱乎幾天,就連教程都有了。
進入Stable Doodle 後,用戶能看到一個普通的畫布。
然後,生圖三步走:
1. 選擇筆並使用鼠標繪製一個簡單的草圖。只需隨意塗鴉,無需特別強調細節或美觀。
2. 輸入文字描述
3. 選擇一種藝術風格(當然不需要風格的話,也可以選擇no style),然後單擊生成。
比如這樣:
看,就是幼兒園小孩的那種簡筆劃,根本不需要有任何藝術細胞和基礎。
當然,Stable Doodle會給用戶提供3個選項,你可以選擇最符合你預期的那一張保存並使用。
底部的風格一共有14種,基本囊括了主流的所有藝術風格。
分別是:攝影風、想像藝術風、摺紙風、等距風、數字風、漫畫風、動漫風、電影風、模擬電影風、霓虹朋克風、像素風、低聚風、3D模型風、線條風(圖片從左至右)
看看上面那艘船在不同風格條件下,生成的圖片有什麼不同。
等距風
從左至右:霓虹朋克風、像素風、漫畫風
除了寬泛地生成圖片以外,你有特別的需求Stable Doodle也能幫你實現。
比如,生成一個logo。
感覺這幾張圖片,拿來隨便一個用,我都能開個爆火的拉麵館出來。
除此之外,就連室內裝潢,Stable Doodle都能幫你搞定。你只要在草圖那里大致畫出屋內物件的排布結構,大概有什麼東西,Stable Doodle就能幫你搞定剩下的。
作者只在草圖那裡畫了個吧台,幾張桌子,Stable Doodle就搞出了一個可以每夜都流連於此的恬淡風清吧。
甚至還能給企業定製圖標——
生成的圖標可以用來推廣品牌、營銷、進行演示,或者給用戶界面創建插圖。
這裡選擇的是等距風,isometric。
生成像素風的遊戲場景——
注意,風格別忘了選pixel art,像素風,文字prompt別忘了寫清楚這是遊戲場景。
甚至還能選擇漫畫風格,來生成各種漫畫。
上面的那個蜘蛛俠就是一個例子,我們還能生成雷神——
(看看草圖的小錘子,我都沒看出來)
最後還能描繪一些我們幻想中的場景——
這裡想像藝術風(Fantasy Art)就派上用場了
背後技術:SDXL+T2I-Adapter
根據官方介紹,Stable Doodle最強的能力就是sketch-to-image,以及更完美、準確的控制。
也就是從草圖一步直達精美的作品,甚至還能生成動圖。
目前,Stable Doodle可以在Clipdrop上免費試用,當然還有最新的SDXL0.9。
prompt: Cute owl, ‘Origami’ Style(可愛的貓頭鷹,摺紙風格)
無論你是新手,還是業內大佬,無論你之前用沒用過AI生圖軟件,只要花個幾分鐘上手Stable Doodle,誰都能秒秒鐘生成出高質量的圖片作品。
不管是給客戶設計logo,做展示需要的素材,還是各種插圖,Stable Doodle都能一鍵搞定,效率max。
之所以它這麼厲害,是因為用上了Stability AI最先進的SDXL生圖技術,以及T2I-Adapter。
後者是由Tencent ARC開發的條件控制解決方案,有了它,用戶就可以對AI生圖進行更為精確的控制。
在生成過程中,T2I-Adapter會為SDXL提供輔助指導的功能,讓SDXL可以理解輸入的草圖輪廓,以及根據prompt生成圖像。
項目地址:https://github.com/TencentARC/T2I-Adapter
具體來說,T2I-Adapter是一個由大約770萬個參數組成的簡單而小巧的網絡,它可以在凍結原始大型文本到圖像模型的同時,為預訓練的文本到圖像模型提供額外的引導,並以此增強對生成過程的控制。
其中,T2I-Adapter將T2I模型中的內部知識與外部控制信號對齊。用戶可以根據不同條件訓練各種適配器,並實現豐富的控制和編輯效果。
以下是T2I-Adapter在Hugging Face上的一些實現。
T2I-Adapter可以引導Stable Diffusion的結果,下圖就是MMPose預測的關鍵姿勢結果。
通過keypose引導,T2I適配器可以生成具有相同姿勢的動物,例如熊市貓和老虎。
Sketch T2I Adapter可以即插即用,無需額外訓練,就可以產生任何結果。
Keypose T2I-Adapter也同理。
總而言之,在Stable Doodle中,同一幅草圖不同prompt,不同風格,都能生成出各種各樣精美的圖片。
這不得趕快試起來?
參考資料:
https://clipdrop.co/stable-doodle
https://stability.ai/blog/clipdrop-launches-stable-doodle
https://www.fastcompany.com/90921426/amazing-new-ai-tool-stability
https://bootcamp.uxdesign.cc/transform-your-sketch-into-amazing-art-with-stable-doodle-f8c505b78217
資訊來源:由0x資訊編譯自8BTC。版權歸作者所有,未經許可,不得轉載