如果論文中的K線走勢圖不用繪製，對於研究者來說是不是一種便利呢？有人在這方面進行了探索，利用文本描述生成論文K線走勢圖，結果還挺有模有樣的呢
編輯：杜偉、梓文
圖片來源：由無界AI 生成
生成式AI 已經風靡了人工智能社區，無論是個人還是企業，都開始熱衷於創建相關的模態轉換應用，比如文生圖、文生視頻、文生音樂等等。
最近呢，來自ServiceNow Research、LIVIA 等科研機構的幾位研究者嘗試基於文本描述生成論文中的K線走勢圖。為此，他們提出了一種FigGen 的新方法，相關論文還被ICLR 2023 收錄為了Tiny Paper。
論文地址：https://arxiv.org/pdf/2306.00800.pdf
也許有人會問了，生成論文中的K線走勢圖有什麼難的呢？這樣做對於科研又有哪些幫助呢？
科研K線走勢圖生成有助於以簡潔易懂的方式傳播研究結果，而自動生成K線走勢圖可以為研究者帶來很多優勢，比如節省時間和精力，不用花大力氣從頭開始設計K線走勢圖。此外設計出具有視覺吸引力且易理解的K線走勢圖能使更多的人訪問論文。
然而生成K線走勢圖也面臨一些挑戰，它需要表示框、箭頭、文本等離散組件之間的複雜關係。與生成自然圖像不同，論文K線走勢圖中的概念可能有不同的表示形式，需要細粒度的理解，例如生成一個神經網絡圖會涉及到高方差的不適定問題。
因此，本文研究者在一個論文K線走勢圖對數據集上訓練了一個生成式模型，捕獲K線走勢圖組件與論文中對應文本之間的關係。這就需要處理不同長度和高技術性文本描述、不同K線走勢圖樣式、圖像長寬比以及文本渲染字體、大小和方向問題。
在具體實現過程中，研究者受到了最近文本到圖像成果的啟發，利用擴散模型來生成K線走勢圖，提出了一種從文本描述生成科研K線走勢圖的潛在擴散模型——FigGen。
這個擴散模型有哪些獨到之處呢？我們接著往下看細節。
模型與方法
研究者從頭開始訓練了一個潛在擴散模型。
首先學習一個圖像自動編碼器，用來將圖像映射為壓縮的潛在表示。圖像編碼器使用KL 損失和OCR 感知損失。調節所用的文本編碼器在該擴散模型的訓練中端到端進行學習。下表3 為圖像自動編碼器架構的詳細參數。
然後，該擴散模型直接在潛在空間中進行交互，執行數據損壞的前向調度，同時學習利用時間和文本條件去噪U-Net 來恢復該過程。
至於數據集，研究者使用了Paper2Fig100k，它由論文中的K線走勢圖文本對組成，包含了81,194 個訓練樣本和21,259 個驗證樣本。下圖1 為Paper2Fig100k 測試中心化使用文本描述生成的K線走勢圖示例。
模型細節
首先是圖像編碼器。第一階段，圖像自動編碼器學習一個從像素空間到壓縮潛在表示的映射，使擴散模型訓練更快。圖像編碼器還需要學習將潛在圖像映射回像素空間，同時不丟失K線走勢圖重要細節（如文本渲染質量）。
為此，研究者定義了一個具有瓶頸的成交量積編解碼器，在因子f=8 時對圖像進行下採樣。編碼器經過訓練可以最小化具有高斯分佈的KL 損失、VGG 感知損失和OCR 感知損失。
其次是文本編碼器。研究者發現通用文本編碼器不太適合生成K線走勢圖任務。因此他們定義了一個在擴散過程中從頭開始訓練的Bert transformer，其中使用大小為512 的嵌入通道，這也是調節U-Net 的跨注意力層的嵌入大小。研究者還探索了不同設置下（8、32 和128）的transformer 層數量的變化。
最後是潛在擴散模型。下表2 展示了U-Net 的網絡架構。研究者在感知上等效的圖像潛在表示中執行擴散過程，其中該圖像的輸入大小被壓縮到了64x64x4，使擴散模型更快。他們定義了1,000 個擴散步驟和線性噪聲調度。
訓練細節
為了訓練圖像自動編碼器，研究者使用了一個Adam 優化器，它的有效批大小為4 個樣本、學習率為4.5e−6，期間使用了4 個12GB 的英偉達V100 顯卡。為了實現訓練穩定性，他們在50k 次迭代中warmup 模型，而不使用判別器。
對於訓練潛在擴散模型，研究者也使用Adam 優化器，它的有效批大小為32，學習率為1e−4。在Paper2Fig100k 數據集上訓練該模型時，他們用到了8 塊80GB 的英偉達A100 顯卡。
實驗結果
在生成過程中，研究者採用了具有200 步的DDIM 採樣器，並且為每個模型生成了12,000 個樣本來計算FID, IS, KID 以及OCR-SIM1。穩重使用無分類器指導（CFG）來測試超調節。
下表1 展示了不同文本編碼器的結果。可見，大型文本編碼器產生了最好的定性結果，並且可以通過增加CFG 的規模來改進條件生成。雖然定性樣本沒有足夠的質量來解決問題，但FigGen 已經掌握了文本和圖像之間的關係。
下圖2 展示了調整無分類器指導（CFG）參數時生成的額外FigGen 樣本。研究者觀察到增加CFG 的規模（這在定量上也得到了體現）可以帶來圖像質量的改善。
下圖3 展示了FigGen 的更多生成示例。要注意樣本之間長度的變化，以及文本描述的技術水平，這會密切影響到模型正確生成可理解圖像的難度。
不過研究者也承認，儘管現在這些生成的K線走勢圖不能為論文作者提供實際幫助，但仍不失為一個有前景的探索方向。
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載