深入瞭解 PicCollage:一探 PicCollage MLAD 團隊

PicCollage
7 min read3 days ago

--

在 PicCollage,我們專注於將 Creative AI 實現在我們的技術中,讓使用者能透過我們的產品創造更具創意的影像,把最珍貴的回憶保存和分享。而這其中,Machine Learning Algorithms and Data (MLAD) 團隊在實現創新功能和產品方面發揮著至關重要的作用。

讓我們透過問答的方式來一窺 PicCollage MLAD 團隊的日常,了解他們的工作內容、靈感、和在公司內的合作文化,以及為什麼他們認為 PicCollage 是一個可以持續自我成長的地方。

目錄:

MLAD 是什麼?

目前正在進行有趣的專案?

MLAD 如何與其他團隊合作?

PicCollage 目前使用哪些模型和技術?

你參與過最喜歡的專案是哪一個?

PicCollage 「持續學習的文化」?

喜歡 PicCollage 的原因?

MLAD 是什麼?

Russ: 「MLAD」是我們在 PicCollage 每天都會提到的詞。它代表著「機器學習、演算法和數據」,其實就是指負責我們 app 核心技術團隊的簡稱。

這裡使用「MLAD」,而不僅僅是以「機器學習」(ML) 來稱呼,主要是因為儘管團隊大部分時間確實在從事機器學習的工作,解決問題的方法卻不僅限於此。影像處理、資料科學、線性代數等方法也很常被採用。

MLAD 團隊又可以再細分為成三個角色:機器學習的研究、機器學習的運營,以及機器學習的應用。

Machine Learning Team

機器學習研究:主要負責處理較為罕見或新穎的問題,這些問題需要對模型內部的運作方式極為深入的了解。成員通常藉由閱讀學術論文或追蹤開源程式碼來了解如何訓練和微調模型,並修改現有的模型的基礎,以創造出新的結果。

機器學習的運營:負責工具和基礎設施的開發,使我們的團隊能夠維持機器學習的運作。他們的工作涉及機器學習和雲端基礎設施的架構,承載了團隊內部和外部的機器學習模型。

應用機器學習工程師扮演著在機器學習、軟體工程和產品設計之間的橋樑,想辦法提高產品功能的品質與速度。

目前正在進行有趣的專案?

Anny: 我們最近在進行一些 Generative AI 的專案,讓使用者能以有創意的方式,將他們的影像套入各種風格,讓成品看起來更與眾不同✨

  • Magic Face: 運用 Stable Diffusion 建立了自己的模型來達到 zero-shot face preservation。使用者可以透過 prompts 看到不同職業或不同年代的自己。
  • AI Panorama: 利用 inpainting 技術將多張照片組成一張全景圖,最重要的是讓照片的連接處看起來很流暢、自然。
  • Noodle: 實現所謂的「栩栩如生」,讓使用者畫的插圖可以動起來。
  • Magic Lift: 將使用者圖像中的主體從背景中「提取」出來並套用不同的效果,譬如自由地移動、放大或縮小。

YC: Style Transfer! 這個專案我們深耕了很多年,很開心最近成果的品質有了很顯著地提升!看到用戶對這個功能的使用度提高也讓我很有成就感🏃‍♂️

Generative AI products

MLAD 如何與其他團隊合作?

Vinay, Anny: 我們的產品經理 (PM) 和產品設計師 (PD) 會提出與機器學習相關的專案,接著會由 MLAD 工程師開發模型,並由 PM 和 PD 協助評估結果。一旦達到預期,我們就會與 iOS/ Android 開發人員討論 API。最後,再讓測試人員檢查功能或產品,並與行銷部門討論如何推廣產品。處理更複雜的專案,會有多位工程師共同合作、進行多次的 pair programming,確保所有人都熟悉該項目。

YC: 在 MLAD 團隊內,我們會進行大量關於訓練模型模型、部署和流量管理的討論。因為大家擅長的領域都不太一樣,比如Vinay 對於線性代數很擅長,會用比較數學的角度來分析我們遇到的問題,我則是比較擅長電腦視覺,也會分享我之前看過的演算法,應用在我們的問題上面。

比較值得一提的是關於設計師和工程師不同的審美標準,有時候我們認為結果很棒,但設計師卻有不同的見解。為了確保我們產品可以帶給使用者最大的價值,大量的反覆溝通絕對是必要的。

cross-functional collaboration

PicCollage 目前使用哪些模型和技術?

Vinay, YC, Anny: 我們目前主要使用 Stable Diffusion 及其變體,然我們也會根據專案的需求會有不同嘗試。例如,如果要提高呈現的品質,我們會考慮有助影像強化的模型與多模態模型,如 RAM 和 CLIP。

我們目前使用的一些技術包括:SAM,、YOLO、ControlNet、LoRA、GroundingDino。

你參與過最喜歡的專案是哪一個?

YC: 絕對是與 MemeMe 團隊一起開發的 face swap 功能!這是我第一次將模型架設在伺服器上。以前我們為了可以在手機上執行模型,比較常使用模型最小化的技術。相較於其他常見的後端 API 只需毫秒來反應,機器學習模型的反應時間需耗時 1~2 秒甚至更久,如何短時間內處理大量請求確實是一大挑戰。

Anny: Magic Face很有趣!因為在架構模型的過程中學到了很多,也有參與調整跟訓練模型,看著模型產生的結果越來越好真的很有成就感❤️‍🔥

Mememe face swap

PicCollage 「持續學習的文化」?

YC: 很感謝公司透過不同方式落實鼓勵大家持續學習,像是添購相關書籍和贊助成員參加研討會。今年五月參加在舊金山舉行的 GenAI 峰會時,與同領域其他新創公司交流,就讓我可以見識到其他人如何以不同的方式解決問題,以及其他公司正在使用或開發的技術。

Vinay: 今年六月我們三位 MLAD 成員前往西雅圖參與 CVPR ,一場涵蓋大量電腦視覺相關主題的年會。規模大到難以想像! 設有各種工作坊、海報展示和專題討論。CVPR 不僅驗證了我們一直在嘗試的技術,也為我們正在解決的問題提供了很多有價值的資訊。在活動場地會感受到滿滿的活力,也給了我新的研究動力。

Anny: CVPR 真的讓我大開眼界!除了 Vinay 分享的內容之外,我們也意識到除了生成式 AI,電腦視覺領域也有許多重大的突破。透過參加這次的研討會和參與不同討論,我們也能夠把學到的知識反饋到工作上,帶給產品更多不同的價值。

喜歡 PicCollage 的原因?

YC: 很開心有一群人使用並欣賞我們努力打造的產品!我們很常經由產品和行銷的夥伴收到使用者的回饋,其中讓我印象深刻的是,使用者提到他們使用這些功能來保存回憶,或是與家人和朋友分享他們的創作時,會知道我所做的事情確實有幫助人與人建立更多連結。

Anny: 我非常享受在 PicCollage 工作的氛圍!大家討論和溝通的方式讓我感到大家都真心喜歡自己做的產品,也可以從周遭的人身上學到很多不同的東西,公司也很願意支持我們學習,這會讓我知道有動力持續精進自己。

創新和合作的精神是我們 MLAD 團隊開發 Creative AI 相關產品和功能的關鍵。從開放、學習的工作環境,帶給產品開發團隊的正面影響。推出更多有趣好玩的 App 產品,幫助使用者紀錄生活、激發創意和靈感!

如果您對 Creative AI 領域充滿熱情,喜歡在高度協作、溝通的工作環境中工作,並希望為產品發揮實質影響,快來加入我們的 PicCollage 團隊,共同打造充滿創意的未來吧!

📌 職缺詳情請見: https://picc.co/careers

--

--