發表文章

翁仲毅(Chung-Yi Weng) 在 Google Research 擔任研究科學家 ( Research Scientist )

翁仲毅 (Chung-Yi Weng ) 在 Google Research 擔任研究科學家 ( Research Scientist ) 翁仲毅(Chung-Yi Weng)博士在 Google Research 主要隸屬於 Augmented Perception 團隊(由 Shahram Izadi 領導),該團隊致力於突破增強實境(AR)與感知技術的邊界。他在 Google 參與的專案核心在於「將靜態或單鏡頭影像轉化為可互動的 3D 體驗」。 在 Google Research 擔任研究科學家期間,最核心的研究貢獻在於 「動態人體神經輻射場」(Dynamic Human NeRF)。 他的研究打破了傳統 NeRF 僅能掃描靜態物體的限制,讓 AI 能夠從一般拍攝的影片中,重建出具有深度、可變換視角且能自由活動的 3D 數位人類。  以下是他在該領域的三項關鍵研究與技術突破: 1. HumanNeRF:將單一影片轉化為 3D 自由視角 這是他在 Google 期間最具影響力的作品之一(發表於 CVPR 2022)。 技術突破: 傳統技術需要幾十台相機圍繞拍攝才能建模,但 HumanNeRF 僅需一段「單鏡頭影片」(例如 YouTube 上的舞動影片),就能生成該人物的完整 3D 模型。 應用場景: 使用者可以「暫停」影片,並像轉動模型一樣 360 度觀看該人物,甚至能看見原本鏡頭沒拍到的背部細節、衣服褶皺與皮膚紋理。  2. PersonNeRF:從散亂照片中進行個性化重建 他在 2023 年推出的 PersonNeRF 進一步提升了技術的實用性。  技術特點: 此項研究針對「日常照片集」進行優化。即便是一個人在不同時間、不同背景下拍的多張照片,系統也能自動過濾背景干擾,精準提取出該個體的 3D 特徵,建立個性化的數位分身。 3. H-NeRF 與動態拓撲處理 在 H-NeRF 研究中,他解決了人體運動時「非剛性變形」的難題。  核心技術: 透過將人體骨架先驗(SMPL 模型)與神經場結合,系統能預測肌肉與服裝在大幅度動作下的自然流動,確保在重建動態人物時不會出現扭曲或斷裂現象。  這些技術目前已被廣泛視為 虛擬實境(VR)、擴增實境(AR) 以及 影視特殊效果 領域的基礎,讓創作者能以極低的硬體成本(僅需手...

Google Research 研究科學家錄用機制分析:以翁仲毅博士為例

Google Research 研究科學家錄用機制分析:以翁仲毅博士為例 ​要被 Google 錄用為研究科學家(Research Scientist),必須通過一條極為嚴苛且與一般工程師(SWE)完全不同的「學術 + 技術」雙軌審查流程。以下為其成功通過 Google 審核並被錄用的關鍵路徑與核心機制:  關鍵起手式:實習表現與學術委員會審查 ​ ​一、 實習轉正機會 (Return Offer) ​翁仲毅於 2019 年夏天進入 Google Research 的 Augmented Perception(增強感知)小組實習,這成為他敲開 Google 大門最重要的契機: 1.  實作與研究能力驗證: 實習期間,他直接面對 Google 的實際技術瓶頸。他必須在短短 3 個月內,證明自己不僅能寫論文,還能寫出符合工業界高標準、高質量的程式碼。 ​2 .   導師與團隊的強烈推薦 (Strong Recommendation): 實習結束後,他的 Google 主管與合作科學家對其表現高度認可,主動在內部系統中送出「強烈錄用 (Strong Hire)」的評估報告。 ​ ​二、   嚴格的研究審查委員會 (Research Review Committee) ​不同於一般工程師由普通的招募委員會審查,研究科學家的履歷必須送交由 Google 內部頂尖科學家(通常是 Senior / Principal Scientist)組成的特殊委員會: ​ 1. 審查論文質量: 委員會逐一審視翁仲毅在華盛頓大學(UW)期間發表的指標性論文(如 Photo Wake-Up、HumanNeRF)。他們評估的不是論文數量,而是這些研究是否解決了該領域十幾年來未解的難題。 ​2 . 評估外部影響力: 他的研究曾在網路與學術界引發轟動(獲得 UW 內部獎項與科技媒體廣泛報導),這種「定義領域 (Field-defining)」的能力是委員會最看重的指標。 ​ 三 、 研究科學家的特殊面試關卡 (Interview Loops) ​在獲得錄用前,候選人必須通過為其量身打造的面試流程,主要包含以下三個核心部分: ​ ​ 1. 學術簡報 (Job Talk): 翁仲毅必須向 Google Research 全體相關團隊進行一場 4...

Google (美國) 科學家職位錄用門檻與台灣人才優勢分析

Google (美國) 科學家職位錄用門檻與台灣人才優勢分析 ​ 一. 美國 Google 科學家職位容易被錄用嗎? ​錄取率極低: Google 每年收到數百萬份履歷,整體錄取率低於 1%,競爭激烈程度堪比甚至超越常春藤盟校。一個職缺收到 250 到 1000 份履歷是常態。 ​學術與實戰並重: ​Research Scientist (研究科學家): 門檻極高,基本標配是頂尖大學的博士學位 (PhD),且必須在國際頂級會議(如 NeurIPS, ICML, CVPR, ACL 等)發表過具備高引用量或影響力的第一作者論文。 ​Data Scientist (資料科學家): 依據組別不同,碩士或博士皆有機會,更看重統計建模、實驗設計(A/B Testing)以及大數據處理的實戰經驗。 ​四大核心考核指標: Google 面試不只看學歷或英文,更嚴格評估以下四點: ​一般認知能力 (General Cognitive Ability): 解決未知複雜問題的邏輯與思考架構。 ​專業能力 (Role-Related Knowledge): 該領域的技術深度與程式實作能力。 ​領導力 (Leadership): 無需職位頭銜也能發揮影響力、推動專案前進的能力。 ​Google 風格 (Googleyness): 團隊協作、包容性、在模糊環境中的適應力以及道德誠信。 ​二. 台灣籍人員容易被錄取嗎? ​高階人才機會「中等偏高」: 只要具備頂尖的技術實力(特別是 AI/ML、電腦視覺、大型語言模型、雲端運算),台灣人才在 Google 內部非常受到青睞。 ​核心優勢: 台灣科技人才在數學、統計、資料工程及系統軟體方面具有極其紮實的硬實力,且工作態度普遍踏實、嚴謹。 ​實證觀察: 在 LinkedIn 上搜尋 "Google Research Scientist Taiwan" 或 "Google Data Scientist Taiwan",可以發現大量在美國總部(Mountain View, Seattle 等)從事機器學習、計算機視覺、自然語言處理的台灣籍 PhD 或資深工程師。 ​三. 總結:成功突圍的四大關鍵 ​頂尖的學術背景/硬實力: 相關領域的 PhD 學位,或在頂會擁有強大的論文發表紀錄、高影響力的開源專案。 ​頂級的程式...

從 HumanNeRF 到 PersonNeRF若你想挑戰 Google 等級的 PersonNeRF(處理不同時間拍攝的照片)

HumanNeRF 到 PersonNeRF若你想挑戰 Google 等級的 PersonNeRF(處理不同時間拍攝的照片) 要復現翁仲毅(Chung-Yi Weng)的研究,最理想的起點是從他的 HumanNeRF 開始,因為這是他後續在 Google 研發許多應用的核心底層技術。 以下是從技術論文角度進行復現的步驟建議與關鍵組件: 1. 取得原始碼與環境準備他大多數的研究都有在 GitHub 上開源。核心專案: HumanNeRF GitHub Repo開發環境:硬體: 建議至少需要一張 24GB 顯存 (VRAM) 的 GPU(如 RTX 3090 或 4090),因為神經渲染對記憶體要求很高。 軟體: PyTorch 是主要的開發框架。 2. 核心算法的三大復現重點若要自行實作或修改模型,需關注以下三個關鍵模塊:Canonical Space (標準空間) 建模:不要直接在動作影像中訓練,而是要建立一個「T-Pose」的靜態 NeRF 模型。 這讓神經網路能學習到穩定的外觀特徵(如皮膚紋理),而不受動作干擾。Motion Field (動作場) 與 SMPL 模型:利用 SMPL (人體參數化模型) 作為先驗知識。復現時需要結合運動估計算法,計算每一幀到標準空間的 Backward Warping (反向扭曲),這部分通常使用 MLP 來預測偏移量 (Offsets)。Non-rigid Refinement (非剛性微調):這是論文中最精妙的地方。單純的骨架運動無法處理衣服的飄動,因此需要一個額外的微調層來處理這些細節。 3. 資料集準備 (Dataset)復現這類模型最難的部分往往是資料處理。ZJU-MoCap: 這是復現 HumanNeRF 最常用的多視角人體動作資料集。自製資料: 若想復現「單視角影片」轉 3D,你需要準備一段繞著人走一圈(或人自轉)的影片,並使用 COLMAP 提取相機位姿,或使用 VIBE/ROMP 提取人體骨架。 4. 關鍵技術指標與調優在實驗過程中,你需要監控以下指標以確保復現方向正確:PSNR / SSIM: 衡量生成的影像質量。 LPIPS: 衡量感知上的真實感(對於人體渲染尤為重要)。 Training Time: 典型的 HumanNeRF 訓練在單張 3090 上可能需要 48-72 小時才能達到論文中的精細度。 ...

翁仲毅(Chung-Yi Weng ) 介紹

翁仲毅(Chung-Yi Weng ) 介紹 根據公開的學術履歷與 Google 學術搜尋資訊,翁仲毅(Chung-Yi Weng)博士在 Google 的工作、表現與主要成就不下於以下幾個核心面向:  一 、 目前工作與職位 翁仲毅博士目前於 Google Research(谷歌研究院)擔任研究科學家(Research Scientist),其核心研究領域與專長高度集中在: 計算機視覺(Computer Vision) 計算攝影學(Computational Photography) 計算機圖形學(Computer Graphics),特別是人體建模、3D 視覺與神經渲染(Neural Rendering)。    二 、 主要表現與學術成就 翁博士在加入 Google 之前就已在該領域嶄露頭角,在華盛頓大學(UW)攻讀博士期間(師從 Brian Curless 與 Ira Kemelmacher-Shlizerman 等大師),便與 Google 及其他頂尖團隊展開深度合作,其研究在國際頂級計算機視覺會議(如 CVPR)上取得了豐碩成果: 1. HumanNeRF(CVPR 2022 Oral 發表) 這是他最受矚目的代表作之一(被引用次數已達數百次)。該研究突破性地實現了從單一視角的動態影片(例如 YouTube 上的日常影片)中,重構出可自由變換視角、調整人體動作的 3D 動態模型,免去了傳統繁複的 3D 網格建模過程。 2. Photo Wake-Up(CVPR 2019) 這項研究能將單張照片中的人物「喚醒」並動畫化成 3D 模型,在當時引發極大關注(相關 YouTube 展示影片獲得超過 40 萬次觀看),並榮獲華盛頓大學艾倫電腦科學與工程學院的「人民選擇獎(People's Choice Award)」。 3. PersonNeRF(CVPR 2023) 提出一種從任意視角、姿勢及外觀的個人相片集中,建立客製化空間的方法,能以直觀的方式任意組合這些屬性並進行渲染。   三 、 獲獎紀錄 在加入 Google 前後,他的優異表現為他贏得了多項重量級獎項與資助: UW Reality Lab Google Fellowship(2022~2023):獲得 Google 官方提供的博士生獎學金資助。 ACM Multi...

2025 Fun AI Winter Camp

圖片
2025 FUN AI WINTER CAMP 2025 FUN AI WINTER CAMP 想知道 Game AI 是什麼?AI 又是怎麼學會遊戲闖關的?更想實際操作看看建立模型嗎? 透過超強卡司,體驗最好玩的學習方式 2025 Fun AI Winter Camp 營隊期間,在來自敏求智慧運算學院、國立清華大學資訊工程系、國立成功大學資訊工程系、國立陽明交通大學資訊工程系 、國立臺灣科技大學人工智慧跨域科技研究所的強大助教群帶領之下,學員們將學習如何建立 AI 模型,並透過 PAIA (Playful AI Arena)平台,以遊戲化的方式一起益智競賽。 邀請業界與學界猛將分享,學習最新興的科技知識 我們也邀請來自 Google 、Nvidia、 XYZ Robotics、臺灣學術界知名的研究學者們,與我們分享深度學習與人工智慧的相關研究專案! 翁仲毅 Research Scientist at Google KeyNote 1: Embracing Hard Problems, Having Fun with Research 講者簡介 Chung-Yi Weng is currently a Research Scientist at Google fascinated by AI, 3D, and their interaction. Before joining Google, he received his PhD degree from the University of Washington in 2023, where he primarily worked on rendering dynamic humans in 3D from unstructured data. He previously interned at Meta and Google VR/AR, and closely collaborated with Google Research. Beyond his passion for computer science, he is also a die-hard tennis fan and has been very proud of successfully combining his research with hi...

哈利波特場景成真能讓一張照片中的人物走出來(Photo Wake-Up) 

圖片
  哈利波特場景成真能讓一張照片中的人物走出來(Photo Wake-Up)          Welcome !       西雅圖之旅 舊金山之旅 合歡山之美 大雪山谷關 風花雪月           哈利波特場景成真能讓一張照片   中的人物走出來(Photo Wake-Up)   「哈利波特」魔法世界裡,油畫裡的人物能夠甦   醒過來活動兼說話,就連報紙中的新聞人物,全   部都來到你身邊,這情景太虛幻?其實要讓2D平   面圖像像魔法一樣變成3D跳出框框,已經做得到   台灣在美國留學博士生參與的研究團隊,就能   讓畫中人物「活過來」生成3D動畫。   要將2D圖像變成3D立體化,不少學者、廠商都正   在研究成果之一是已經在坊間普及化的「AR」   (虛擬實境擴增實境)圖像。玩過任天堂手遊   《精靈寶可夢GO》(Pokemon Go)應該都體驗過   AR效果,更期待同一廠商下一隻以《哈利波特》   為主題的遊戲,利用AR來場魔法大戰。       翁 盟     2019.05.31                           來自美國麻省理工學院科技(2018.12.21) 報導   那些來自哈利波特的神奇照片?華盛頓...