Paul G. Allen School of Computer Science & Engineering Graduation Celebration 取得連結 Facebook X Pinterest 以電子郵件傳送 其他應用程式 9月 17, 2023 Paul G. Allen School of Computer Science & Engineering Graduation Celebration 取得連結 Facebook X Pinterest 以電子郵件傳送 其他應用程式 留言
翁仲毅(Chung-Yi Weng) 在 Google Research 擔任研究科學家 ( Research Scientist ) 5月 29, 2026 翁仲毅 (Chung-Yi Weng ) 在 Google Research 擔任研究科學家 ( Research Scientist ) 翁仲毅(Chung-Yi Weng)博士在 Google Research 主要隸屬於 Augmented Perception 團隊(由 Shahram Izadi 領導),該團隊致力於突破增強實境(AR)與感知技術的邊界。他在 Google 參與的專案核心在於「將靜態或單鏡頭影像轉化為可互動的 3D 體驗」。 在 Google Research 擔任研究科學家期間,最核心的研究貢獻在於 「動態人體神經輻射場」(Dynamic Human NeRF)。 他的研究打破了傳統 NeRF 僅能掃描靜態物體的限制,讓 AI 能夠從一般拍攝的影片中,重建出具有深度、可變換視角且能自由活動的 3D 數位人類。 以下是他在該領域的三項關鍵研究與技術突破: 1. HumanNeRF:將單一影片轉化為 3D 自由視角 這是他在 Google 期間最具影響力的作品之一(發表於 CVPR 2022)。 技術突破: 傳統技術需要幾十台相機圍繞拍攝才能建模,但 HumanNeRF 僅需一段「單鏡頭影片」(例如 YouTube 上的舞動影片),就能生成該人物的完整 3D 模型。 應用場景: 使用者可以「暫停」影片,並像轉動模型一樣 360 度觀看該人物,甚至能看見原本鏡頭沒拍到的背部細節、衣服褶皺與皮膚紋理。 2. PersonNeRF:從散亂照片中進行個性化重建 他在 2023 年推出的 PersonNeRF 進一步提升了技術的實用性。 技術特點: 此項研究針對「日常照片集」進行優化。即便是一個人在不同時間、不同背景下拍的多張照片,系統也能自動過濾背景干擾,精準提取出該個體的 3D 特徵,建立個性化的數位分身。 3. H-NeRF 與動態拓撲處理 在 H-NeRF 研究中,他解決了人體運動時「非剛性變形」的難題。 核心技術: 透過將人體骨架先驗(SMPL 模型)與神經場結合,系統能預測肌肉與服裝在大幅度動作下的自然流動,確保在重建動態人物時不會出現扭曲或斷裂現象。 這些技術目前已被廣泛視為 虛擬實境(VR)、擴增實境(AR) 以及 影視特殊效果 領域的基礎,讓創作者能以極低的硬體成本(僅需手... 閱讀完整內容
從 HumanNeRF 到 PersonNeRF若你想挑戰 Google 等級的 PersonNeRF(處理不同時間拍攝的照片) 5月 12, 2026 HumanNeRF 到 PersonNeRF若你想挑戰 Google 等級的 PersonNeRF(處理不同時間拍攝的照片) 要復現翁仲毅(Chung-Yi Weng)的研究,最理想的起點是從他的 HumanNeRF 開始,因為這是他後續在 Google 研發許多應用的核心底層技術。 以下是從技術論文角度進行復現的步驟建議與關鍵組件: 1. 取得原始碼與環境準備他大多數的研究都有在 GitHub 上開源。核心專案: HumanNeRF GitHub Repo開發環境:硬體: 建議至少需要一張 24GB 顯存 (VRAM) 的 GPU(如 RTX 3090 或 4090),因為神經渲染對記憶體要求很高。 軟體: PyTorch 是主要的開發框架。 2. 核心算法的三大復現重點若要自行實作或修改模型,需關注以下三個關鍵模塊:Canonical Space (標準空間) 建模:不要直接在動作影像中訓練,而是要建立一個「T-Pose」的靜態 NeRF 模型。 這讓神經網路能學習到穩定的外觀特徵(如皮膚紋理),而不受動作干擾。Motion Field (動作場) 與 SMPL 模型:利用 SMPL (人體參數化模型) 作為先驗知識。復現時需要結合運動估計算法,計算每一幀到標準空間的 Backward Warping (反向扭曲),這部分通常使用 MLP 來預測偏移量 (Offsets)。Non-rigid Refinement (非剛性微調):這是論文中最精妙的地方。單純的骨架運動無法處理衣服的飄動,因此需要一個額外的微調層來處理這些細節。 3. 資料集準備 (Dataset)復現這類模型最難的部分往往是資料處理。ZJU-MoCap: 這是復現 HumanNeRF 最常用的多視角人體動作資料集。自製資料: 若想復現「單視角影片」轉 3D,你需要準備一段繞著人走一圈(或人自轉)的影片,並使用 COLMAP 提取相機位姿,或使用 VIBE/ROMP 提取人體骨架。 4. 關鍵技術指標與調優在實驗過程中,你需要監控以下指標以確保復現方向正確:PSNR / SSIM: 衡量生成的影像質量。 LPIPS: 衡量感知上的真實感(對於人體渲染尤為重要)。 Training Time: 典型的 HumanNeRF 訓練在單張 3090 上可能需要 48-72 小時才能達到論文中的精細度。 ... 閱讀完整內容
Google Research 研究科學家錄用機制分析:以 Chung-Yi Weng 博士為例 5月 29, 2026 Google Research 研究科學家錄用機制分析:以 Chung-Yi Weng 博士為例 要被 Google 錄用為研究科學家(Research Scientist),必須通過一條極為嚴苛且與一般工程師(SWE)完全不同的「學術 + 技術」雙軌審查流程。以下為其成功通過 Google 審核並被錄用的關鍵路徑與核心機制: 關鍵起手式:實習表現與學術委員會審查 一、 實習轉正機會 (Return Offer) Chung-Yi Weng 於 2019 年夏天進入 Google Research 的 Augmented Perception(增強感知)小組實習,這成為他敲開 Google 大門最重要的契機: 1. 實作與研究能力驗證: 實習期間,他直接面對 Google 的實際技術瓶頸。他必須在短短 3 個月內,證明自己不僅能寫論文,還能寫出符合工業界高標準、高質量的程式碼。 2 . 導師與團隊的強烈推薦 (Strong Recommendation): 實習結束後,他的 Google 主管與合作科學家對其表現高度認可,主動在內部系統中送出「強烈錄用 (Strong Hire)」的評估報告。 二、 嚴格的研究審查委員會 (Research Review Committee) 不同於一般工程師由普通的招募委員會審查,研究科學家的履歷必須送交由 Google 內部頂尖科學家(通常是 Senior / Principal Scientist)組成的特殊委員會: 1. 審查論文質量: 委員會逐一審視翁仲毅在華盛頓大學(UW)期間發表的指標性論文(如 Photo Wake-Up、HumanNeRF)。他們評估的不是論文數量,而是這些研究是否解決了該領域十幾年來未解的難題。 2 . 評估外部影響力: 他的研究曾在網路與學術界引發轟動(獲得 UW 內部獎項與科技媒體廣泛報導),這種「定義領域 (Field-defining)」的能力是委員會最看重的指標。 三 、 研究科學家的特殊面試關卡 (Interview Loops) 在獲得錄用前,候選人必須通過為其量身打造的面試流程,主要包含以下三個核心部分: 1. 學術簡報 (Job ... 閱讀完整內容
留言
張貼留言