谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置

Xsens动作捕捉 2022-12-04 5603

姊呭畞鑸?鍙戣嚜 鍑归潪瀵?nbsp;
閲忓瓙浣?鎶ラ亾 | 鍏紬鍙?QbitAI

濮垮娍鍔ㄧ敾甯堬紝鑷繁鍋氬姩浣滃氨鍙互鐢熸垚鐭㈤噺瑙掕壊鍔ㄧ敾銆?/p>

鎵撳紑鎽勫儚澶达紝浣犵殑濮挎€侀殢涔嬫憞鎽嗭紝涓€閬撻亾绾裤€佷竴涓釜鐐癸紝鍒荤敾浣犵殑闈㈤儴杞粨鍜屽畬缇庤韩鏉愩€?/p>

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第1张

鈻?/strong>鏁堟灉鍥?

鏄笉鏄緢鏈夎叮锛燂紒

褰撶劧杩欎釜鏈夌偣鎭愭€栵紝鎶婂浣欑殑閰嶇疆閮藉幓鎺夌湅鐪嬫晥鏋溿€?/p>

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第2张

鈻?/strong>鏁堟灉鍥?

濮垮娍鍔ㄧ敾甯堥」鐩紝铏界劧涓嶆槸TensorFlow.js瀹樻柟浜у搧锛屼絾鏁堟灉渚濇棫澶焥lay銆?/p>

骞朵笖鍙洿鎺ュ祵鍏ョ綉椤碉紝涓€閿厤缃紑鍙戯紝绠€娲佷紭闆咃紝鍊煎緱涓婃墜銆?/p>

鎿嶄綔姝ラ

浣滆€呮彁渚涗簡涓ょ鏂瑰紡鍘诲埗浣滃Э鍔垮姩鐢伙紝涓€绉嶆槸鎵撳紑鎽勫儚澶村疄鏃剁敓鎴?/strong>锛岃繕鏈変竴绉嶆槸涓婁紶闈欐€佸浘鍍?/strong>銆?/p>

浠ユ憚鍍忓ご鍒朵綔涓轰緥锛屾楠ゅ涓嬶細

1銆佹墦寮€缃戝潃锛堣鏂囨湯閾炬帴锛夛紝闅忓悗鎵撳紑鎽勫儚澶达紝鍔ㄤ綔鎹曟崏锛岃繘琛屽弬鏁伴厤缃€?/p>

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第3张

鈻?/strong>鍙傛暟閰嶇疆椤?/h6>

2銆佹憞鎽嗚捣鏉ワ紝鐢峰コ鐨嗗彲鍝焴

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第4张

鈻?/strong>鍔ㄤ綔鎹曟崏瀹炴椂鐢熸垚

3銆佺珯璧锋潵鏁堟灉鏇翠匠锛岀珯璧锋潵鍙互鎹曟崏韬綋鍔ㄤ綔銆?/p>

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第5张

鈻?/strong>韬綋鍔ㄤ綔濮挎€佽瘑鍒?/h6>

鏈夋病鏈夊緢绁炲鐨勬劅瑙夈€?/p>

浣滆€呭湪GitHub涓婂彂甯冪煭鐭竴涓鏈堬紝宸茬粡4.8k鏄熴€?/p>

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第6张

骞朵笖涓婃墜绠€鏄擄紝鎵€浠ュぇ绁炴槸鎬庝箞瀹炵幇鐨勶紵

鎶€鏈師鐞?/h2>

濮垮娍鍔ㄧ敾甯堥」鐩紝浣滆€呬富瑕佷娇鐢═ensorFlow.js鍒朵綔銆?/p>

浣滆€呬富瑕佷娇鐢ㄤ袱涓ā鍨嬶紝鐢盤oseNet鍜孎aceMesh缁勫悎鑰屾潵锛屽墠鑰呰礋璐eЭ鎬佽瘑鍒紝鍚庤€呰礋璐d汉鑴?D寤烘ā銆?/p>

1銆?FaceMesh闈㈤儴寤烘ā

FaceMesh鍙互璇嗗埆486涓汉鑴告爣璁扮偣锛屼粠鑰屾嫙鍚堝嚭浜鸿劯鐨勫嚑浣曞舰鐘讹紝鐢ㄤ簬璇嗗埆浜鸿劯瀹炴椂濮挎€併€?/p>

2銆丳oseNet璇嗗埆韬綋濮垮娍

PoseNet鍙互鐢ㄦ潵浼拌涓€涓韩浣撳Э鎬侊紝涔熷彲浠ョ敤鏉ヤ及璁″涓韩浣撳Э鎬併€?/p>

杩欐剰鍛崇潃绠楁硶鍙互妫€娴嬪埌涓€涓浘鍍?瑙嗛涓殑涓€涓汉锛屽彟澶栦竴涓増鏈彲浠ユ娴嬪埌澶氫釜浜虹殑韬綋濮挎€併€?/p>

鍦ㄨ繖涓」鐩腑锛屼綔鑰呬娇鐢≒oseNet鏉ユ嫙鍚堜汉鐨勮韩浣撳Э鎬併€?/p>

鍔ㄦ墜璇曡瘯

杩樻槸浠ユ憚鍍忓ご瀹炴椂鐢熸垚涓轰緥锛岄潤鎬佸浘娴佺▼澶у悓灏忓紓

  1. 鍏嬮殕椤圭洰GitHub鏂囦欢澶硅嚦鏈湴锛屾墦寮€椤圭洰涓殑skeleton鏂囦欢銆?/p>

骞跺鍏惰繘琛岀紪杈戯紝鎺у埗楠ㄦ灦绉诲姩鍙傛暟銆?/p>

浣犲彲浠ヨ嚜琛屾帶鍒跺弬鏁板彉鍖栵紝缂栬緫瀹屾垚鍚庡瓨鍏ュ伐浣滄枃浠跺す涓€?/p>

浣嗘槸璇锋敞鎰忋€備笉瑕佸湪杩欎釜缁勪腑娣诲姞銆佸垹闄ゆ垨閲嶅懡鍚?strong>circle閮ㄥ垎锛屻€?/p>

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第7张

鈻?/strong>渚濋潬杩欎簺姝ら儴鍒嗘潵璇诲彇鎺у埗韬綋濮挎€佺殑鍒濆浣嶇疆

浣嗘槸浣犲彲浠ヨ繘琛?strong>绉诲姩鎿嶄綔锛屽苟灏嗗畠浠祵鍏ュ埌浣犵殑鎻掑浘涓紝浠ュ埗浣滀笉鍚岀殑鏁堟灉銆?/p>

2銆佸垱寤轰竴涓柊鏂囦欢锛屽苟灏嗗叾鍛藉悕涓?鈥渋llustration鈥濓紝鍦?鈥渟keleton鈥濇枃浠剁殑鏃佽竟銆?/p>

鎷夊钩鎵€鏈夊瓙鏂囦欢锛屼娇 鈥渋llustration鈥濇枃浠跺彧鍖呭惈璺緞鍏冪礌銆?/p>

濡傛灉瀹屾垚涓婅堪姝ラ锛屼綘鐨勬枃浠剁粨鏋勫簲璇ユ槸杩欐牱鐨勩€?/p>

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第8张

3銆侀€氳繃鎺у埗skeleton鏂囦欢涓殑鍙傛暟锛屾潵绉诲姩鍏宠妭鐨勫叿浣撳彉鍖栥€?/p>

4銆佹鏃讹紝瀹屾垚鍒朵綔鑷繁鐨勭煝閲忓Э鍔垮浘锛屽皢鍏朵笂浼犲埌绀轰緥缃戠珯锛屽€熺敤缃戠珯鏈嶅姟鍣ㄧ畻鍔涘埗浣滆嚜瀹氫箟鐨勫Э鍔垮姩鐢诲笀銆?/p>

浣滆€呯畝浠?/h2>

浣滆€匰han Huang锛屾瘯涓氫簬CMU锛屽眳浣忎簬涓婃捣锛岀幇浠昏亴浜庤胺姝屻€?/p>

绠€浠嬩负绋嬪簭鍛?/strong>鍜?strong>鑹烘湳瀹?/strong>锛屼篃鏄緢鏈夋剰鎬濅簡銆?/p>

宸ョ▼甯堛€佽壓鏈锛屾湁鍒涢€犲姏鐨勬妧鏈伐绋嬪笀锛屽閲嶈韩浠藉綋寰楄捣銆?/p>

鍥犱负濂圭殑浠g爜锛岃瘉鏄庝簡宸ョ▼甯堢殑璧勬牸銆?/p>

涓嬮潰馃憞鏄ス鐨勮壓鏈綔鍝併€?/p>

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第9张

鏂囩悊浜よ瀺锛屾父鍒冩湁浣欙紝鐚笂鑶濈洊銆?/p>

涓€璧锋潵瑙傛懇灏忓濮愮殑纭牳浣滃搧鍚?/p>

鑷繁鍔ㄦ墜璇曡瘯鐪媬

鍙傝€冮摼鎺ワ細
https://github.com/yemount/pose-animator/
https://pose-animator-demo.firebaseapp.com/

鈥?瀹?/strong> 鈥?/p>


鏈枃绯荤綉鏄撴柊闂烩€㈢綉鏄撳彿鐗硅壊鍐呭婵€鍔辫鍒掔绾﹁处鍙枫€愰噺瀛愪綅銆戝師鍒涘唴瀹癸紝鏈粡璐﹀彿鎺堟潈锛岀姝㈤殢鎰忚浆杞姐€?/span>

浜虹被鏈潵20骞存渶閲嶈鐨勮埅澶╀换鍔♀€斺€旂櫥闄嗙伀鏄燂紝宸茬粡鍚姩锛佽繖鍦哄緛鏈嶆槦杈板ぇ娴风殑寰佺▼锛屽皢褰诲簳鏀瑰彉鎴戜滑鐨勬湭鏉ャ€?/p>


浠€涔堟槸鐏槦鎺㈢储锛屼负浠€涔堣杩滃緛鏈潵锛屽浣曞煿鍏荤瀛︽帰绱㈢殑绮剧锛?/p>


涓浗绌洪棿鎺㈡祴鎶€鏈甯瀛︿紶鎾笓瀹跺簽涔嬫旦锛屾渶鏂版帹鍑鸿缁欏瀛愮殑鐏槦璇俱€婄櫥闄嗙伀鏄熴€嬶紝鍦ㄥ叾涓繁鍏ユ祬鍑哄湴璁茶В鐏槦鎺㈢储鍙?鑸ぉ鐭ヨ瘑锛屽洖绛斾簡浣犺繕涓嶇煡閬撶殑绉嶇濂藉鐤戦棶銆?/p>


鐜板湪杩欎竴绮惧績鎵撶(鐨勮绋嬫鍦ㄨ秴鍊奸鍞腑锛?span>瀹氫环99鍏?/span>锛岀洰鍓嶉檺鏃跺崐浠凤紝浠?9鍏冦€傝瀛╁瓙鐖变笂鎺㈢储瀹囧畽锛屽煿鍏荤瀛︽€濈淮锛岀幇鍦ㄥ氨寮€濮嬪惂锝?/p>

缁欏瀛愮殑鐏槦璇?br>闄愭椂鍗婁环涓煈?/strong>

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第10张

谷歌小姐姐开源姿势动画师项目,组合现有TF模型,只需一张SVG图片便可配置  第11张

閲忓瓙浣?nbsp;QbitAI 路 澶存潯鍙风绾︿綔鑰?/span>


站岽?斋 杩借釜AI鎶€鏈拰浜у搧鏂板姩鎬?/p>


鍠滄灏辩偣銆屽湪鐪嬨€嶅惂 !


The End