01. 기술 히스토리·계보 — 왜 이 흐름이 생겼나

00장에서 정의한 말(얼굴 검출, BlazeFace, 메시, iris, 블렌드셰이프, 정규화 좌표)을 그대로 쓴다. 처음 보는 듯한 용어가 있으면 00장으로 돌아가자.

1.1 왜 역사를 먼저 보는가

Face Landmarker를 처음 만나면 의문이 줄줄이 생긴다. 왜 점이 478개나 될까. 왜 블렌드셰이프가 따로 있을까. 검색하면 왜 어떤 자료는 468개라 하고 어떤 자료는 478개라 할까. 왜 Solutions와 Tasks라는 두 이름이 다 나올까. 이 의문들은 기능을 외워서는 풀리지 않는다. 역사를 알면 저절로 풀린다.

핵심은 한 문장이다.

"전용 하드웨어 없이, 평범한 RGB 카메라 한 대로, 모바일에서 실시간으로, 얼굴을 점점 더 정밀하게 이해하기."

이 목표를 향해 2019년부터 2023년까지 약 4년에 걸쳐 여러 모델과 연구가 하나씩 쌓였다. Face Landmarker는 그 합본(bundle)이다. 각 단계는 이전 단계가 풀지 못한 한계를 하나씩 해결하며 등장했다. 이 장은 그 "한계 → 해결"의 사슬을 차례로 따라간다.

돌탑에 비유하면 이해가 쉽다. Face Landmarker는 한 사람이 어느 날 그린 그림이 아니라, 여러 세대의 장인이 한 칸씩 올린 돌탑이다. 맨 위 돌인 블렌드셰이프만 보면 어리둥절하다. 하지만 맨 아래 돌인 BlazeFace부터 올라오면, 왜 그 위에 그 돌이 놓였는지 자연스럽게 보인다.

1.2 한눈에 보는 타임라인

먼저 시간 축으로 전체를 본 뒤, 각 단계를 풀어쓴다.

한 줄 서사로 외워 두면 좋다. "얼굴 어디?"(BlazeFace) → "표면 모양은?"(Face Mesh) → "눈·입은 더 정밀하게"(Attention Mesh) → "눈동자와 거리까지"(Iris) → "이 모든 걸 하나의 깔끔한 API로"(Tasks / Face Landmarker) → "좌표를 넘어 표정 계수까지"(Blendshapes).

1.3 계보(의존 관계) — 무엇 위에 무엇이 쌓였나

다음 그림은 각 모델이 무엇의 기반이 되었는지를 보여준다. 화살표는 "A가 B의 입력이나 기반이 된다", 또는 "A의 아이디어가 B로 이어진다"는 뜻이다.

초록색 노드 Face Landmarker는 위쪽 다섯 연구 성과가 모두 흘러드는 합류점이다. BlazeFace는 "얼굴 위치", FaceMesh-V2는 "468 메시", Iris는 "+10 홍채점", Attention Mesh는 "정밀화 아이디어", Blendshapes GHUM은 "52 표정 계수"를 각각 기여했다. 그래서 Face Landmarker는 발명이라기보다 잘 고른 조립에 가깝다.

아래에서 위로, 각 돌이 푼 한계와 함께 본다.

1.4 BlazeFace (2019.07) — "그래서 얼굴이 어디 있는데?"

가장 아래 돌은 얼굴을 찾는 일이다. 점을 찍기 전에 먼저 "얼굴이 어디 있는지"를 알아야 하기 때문이다.

BlazeFace는 모바일 GPU 추론에 특화된 초경량 얼굴 검출기다. 플래그십 기기에서 초당 200~1000장 이상(200–1000+ FPS)의 속도로 동작한다. 논문 표현 그대로 옮기면 "It runs at a speed of 200-1000+ FPS on flagship devices"다.

그 전의 일반 얼굴 검출기는 모바일에서 무겁고 느렸다. 표준 SSD 계열이 대표적이다. AR처럼 매 프레임을 실시간으로 처리해야 하는 응용에는 쓰기 어려웠다. BlazeFace는 이 속도 문제를 세 가지로 풀었다.

• MobileNetV1/V2에서 영감을 받되, 더 가벼운 특징 추출 네트워크를 새로 설계했다.
• 표준 SSD를 변형해 GPU 친화적인 anchor 방식을 썼다.
• 겹쳐 검출된 얼굴을 정리할 때, 흔히 쓰는 non-maximum suppression 대신 개선된 tie resolution(동점 처리)을 썼다.

BlazeFace는 그 자체로 끝나는 도구가 아니다. 정확한 얼굴 ROI(관심 영역)를 후속 모델에 넘겨주는 1단계로 설계됐다. 논문 자신이 "2D/3D 얼굴 키포인트나 기하 추정의 입력으로 쓰일 수 있다"고 밝혔다. 그 ROI를 받는 첫 고객이 바로 다음 절의 Face Mesh다. 오늘날 Face Landmarker도 검출 단계에 BlazeFace short-range model을 그대로 쓴다. 공식 문서는 이 모델을 "a lightweight and accurate face detector optimized for mobile GPU inference"라고 부른다.

"얼굴 위치만 빠르게 찾고, 정밀 작업은 다음 단계에 넘긴다." 이 분업 사상이 이후 모든 단계의 토대가 된다. 이 검출 단계가 ROI를 자르고 똑바로 세우는 과정으로 어떻게 이어지는지는 02장에서 단계별로 본다.

위치를 찾았으니, 이제 얼굴이 어떻게 생겼는지를 알아낼 차례다.

1.5 MediaPipe Face Mesh (2019.07) — "표면 모양을, 깊이 센서 없이"

Face Mesh는 단일 RGB 카메라 입력만으로 468개 정점의 얼굴 메시를 실시간 복원하는 end-to-end 신경망이다. 각 정점은 3D 랜드마크다. 논문은 이를 "relatively dense mesh model of 468 vertices"라고 표현한다.

이 모델이 풀어야 했던 한계는 두 가지다.

• 정밀한 3D 얼굴 기하를 얻으려면 보통 깊이 센서나 다중 카메라가 필요했다. 구조광이나 ToF 같은 장비다. 일반 스마트폰·웹캠에는 부적합했다.
• BlazeFace는 얼굴 위치만 알려 줄 뿐, 얼굴의 모양과 표면은 모른다.

Face Mesh의 핵심 기여는 단일 RGB 한 장에서 468개 3D 랜드마크를 기계학습으로 회귀한 것이다. 전용 깊이 하드웨어가 필요 없어졌다. 속도도 모바일 GPU에서 초실시간(super-realtime)으로, 100~1000+ FPS에 이른다. 동시에 파이프라인 구조가 자리를 잡았다. 얼굴 검출(BlazeFace) → 랜드마크 회귀 → 좌표 재투영 → 시간적 필터링(temporal filtering)으로 이어지는 흐름이다. "검출과 랜드마크의 2단계 분업"이 여기서 정착했다.

질문이 "얼굴 어디?"에서 "얼굴이 어떻게 생겼나?"로 한 단계 깊어졌다. 이때 정한 468개가 이후 모든 메시의 기준 토폴로지(canonical mesh)가 된다. 478개 중의 "468" 부분이 바로 이 Face Mesh에서 왔다. 점들의 정확한 분포는 03장에서 다룬다.

여기서 이름 하나를 짚어 두자. "Face Mesh"는 두 층위로 쓰인다. 하나는 옛 레거시 솔루션의 이름이고, 다른 하나는 Face Landmarker 번들 안의 한 모델(face mesh model)을 가리킨다. 솔루션으로서의 Face Mesh와 Face Landmarker의 차이는 05장에서 전담한다.

표면 전체를 덮었지만, 눈과 입술만큼은 더 정밀해야 하는 응용이 있었다.

1.6 Attention Mesh (2020.06) — "눈·입술은 더 정밀해야 한다"

Attention Mesh는 의미 있는 얼굴 영역, 특히 눈과 입술에 어텐션을 적용해 그 부위 랜드마크를 고해상도로 예측하는 경량 단일 네트워크다. Pixel 2에서 50+ FPS로 동작했다.

여기서 어텐션(attention)이란, 신경망이 입력의 모든 부분을 똑같이 보지 않고 중요한 부분에 더 집중하도록 학습하는 기법이다. 이 모델에서는 "눈·입술 영역에 더 주의를 기울여 그 부위를 정밀하게"라는 뜻으로 쓴다.

이전 단계의 한계는 부위별 정밀도였다.

• AR 메이크업, 시선 추적(eye tracking), AR 퍼펫티어링(puppeteering) 같은 응용은 눈·입 주변 랜드마크의 정밀도가 특히 중요하다. 그런데 균일한 해상도의 468 메시 한 장으로는 이 부위가 부족했다.
• 부위별 정밀도를 높이려면 부위마다 따로 잘라 별도 모델로 여러 번 추론해야 했다. 이렇게 여러 단계를 잇는 방식을 cascade(연쇄 추론)라 하는데, 느리고 복잡했다.

Attention Mesh는 이를 하나의 통합 네트워크 안에서 풀었다. 영역별 어텐션을 적용해, 기존 cascade 방식과 동일한 정확도를 내면서 30% 더 빠르게 동작했다. 논문 표현으로는 "30 percent faster"다. 정밀도를 올리는 것과 단일 모델로 단순화·고속화하는 것을 동시에 달성한 셈이다.

이 "region refinement(영역 정밀화)" 사상이 곧 Face Mesh와 Face Landmarker의 refine_landmarks 옵션으로 이어진다. 공식 Face Mesh 문서도 Attention Mesh를 "입술·눈·홍채 주변 랜드마크를 더 정확히 예측하되 연산을 더 쓰는, 선택적 정밀화 모델"로 소개한다. 현행 Face Landmarker는 이 정밀화를 항상 적용해 기본 478점을 낸다.

눈 영역까지 정밀해지자, 그 안의 눈동자와 카메라까지의 거리라는 새 문제가 보였다.

1.7 MediaPipe Iris (2020.08) — "눈동자와, 카메라까지의 거리"

Iris는 단일 RGB 카메라로 홍채(iris)·동공(pupil)·눈꺼풀 윤곽 랜드마크를 실시간 추적하는 기술이다. 나아가 이를 이용해 피사체와 카메라 사이의 거리(깊이)까지 추정한다. 2020년 8월 6일 Google Research Blog로 공개됐다.

이전의 한계는 두 가지였다.

• Face Mesh의 468점은 눈 영역은 잡지만 홍채와 동공의 정확한 위치는 표현하지 못했다. 정밀 시선 추적이나 동공 기반 효과에 부족했다.
• 거리(깊이)를 알려면 깊이 센서가 필요하다고 여겨졌다.

Iris는 두 가지 아이디어로 이를 풀었다. 첫째, Face Mesh 결과로 눈 영역을 잘라낸 뒤 그 위에서 iris 모델을 돌린다. 블로그 표현으로는 "Building on our work on MediaPipe Face Mesh … track landmarks involving the iris, pupil and the eye contours using a single RGB camera"다. 둘째, 사람 홍채의 가로 지름이 11.7±0.5 mm로 거의 일정하다는 생물학적 상수를 이용한다. 사람마다 홍채 크기가 거의 같으니, 화면에 비친 홍채 크기로부터 카메라까지의 거리를 역산할 수 있다. 보고된 정확도는 평균 상대오차 4.3%(표준편차 2.4%)이고, 안경 착용 시 4.8%(표준편차 3.1%)다. 깊이 센서 없이 이 정도 거리 추정을 해낸다.

여기서 추가된 점이 눈당 5점, 양눈 합쳐 10개의 iris 랜드마크다. 이 10개가 훗날 Face Landmarker의 478 = 468 + 10에서 그 "+10"의 정체다. 468과 478의 정확한 매핑과 좌표 의미는 03장에서 깊게 다룬다.

이것이 468 대 478 혼동의 진짜 이유다. Face Mesh(468)와 Iris(+10)는 원래 서로 다른 두 개의 레거시 솔루션이었다. Face Landmarker는 이 둘을 하나의 task로 통합해 478을 한 번에 내보낸다. "왜 옛날 자료는 468이고 요즘 자료는 478인가?"의 답이 여기 있다.

모델들은 갖춰졌다. 그런데 그것을 감싸는 소프트웨어가 솔루션마다 제각각이었다. 그 정리가 다음 이야기다.

1.8 프레임워크 재편 — Solutions(레거시) → Tasks API → Google AI Edge

여기서부터는 모델 자체가 아니라, 그것을 감싸는 소프트웨어 프레임워크의 재편 이야기다. 학부생이 가장 헷갈려 하는 지점이니 시점을 분명히 한다.

무엇이 바뀌었나

레거시 시대에는 Face Mesh, Iris, Hands, Pose 등이 각각 독립된 "Solution"으로 제공됐다. 솔루션마다 별개의 그래프이자 파이프라인이었다. 통일된 고수준 API가 약했고, 플랫폼별 사용법이 제각각이었다.

전환의 핵심 사건과 시점은 출처가 확인된다.

• 2023-03-01. "We have ended support for the MediaPipe Legacy Solutions … as of March 1, 2023." 다수 레거시 솔루션의 지원 종료를 선언했다. 코드와 사전빌드 바이너리는 "있는 그대로(as-is)" 계속 제공되지만, 능동적 개발은 멈춘다.
• 2023-04-03. 공식 개발자 문서 사이트를 developers.google.com/mediapipe로 옮겼다. 이후 다시 ai.google.dev/edge/mediapipe로 정리됐다. 구 사이트는 이 시점부터 새 문서로 리다이렉트되기 시작했다.
• 2023-05-10. Face Mesh 솔루션이 새 솔루션인 Face Landmarker로 승격됐다. 공식 Face Mesh 문서가 "As of May 10, 2023, this solution was upgraded to a new MediaPipe Solution."이라고 적는다. 이후 레거시 Face Mesh 문서는 Face Landmarker 페이지로 리다이렉트된다.

옛 솔루션이 새 task로 어떻게 옮겨졌는지는 공식 가이드의 매핑으로 정리된다.

• Face Detection → Face detection
• Face Mesh + Iris → Face landmark detection (= Face Landmarker)
• Hands → Hand landmark detection
• Pose → Pose landmark detection
• Selfie/Hair Segmentation → Image segmentation 등

업그레이드 경로 없이 단종된 것도 있다. Box Tracking, Instant Motion Tracking, Objectron, KNIFT, AutoFlip, MediaSequence, YouTube-8M이다.

왜 옮겼는지를 보면 이 재편이 더 잘 이해된다. 레거시 솔루션은 솔루션마다 API 형태, 모델 패키징, 플랫폼 지원이 제각각이었다. 같은 "얼굴 랜드마크"라도 Python·Web·Android의 사용법과 출력 구조가 통일돼 있지 않았다. 새 Tasks API는 이를 하나의 일관된 패턴으로 재설계했다. BaseOptions로 .task 번들을 지정하고, Options로 실행 모드·임계값·출력 옵션을 정하고, detect/detectForVideo/detectAsync로 호출하는 형태다. 그 결과 교차 플랫폼 일관성, 모델 교체 용이성, 표준 ML 태스크화를 얻었다. 이 패턴의 구체적 모습은 05장에서 다룬다.

새 구조 — MediaPipe Solutions = Tasks + Model Maker + Studio

새 MediaPipe Solutions는 세 층으로 구성된다.

• MediaPipe Tasks (low-code). CPU/GPU/TPU 가속이 적용된 최적화된 end-to-end ML 파이프라인이다. 우리가 쓰는 Face Landmarker가 여기 속한다.
• MediaPipe Model Maker (low-code). 커스텀 모델을 학습시킨다.
• MediaPipe Studio (no-code). 브라우저에서 시각화·평가·벤치마크·디버그를 한다. Face Landmarker도 Studio에서 코드 없이 바로 데모로 체험할 수 있다.

Google AI Edge 우산

이후 MediaPipe는 구글의 온디바이스 AI 브랜드인 Google AI Edge(ai.google.dev/edge) 아래로 편입된다. 이 브랜드는 2024년 5월 Google I/O 2024에서 온디바이스 AI를 강조하며 전면에 부각됐다. 로컬에서, 사용자 기기 안에서 처리하는 프라이빗 AI를 내세운 자리였다. 현재 공식 문서 경로 ai.google.dev/edge/mediapipe/…와 GitHub 조직명 google-ai-edge/mediapipe가 이를 반영한다.

정직 고지(시점의 한계). "Google AI Edge"라는 우산 브랜드로의 명시적 재편을 알린 단일 공식 공지 일자는 본 자료가 특정하지 못했다. 문서 URL과 리포지토리 이름 변경 정황, 그리고 Google I/O 2024(2024-05)에서의 강조를 근거로 2024년경으로 본다. 이 책은 연도 추정으로만 표기하며, 정확한 단일 공지일은 확인되면 갱신 대상이다.

흩어진 솔루션이 정리되면서, 마침내 모든 모델이 하나의 task로 합쳐졌다.

1.9 Face Landmarker task 출시 — 모든 것의 합본

한 번의 호출로 나오는 출력

Face Landmarker는 3개 모델을 묶은 번들이며, 다음을 통합 출력한다.

번들 안의 세 모델은 역할이 나뉜다.

• 검출: BlazeFace short-range model이 얼굴 존재와 몇 개의 핵심 점을 검출한다.
• 메시: FaceMesh-V2가 얼굴 전체를 478개 3D 랜드마크로 매핑한다.
• 블렌드셰이프: Blendshape V2가 52개 점수, 곧 표정 계수를 예측한다.
• 변환행렬: 효과 렌더링에 필요한 머리 자세 변환 행렬을 함께 낸다.

무엇이 새로웠나

레거시 시절엔 Face Mesh(468), Iris(+10), 별도 표정 추정을 각각 따로 붙여야 했다. Face Landmarker는 이를 하나의 task, 하나의 API, 하나의 모델 번들로 통합했다. 개발자는 output_face_blendshapes나 output_facial_transformation_matrixes 같은 불리언 옵션만 켜면 된다. 공식이 밝힌 용도는 표정 인식, 얼굴 필터·효과 적용, 가상 아바타 생성이다.

정직 고지. Face Landmarker task 자체의 최초 출시 일자는 단일 릴리스 공지로 못 박힌 출처를 찾지 못했다. 이 책은 레거시 종료(2023-03-01)와 Face Mesh의 Face Landmarker 승격(2023-05-10)을 시점 기준으로 사용한다.

좌표를 통합했으니, 마지막 도약은 좌표를 넘어 표정 그 자체를 숫자로 주는 것이었다.

1.10 블렌드셰이프 도입 — 좌표를 넘어 "표정 그 자체"로

478개 랜드마크는 점이 어디 있는지, 곧 좌표를 준다. 하지만 아바타를 움직이거나 표정을 인식하려면 다른 정보가 필요하다. "지금 어떤 표정인가"라는 의미 단위(semantic)다. 웃고 있는지, 눈을 감았는지, 입을 벌렸는지 같은 정보다. 점 좌표에서 이 표정을 매번 직접 계산하는 일은 번거롭고, 응용마다 방식이 제각각이었다.

마침 게임·AR 업계에는 사실상 표준이 이미 있었다. 애플의 ARKit 52 블렌드셰이프다. 이와 호환되는 52개 계수를 주면, 기존 아바타·리깅 파이프라인에 바로 꽂을 수 있다. 그래서 Face Landmarker는 랜드마크 위에 블렌드셰이프 예측 모델(Blendshape V2)을 얹어, 52개 표정 계수를 추가 출력하게 됐다. 각 계수는 0~1 사이의 강도다.

이 기술의 근간 논문이 "Blendshapes GHUM"(arXiv:2309.05782, 2023-09-11)이다. 단일 RGB 이미지에서 얼굴 랜드마크를 입력으로 받아 52개 블렌드셰이프 계수를 예측하는, 경량 실시간 모델을 제시한다.

정직 고지(교차식별). 이 GHUM 논문 본문에 "Blendshape V2"라는 제품명은 등장하지 않는다. 다만 저자진이 MediaPipe 팀이고, 입력(랜드마크 기반)·출력(52 계수)·실시간이라는 특징이 Face Landmarker의 Blendshape V2와 일치한다. 이 책은 둘을 같은 모델로 보되, 단정이 아니라 합리적 동일시로 본다. 블렌드셰이프 메커니즘, ARKit 52 목록, 응용 상세는 04장에서 깊게 다룬다.

1.11 한눈에 보는 계보 요약표

큰 그림이 잡혔다. 이 합본이 실제로 한 장의 이미지를 어떻게 처리하는지, 그 동작 파이프라인을 다음 장에서 단계별로 추적한다.

→ 다음 장: 02. 전체 동작 파이프라인

Sources

검출·랜드마크 모델(논문/블로그):

• BlazeFace — Bazarevsky et al., "BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs", arXiv:1907.05047 (v1 2019-07-11). https://arxiv.org/abs/1907.05047
• Face Mesh — Kartynnik, Ablavatski, Grishchenko, Grundmann, "Real-time Facial Surface Geometry from Monocular Video on Mobile GPUs", arXiv:1907.06724 (2019-07-15). https://arxiv.org/abs/1907.06724
• Attention Mesh — Grishchenko et al., "Attention Mesh: High-fidelity Face Mesh Prediction in Real-time", arXiv:2006.10962 (2020-06-19). https://arxiv.org/abs/2006.10962
• MediaPipe Iris — Google Research Blog, "MediaPipe Iris: Real-time Iris Tracking & Depth Estimation", 2020-08-06. https://research.google/blog/mediapipe-iris-real-time-iris-tracking-depth-estimation/
• Blendshapes GHUM — Grishchenko et al., "Blendshapes GHUM: Real-time Monocular Facial Blendshape Prediction", arXiv:2309.05782 (2023-09-11). https://arxiv.org/abs/2309.05782

프레임워크·제품 문서(Google AI Edge / MediaPipe):

• Face landmark detection guide (478 landmarks, 52 blendshapes, transformation matrix, BlazeFace short-range, FaceMesh-V2, Blendshape V2, 3-model bundle, 용도). https://ai.google.dev/edge/mediapipe/solutions/vision/face_landmarker
• MediaPipe Solutions guide (Legacy 종료 2023-03-01, 업그레이드 매핑, 단종 목록, Tasks/Model Maker/Studio 구성). https://ai.google.dev/edge/mediapipe/solutions/guide
• Legacy Face Mesh doc (468 landmarks; "As of May 10, 2023, … upgraded to a new MediaPipe Solution"; BlazeFace + Attention Mesh + refine_landmarks). https://github.com/google-ai-edge/mediapipe/blob/master/docs/solutions/face_mesh.md
• MediaPipe Tasks 개요. https://ai.google.dev/edge/mediapipe/solutions/tasks
• MediaPipe Studio / Instant Demos. https://ai.google.dev/edge/mediapipe/solutions/studio
• Google AI Edge 랜딩(2024-05 Google I/O 2024에서 온디바이스 AI 강조). https://ai.google.dev/edge
• MediaPipe (Wikipedia, 보조: 초기 릴리스 연혁 참고). https://en.wikipedia.org/wiki/MediaPipe

보조(블렌드셰이프 ARKit 대응 등):

• py-feat 모델카드 — 52 blendshapes ≈ ARKit, FACS 대응. https://huggingface.co/py-feat/mp_blendshapes

모든 일자는 위 출처에 기재된 값. "추정"으로 표시한 항목(Google AI Edge 단일 공지일, Face Landmarker 최초 출시일)은 단일 공식 일자를 확정하지 못한 것으로, 확인되면 갱신 대상이다. 도메인은 본 시리즈 전체에서 현행 canonical인 ai.google.dev/edge/mediapipe로 통일했다(developers.google.com/edge/mediapipe로도 동일 문서에 접근되며 상호 리다이렉트된다).