Lift it - 운동 코칭 에이전트

이 프로젝트는 혼자 운동하며 정확한 자세를 알기 어려운 사용자들을 위해 기획 및 개발된 개인 맞춤형 AI 운동 에이전트 서비스입니다. 모바일 환경에서 정밀한 영상 자세 분석을 지원하며, 사진과 메모만으로 기록을 남기는 간편 캘린더 기능과 누적 데이터를 바탕으로 한 매일 맞춤형 일정 추천 기능을 제공합니다. 앱 내 모든 기능은 대화형 에이전트로 묶여 있어, 단순한 수치 제공을 넘어 실제 트레이너와 피드백을 주고받는 심도 있는 코칭 경험을 구현했습니다.

프로젝트 한 눈에 보기

타겟 사용자	산업	시스템 환경	핵심 AI 기술
운동 유저, 크로스핏터	헬스/운동	클라이언트(Flutter) - 서버 분산 환경	비전 AI 다중 객체 추적, 다중 모달 LLM

1. 타겟 사용자 소개

최근 근력 운동의 인기가 높아지며 혼자 운동하는 인구가 급증했습니다. 본 서비스는 자신의 훈련을 시각적으로 기록하는 데 익숙하지만, 스스로 자세를 객관적으로 분석하고 교정점을 찾기에는 한계를 느끼는 사용자를 타겟으로 합니다. 또한 상시 트레이너의 피드백이나 체계적 일정 관리를 비용/시간의 장벽 없이 도입하고 싶은 운동 인구를 대상으로 기획되었습니다.

2. 프로젝트 개요

"스마트폰 하나로 AI 에이전트에게 밀착 관리를 받는 스마트한 운동 환경"을 목표로 구축했습니다. 기존 영상 분석 앱과 기록 앱의 분리된 환경을 하나로 통합했습니다. 사용자가 업로드하는 운동 영상, 사진, 짧은 메모를 앱 내 AI 에이전트가 처리하여 개인의 주요 훈련 데이터로 변환합니다. 사용자의 누적 분석치와 캘린더 기록을 중앙 서버에서 융합함으로써, 당일의 맞춤형 일정을 구성하고 상세 코칭을 대화형으로 전달하는 통합 시스템입니다.

3. 성과 및 제공 기능

궤적 오버레이 영상 분석 및 AI 심층 피드백

전신 운동 영상을 업로드하면 내 몸의 중심선과 바벨 무게의 수직 궤적이 화면에 렌더링 됩니다. 구간별 속도와 각도를 수치화하여 문제점을 즉시 파악하고, 구체적인 AI 피드백을 즉각 제공합니다.

사진 1장, 한 줄 메모에 기반한 캘린더 기록

자유 형식의 텍스트("스쿼트 100kg 5회 3세트")나 운동 장비의 이미지를 업로드하면, AI 모델이 종목, 무게, 횟수를 파악해 캘린더에 보기 좋게 정리합니다.

과거 데이터가 총합된 데일리 AI 일정 도우미

과거부터 누적된 근육의 피로도, 최근 자세 평가 점수, 기존 영상 분석 피드백까지 종합하여 코칭에 적용합니다. 이를 토대로 워밍업부터 쿨다운까지 일일 일정표를 새롭게 생성합니다.

대상	주요 효과
일반 사용자	1. 객관적 영상 분석 결과를 바탕으로 한 에이전트 밀착 심층 피드백 2. 비정형 데이터(사진, 텍스트) 기반의 자동 캘린더 기록 및 강력한 검색 3. 내 피로도와 운동 기록을 연계한 일일 플랜 동적 생성
코치/트레이너	1. 궤적 기반 화면 처리로 객관적 지표를 통한 소통 효과 극대화 2. 대면 수업이 없는 날에도 AI 에이전트의 일정 추천을 통한 관리 효율 제고

4. 배경 & 과제

안전하고 꾸준한 근력 운동 관리를 위해 단일 앱 환경에서 분석과 기록이 원활하게 연계되는 환경을 구축하고자 세 가지 과제를 도출했습니다.

단순 궤적 추적을 넘어선 입체적 영상 분석의 필요성

바벨의 궤적과 신체의 무게 중심을 동시 추적하고, AI가 밸런스가 무너진 구간을 객관적으로 찾아내는 능동적인 분석 환경이 필요했습니다.

번거로운 기록 방식 개선 및 비정형 데이터 정규화

훈련 기록 시 매번 폼을 입력해야 하는 절차를 간소화하고, 사진이나 텍스트 메모 같은 비정형 데이터만으로 손쉽게 캘린더에 구조화할 수 있는 관리 기능이 요구되었습니다.

수동적인 일정 관리 및 일방향 소통 채널의 극복

영상 분석 결과, 일일 운동 기록, 스케줄 추천 기능을 단일 시스템으로 연계하여 데이터 활용성을 높였습니다. 누적된 훈련 수치와 피로도를 연산하여 매일의 운동 루틴을 능동적으로 추천하며, 상호 작용이 가능한 대화형 코칭 모델이 필요했습니다.

5. 솔루션

위 과제를 해결하고 유기적인 밀착 데이터를 구축 및 제공하기 위해 3가지 기능을 구현해 내었습니다.

1. 영상 분석 및 구간별 피드백 (Video Analysis)

비전 AI 기반으로 업로드된 운동 영상을 분석합니다. 전체 운동 과정이 구간별로 나뉘어 보기 쉽게 표시됩니다. 원본 영상에 오버레이 된 신체 중심선과 바벨 궤적을 통해 어느 지점에서 밸런스가 무너졌는지 객관적으로 진단하며, 이 데이터를 바탕으로 AI의 심도 깊은 피드백 조언이 제시됩니다.

2. 자율형 운동 기록 및 빠른 통합 검색 (Workout Logging)

운동 자체를 흩뜨리는 복잡한 운동 이름 검색이나 폼 입력을 생략했습니다. 헬스장 칠판 사진을 직찍해 올리거나 텍스트로 간략히 치기만 해도 에이전트가 문맥을 스스로 파악, 매일의 캘린더에 시각적 색상 요소와 함께 기록합니다. 기록된 단어들은 강력한 검색 기능을 통해 "작년 바벨 로우 100kg 날짜"처럼 조건별로 순식간에 과거 필터링 검색이 가능하여, 중기적 성장 흐름 추적에 알맞습니다.

3. 지능형 대화 AI 및 데일리 추천 일정 생성 (Recommendation & Chatbot)

앞서 서술한 모든 기능을 하나로 통합하는 '대화형 에이전트(LLM) 환경'입니다. 원하는 운동 시간, 운동 종류, 피하고 싶은 동작등을 입력하면, AI 에이전트가 이번주 운동 기록과 제출했던 운동 영상 피드백 결과를 종합 분석하여 오늘 하루 진행해야 할 코칭 루틴을 안내합니다.

6. 기술

무거운 복잡 연산을 사용자 기기에서 떨어트려 쾌적하고 체계적인 AI 코칭 흐름을 생성해내는 기능 다이어그램을 구축했습니다.

Lift it 앱 (모바일 인터페이스)

영상 업로드

운동 추천 요청

운동 기록 업로드

비전 AI

영상 분석

LLM 추천 오케스트레이션

데이터 분석

텍스트 파싱

약점 코칭

AI 피드백

(과거 피드백 및 누적 기록 전송)

비정형 데이터

DB 정규화

구간별 자세 진단

맞춤형 훈련 세트 생성

자동 캘린더 기록

구성 요소	주요 기술
Frontend (모바일 인터페이스)	Flutter (Dart)
Backend & Data Pipeline	FastAPI, PostgreSQL
Vision AI Engine	YOLO, TFLite 기반 다중 객체 추적
LLM	Claude 3.5 Sonnet, Google AI