개발 인원: BE 3인, AOS 3인
개발 기간: 2025. 01. ~ 2025. 02. (6주)
Github 바로가기 →
☕️ 서비스 소개
조리 중 손을 사용할 수 없는 상황에서도 음성인식과 시각 자료를 통해 레시피를 열람할 수 있는 핸즈프리 조리 환경을 제공하는 스마트 레시피 앱입니다. 고급 검색 기능과 AI 기반 레시피 자동 변환 시스템을 통해 사용자 친화적인 요리 경험을 제공합니다.
또한 MediaPipe 기반 모션 인식 기능을 통해 손짓만으로도 앱을 조작할 수 있는 직관적인 인터랙션을 지원합니다.
👤 담당 역할
- 백엔드 개발 리드 (기여도 40%)
- Spring Boot 기반 REST API 아키텍처 설계 및 개발
- 카카오 로그인 구현 (기여도 70%)
- 모바일 앱의 백엔드 연동 부분 개발 참여
- OAuth 2.0 기반 소셜 로그인 시스템 구축
- 모션 인식 시스템 (기여도 100%)
- MediaPipe를 활용한 손동작 인식 기능 구현
- 프로젝트 중간, 최종 및 지역 발표
⚙️ 개발 환경
| 언어 | Java 17, Kotlin |
| 서버 | Ubuntu 22.04, Docker 27.5.1, Jenkins 2.492.1 |
| 프레임워크 | Spring Boot 3.4.1, Spring Security, JPA, Android SDK |
| DB | MySQL 8.0.4 |
| IDE | IntelliJ IDEA Ultimate 24.3.8, Android Studio 2024.2.2 |
| API, 라이브러리 | RESTful API, Retrofit/OkHttp, Firebase, Kakao SDK, ... |
아키텍처 구성도
주요 기술 선정 이유
ElasticSearch
- 태소 분석, 초성 검색, 한영 자동 교정 등 고급 검색 기능 구현을 위해 선택. 일반 RDBMS로는 구현하기 어려운 복합적인 검색 조건을 효율적으로 처리 가능.
MediaPipe
- 초기 TensorFlow Lite를 통하여 모델 학습을 진행하였으나, 사용 현장을 고려하여 움직임 대신 특정 자세에 반응하도록 MediaPipe 선택.
GPT API
- PDF 형태의 레시피를 JSON으로 자동 변환하는 파이프라인 구축에 활용. 수작업으로는 시간이 많이 걸리는 레시피 데이터 구조화 작업을 자동화.
JPA
- 객체-관계 매핑을 통한 데이터베이스 접근 계층 추상화로, 복잡한 레시피 데이터 모델링을 효율적으로 처리. 또한 백엔드 초심자 팀원들에게 SQL 작성 부담 완화.
주요 기능 및 목업
성과
팀 성과
- SSAFY 프로젝트 우수상(2등) 수상
- ElasticSearch 검색 성능 개선 (샤드 분산 문제 해결)
- 레시피 업로드 속도 50% 향상 (청크 단위 분할 저장으로 최적화)
개인 기여
- '베스트 멤버' 상 수상 (협업 기여도 인정)
- OAuth 2.0 카카오 로그인 시스템 설계 (신규/기존 사용자 분기 처리)
- Spring Boot 기반 REST API 설계 및 구현 (로그인, 회원가입, 권한 관리, 주문)
- 카페 소음 환경을 고려해 MediaPipe 모션 인식 기능 기획 및 구현 (기존 기획에 없던 기능)
회고
- 백엔드 개발 리드 역할을 수행하며 팀원들의 질문에 답하기 위해 기술을 깊이 학습하고 문서화하는 과정에서 제 자신도 더 깊은 이해를 얻을 수 있었습니다. Spring Boot 경험이 부족한 상황에서도 팀을 이끌며 문제 해결 능력과 지속적인 학습 습관을 기를 수 있었습니다.
- 백엔드 개발자였지만 Android, MediaPipe 등 다양한 영역을 간접적으로 경험하며 풀스택적 사고와 전체적인 서비스 관점을 기를 수 있었습니다.
- 성적의 압박 없이 즐기며 개발한 결과 오히려 우수상과 사업성 있다는 평가를 받아, 팀워크를 기반으로 긍정적인 마음과 함께 임할 때 더 좋은 결과가 나온다는 점을 실감했습니다.
- 모션 인식, 음성 인식 등 새로운 기술들을 단순히 써보기 위함이 아닌 실제 조리 상황의 불편함을 해결하려는 목적으로 접근했을 때 더 의미 있는 결과물이 나왔습니다.
Detail
1. 모션 인식 기능 기획 및 구현
메뉴 제조 중 터치 방식으로 화면을 조작하기란 비효율적이라는 점을 감안하여 음성 인식 기능을 구현했지만, 현장 테스트 결과 소음 때문에 음성 인식이 잘 되지 않는다는 한계를 발견하였습니다. 이에 간단한 손동작만으로도 레시피 이전/다음 단계를 조회할 수 있도록 기존에 없던 기획을 추가하였고, MediaPipe를 활용하여 구현에 성공했습니다.
초기에는 TensorFlow Lite로 구체적인 동작 모델 학습을 진행하였지만, 빠른 전환이 필요하다는 판단 하에, 긴 움직임보다는 특정 자세를 인식하여 신속하고 정확하게 UI를 조작할 수 있게 했습니다.
2. API 문서화를 통한 협업 효율 개선
백엔드 개발자로서 처음으로 체계적인 API 명세서를 작성한 경험입니다. 전체 엔드포인트에 대한 상세 명세서 작성과 실시간 업데이트를 통해 프론트엔드 팀과의 협업 효율성을 크게 향상시켰고, 백엔드 구현 완료 전에도 연동 작업이 가능해졌습니다.
이후 프로젝트에서는 JWT 토큰 기반 인증을 도입하여 URI에서 userId가 노출되는 보안 문제를 해결했습니다.
'project' 카테고리의 다른 글
| 전북잇다 (JB eat-da) (0) | 2025.09.05 |
|---|---|
| 요비 (YOBI) (0) | 2025.09.05 |
| 러너스 (LEARNAUTH) (0) | 2025.09.05 |
