Quest-On

개요

역할

공동창업자 · 리드 프로덕트 엔지니어

Team

학생 창업팀 — Justin이 제품 엔지니어링을 담당하고, 사업개발 공동창업자가 아웃리치·커머셜 운영을 담당

운영 맥락

사고 과정과 논리적 추론이 필요한 서술형 답안은 채점에 시간이 많이 들고, 평가 기준이 사람마다 흔들릴 수 있습니다. 실제 시험에는 권한·응시 상태·결과 관리가 필요해 데모 챗봇만으로는 부족합니다.

사용자 · 이해관계자

• 시험을 만들고 결과를 검토하는 교수자
• 시험 운영을 지원하는 조교
• 실제 시험에 응시하는 학생

문제

서술형·사고력 기반 답안 채점은 느리고 기준이 흔들리기 쉬우며, 신뢰할 수 있는 시험 운영과 빠른 피드백을 동시에 맞추기 어렵습니다.

제약

• 데모가 아니라 실제 대학 시험 환경에서 동작해야 함
• 교수·조교·학생 역할 기반 권한이 필요
• 루브릭에 정렬된 평가와 검토 가능한 결과
• 소규모 창업팀 — 제품 엔지니어링은 Justin이 E2E로 담당

내가 담당한 것

• 대학 평가 운영 흐름을 제품 요구사항·데이터 모델·출시 가능한 기능으로 구체화
• 프론트엔드·백엔드·권한·시험 흐름·AI 평가 경로를 설계하고 구현
• 배포와 라이브 시험 운영 지원을 담당
• 인증·데이터·LLM 응용 아키텍처에 대한 기술 의사결정

디스커버리

• 교수자 인터뷰와 도입 요구사항을 수집한 사업개발 공동창업자와 협업
• 현장 요구사항을 시험 생성·응시·평가·결과 확인 기능으로 전환

빌드 타임라인

1. 1

   Core Build

   한 달 이내

   시험 생성 → 응시 → AI 평가 → 결과 확인까지 핵심 E2E 플로우를 구현하고 초기 검증을 시작했습니다.

2. 2

   Production Hardening

   약 3개월

   실제 시험 운영을 위해 역할 기반 권한, 평가 구조, 데이터 흐름, 루브릭 기반 평가와 운영 기능을 고도화했습니다.

3. 3

   Live Operation

   고도화 이후

   완성된 제품을 실제 대학 시험 환경에서 운영하고 교수자·사용자 피드백을 반영했습니다.

4. 4

   Measured Outcome

   실제 시험 운영

   자동 루브릭 평가를 통해 채점 업무를 약 10시간에서 2시간으로 줄였습니다.

해결

시험 생성, 학생 응시, 역할 기반 권한, 루브릭 기반 AI 평가, 교수자 검토까지 포함한 평가 SaaS를 구축해, 채점 지원이 실제 시험 운영 흐름 안에 있도록 만들었습니다.

시스템 아키텍처

Vercel의 Next.js 앱, Supabase PostgreSQL, Clerk 인증, Prisma 기반 데이터 접근, OpenAI 기반 평가·피드백 흐름으로 구성됩니다.

• 시험 생성·세션 관리 UI
• 역할 인지형 인증·접근 제어
• PostgreSQL 기반 제출·결과 데이터 모델
• 채팅·답안 단계에 걸친 루브릭 기반 AI 평가
• 교수자 검토·피드백 화면

핵심 결정

배포 · 운영

시험 전 세션·권한을 준비하고, 시험 중 상태를 확인하며, 종료 후 교수자와 결과를 검토하는 방식으로 실제 대학 시험 환경에서 플랫폼을 운영했습니다.

• 시험 전 계정·역할·시험 설정 준비
• 라이브 시험 중 세션 상태 확인
• 시험 후 결과 검토와 반복 요구사항 개선

측정된 성과

배운 점

• 사업개발이 가져온 현장 요구는 권한·흐름·검토 가능한 결과물로 바뀌어야 제품 가치가 됩니다.
• 평가 제품의 신뢰는 똑똑해 보이는 문장보다 루브릭 정렬과 교수자 통제에서 옵니다.

기술

근거 링크

• https://quest-on.app
• https://github.com/jcmaker/quest-on