PROJECT / 01 · ROBOTICS / BACKEND / AI

CausalRoboQC

로봇 작업 이력과 제품별 검사 결과를 연결하는 제조 품질관리 시스템.

2026.08 – 진행 중실기기 통합 검증개인 프로젝트

개요와 담당 역할

로봇의 한 작업 Cycle을 제품 단위 Robot-Process Fingerprint(RPF)로 기록한다. 작업 순서·시간·재시도·오류를 제품별로 연결하고, 규칙 등급과 보조 분석, 실제 검사 이력을 한 화면에서 조회한다.

개발 배경

작업 로그와 검사 결과가 분리되면 어떤 제품에서 어떤 문제가 발생했는지 추적하기 어렵다. 단순한 재시도나 지연을 불량으로 단정하지 않으면서도, 먼저 검사할 제품과 확인 근거를 보여주는 구조가 필요했다.

담당 역할

아이디어 구체화와 로봇팔–서버–웹앱 통합
RPF 데이터 구조, 자동 분석 파이프라인과 검사 이력 구현
FMEA/Bayesian 원인 후보와 DB 근거 기반 로컬 AI 코파일럿 구현
Raspberry Pi, Arduino, USB 카메라와 노트북 AI 서버 통합

개발 목표

제품별 작업 기록과 검사 이력 연결
규칙 판정과 AI 보조 분석을 구분하여 제시
로봇·카메라·서버·웹앱을 실제 장비에서 통합

시스템 구성

Arduino와 MG996R 서보로 구성한 실제 CausalRoboQC 로봇팔의 물체 집기 시연 — 실제 로봇팔 동작 · 기존 시연 영상에서 발췌

Robot & Vision

Arduino·MG996R 작업 이벤트와 OpenCV·ArUco 제품 관측

Edge Server

Raspberry Pi의 FastAPI·SQLite에서 RPF, 규칙 등급, 검사 이력 관리

Analysis

노트북에서 ML/DL 추론과 Ollama 실행; Bayesian 원인 후보 제공

Interface

Flutter Web에서 제어·제품 조회·CSV·AI 코파일럿 연결

구현 과정

제품 ID와 작업 Cycle 연결

연속 프레임에서 확인된 마커 ID를 고정하고, 로봇에 가려진 동안에도 유지한다. LIFT·RELEASE 이벤트와 입력·출력 ROI 관측을 결합해 작업 완료를 검증한다.

주 판정과 보조 분석 분리

규칙 등급을 기본 판정으로 유지한다. Isolation Forest·Random Forest·Autoencoder 결과와 Bayesian 원인 후보는 별도의 참고 정보로 저장한다.

근거 제한형 코파일럿

서버가 DB에서 만든 fact ID를 LLM이 선택하도록 제한한다. 최종 답변을 원본 근거로 재구성하고 LLM에는 SQL 실행·DB 쓰기 권한을 주지 않는다.

주요 기능

Cycle별 RPF 생성과 3단계 규칙 등급
ArUco ID 잠금·가림 유지·Pick/Place 검증
PASS/FAIL·원인·조치·메모 저장과 CSV 내보내기
제품 비교·기간 분석·보고서 초안을 제공하는 로컬 코파일럿

문제 해결

로봇 동작 중 마커 가림으로 제품 식별이 끊김

활성 ID 잠금과 가림 유지 상태를 두고, 작업 단계 이후 ROI 관측으로 집기·놓기를 판정했다.

실제 카메라에서 ID 유지, Pick/Place 확인과 RPF 연결을 검증한 기록이 있다.

AI 서버 장애가 로봇 제어·제품 조회에 영향을 줄 수 있음

로봇 제어·RPF·규칙 등급과 AI 분석을 분리했다.

AI/Ollama 연결 실패 상태에서도 기존 API와 화면의 동작을 확인했다.

시연 중 실행 결과가 누적되어 비교 화면이 바뀜

발표 전용 DB의 RPF 30건과 실제 로봇 Run/Event 기록을 분리했다.

고정 RPF 30건에 저장 모델 추론 결과 90개를 준비하고 화면·CSV의 동일 값 사용을 확인했다.

평가 결과

Python 테스트

README의 통과 기록

Flutter 테스트