인지·대화·표현·제어를 연결하는 통합 개발

소개서는 LLM, Vision AI, Speech, Emotion AI, Robot AI를 공통 플랫폼으로 연결하는 방향을 제시합니다. Stage 1에서는 사용자 입력을 이해하고 적절한 응답을 만든 뒤, 음성·표정·동작으로 일관되게 출력하는 통합이 중심입니다.

아래 내용은 소개서의 기술 방향을 웹에서 이해하기 쉽게 풀어 쓴 개발 설계안입니다. 구현 완료나 검증된 성능을 의미하지 않으며, 실증 결과에 따라 세부 구성을 조정합니다.

상세 자료 보기 +

입력 계층에서는 음성과 영상, 터치 및 기기 상태에 공통 시간 정보를 부여하고, 판단 계층에서는 현재 대화 상태와 사용자의 요청을 연결합니다. 출력 계층은 음성·화면·동작의 실행 순서를 조정해 서로 충돌하는 반응을 줄이는 역할을 맡습니다.

모듈마다 입력 형식과 출력 조건, 시간 초과 시 행동을 정의하면 특정 AI 모델이나 센서를 바꿀 때도 전체 구조의 변경을 줄일 수 있습니다. 통합시험에서는 요청이 어느 계층에서 지연되었는지 추적하고, 불확실한 결과가 다음 단계에서 확정 사실처럼 쓰이지 않도록 상태를 전달할 계획입니다.

음성 인식(STT)은 사용자의 발화를 텍스트로 변환하고, 대화 엔진은 질문의 의미와 앞선 대화 맥락을 바탕으로 응답을 구성합니다. 음성 합성(TTS)은 답변을 소리로 전달합니다. 소음, 먼 거리, 여러 사람의 발화와 같이 잘못 듣기 쉬운 조건에서 재질문하는 흐름도 함께 개발합니다.

개인화 기억은 사용자가 허용한 선호와 필요한 대화 맥락을 활용하는 방향입니다. 저장 범위와 보관 기간, 삭제 기능을 설계하고, 일시적인 대화 맥락과 장기 선호를 구분합니다. 외부 정보가 필요한 질문은 연결된 서비스의 응답 가능 여부를 확인하도록 구성합니다.

검증 항목: 음성 인식 오류율, 응답 지연의 분포, 문맥 유지, 응답 중 끼어들기, 네트워크 실패 안내. 특정 모델 제공사나 서비스 구성은 실제 통합 시점에 확정합니다.

상세 자료 보기 +

마이크 입력에서는 로봇 자신의 스피커 소리와 주변 소음이 음성 인식에 미치는 영향을 확인합니다. 말의 시작과 끝을 찾는 기능, 응답 중 사용자가 다시 말할 때 듣기로 전환하는 흐름, 인식 실패 시 짧게 확인하는 정책을 함께 설계합니다. 응답 속도는 음성 인식·추론·합성의 구간별로 측정할 계획입니다.

대화 기억은 모든 내용을 무조건 저장하는 방식이 아니라, 유지할 필요가 있는 선호와 현재 대화에만 필요한 정보를 구분하는 방향입니다. 잘못 저장된 내용을 사용자가 수정하거나 지울 수 있게 하고, 동일한 질문을 반복하거나 이전 맥락이 부족한 경우에도 이해 가능한 응답을 제공하도록 검토합니다.

카메라 입력에서 사람과 물체, 손동작 등 상호작용에 필요한 시각적 단서를 찾는 기술입니다. Stage 1은 대화 상대의 방향과 제스처 같은 교감 정보를 중심으로 검토하고, 공간 인지와 이동 판단은 후속 주행 기술과 연결합니다.

영상 전처리, 객체 검출, 특징 추출, 분류 결과를 순서대로 처리하며 각 결과에 신뢰도와 시간 정보를 붙이는 설계를 검토합니다. 조명 변화나 가림으로 결과가 불확실하면 단정적인 반응을 줄이고 사용자 확인이나 다른 센서 정보를 활용합니다.

검증 항목: 조도·거리·각도별 탐지 성능, 오탐·미탐, 프레임 처리 시간, 카메라 차단 시 동작. 소개서의 예시 성능 수치는 제품 성능 보증으로 제시하지 않습니다.

상세 자료 보기 +

시각 인지 결과에는 검출된 대상의 위치와 시간, 신뢰도를 연결하여 이전 장면의 정보가 현재 행동에 잘못 사용되지 않도록 합니다. 여러 사람이 보이는 경우 대화 상대를 선택하는 기준과 상대가 화면에서 사라졌을 때 시선을 유지하거나 대기하는 기준을 검토합니다.

카메라 위치와 시야각은 얼굴 화면, 조명과 설치 높이의 영향을 함께 받습니다. 가까운 거리와 먼 거리, 역광과 부분 가림 등의 시험 조건을 구분하고, 처리속도와 발열을 함께 측정해 실제 탑재 환경에 맞는 모델 크기와 입력 해상도를 결정할 계획입니다.

표정, 음성의 억양, 발화 내용과 대화 상황을 함께 참고하여 반응 방식을 선택하는 개발 분야입니다. 얼굴 표정 하나로 사용자의 실제 감정이나 건강 상태를 확정할 수 없으므로, 감정 분류는 불확실성을 가진 단서로 취급합니다.

응답에서는 상황에 맞는 문장과 말투, 눈 모양 등의 화면 표현, 고개 움직임을 조합합니다. 사용자의 반응이 다르면 표현을 조정하고, 불편한 반응이나 과도한 개입을 줄일 수 있는 설정을 검토합니다.

검증 항목: 단서 간 불일치 처리, 표정·음성·동작의 동기화, 사용자 평가, 연령·환경별 반응 차이. 감정 추정 결과를 의료 판단에 사용하지 않는 방향입니다.

상세 자료 보기 +

음성·표정·언어 단서가 서로 다를 때 하나의 분류 결과로 성급하게 통합하지 않고, 단서의 신뢰도와 대화 맥락을 함께 참고하는 접근입니다. 응답은 사용자의 의도를 확인하는 표현과 부담이 적은 반응을 우선 검토하며, 감정 추정 결과가 사용자의 자기표현보다 앞서지 않도록 설계합니다.

표현 라이브러리는 경청·인사·기쁨·안내 등 사용 목적에 맞춰 표정과 동작을 연결하는 형태로 구성할 계획입니다. 같은 표현이 반복될 때의 피로감과 문화·연령에 따른 해석 차이를 확인하고, 움직임과 음성의 강도를 조절할 수 있는 방향을 검토합니다.

로봇 플랫폼은 센서, 인지, 행동 계획과 구동부를 모듈로 연결하는 ROS 2 기반 방향을 따릅니다. 모듈의 상태와 데이터 형식을 관리해 대화 기능 변경이 구동 안전에 직접 영향을 주지 않도록 인터페이스를 분리하는 설계를 검토합니다.

자연어 응답은 바로 모터 명령이 되지 않습니다. 행동 계층에서 허용된 제스처를 선택하고, 제어 계층에서 관절 범위·속도·센서 상태를 확인한 뒤 실행하는 구조를 목표로 합니다. 연결이 끊기거나 명령이 오래되었을 때는 정지 또는 안전한 대기 상태로 전환하는 규칙이 필요합니다.

검증 항목: 동작 반복 정밀도, 제한 범위 준수, 센서·통신 장애, 재시작 복구. Stage 2에서는 위치 추정과 경로 계획, Stage 3에서는 파지와 팔의 경로 계획을 추가합니다.

상세 자료 보기 +

제스처 명령에는 시작 시점과 유효 시간, 취소 조건을 포함하고 동작을 중단했을 때 돌아갈 대기 자세를 정의합니다. 목·팔·허리의 움직임이 서로 간섭하지 않도록 경로와 속도를 조정하며, 통신 오류로 같은 명령이 반복되어도 불필요한 동작이 이어지지 않도록 처리할 계획입니다.

시험에서는 개별 관절의 동작 범위를 확인한 뒤 연속 제스처와 장시간 반복 동작을 검증합니다. 전류·온도·위치 등의 상태를 활용할 수 있는 구동부를 검토하고, 이상 징후와 명령 시간 초과에 대한 대응은 AI 대화 서비스의 연결 상태와 별도로 작동하도록 설계합니다.

Stage 1의 기구 구상은 얼굴 디스플레이와 가슴 터치 화면, 카메라·마이크, 서보 구동부, 바퀴와 배터리를 통합합니다. 부품 배치뿐 아니라 무게 중심, 배선 경로, 소음과 발열, 유지보수 접근성을 함께 검토해야 합니다.

임베디드 계층에서는 구동 명령 처리와 센서 수집, 전원 상태 모니터링을 담당하는 구조를 설계합니다. 배터리 보호와 저전압 처리, 구동부 과부하, 충전 중 허용 동작 등은 실제 사용 조건에서 시험할 개발 항목입니다.

검증 항목: 최대 동작 부하에서의 온도·전류, 장시간 구동, 전원 차단·복구, 기구 간섭과 끼임 위험. 인증 및 양산 조건은 시제품 검증 후 별도 확정합니다.

상세 자료 보기 +

상용 컴퓨팅 보드와 센서 모듈을 활용해 주요 기능을 먼저 검증하고, 배선 복잡도와 공간·전력 요구가 정리된 뒤 전용 보드의 필요 범위를 결정하는 방향입니다. 카메라·마이크·디스플레이·모터 제어 사이의 연결 규격을 문서화해 부품 교체와 장애 진단을 쉽게 할 계획입니다.

기구와 전장은 함께 설계해야 합니다. 관절 반복 동작에서 케이블이 눌리거나 꺾이지 않는지, 방열 경로가 외관과 소음에 어떤 영향을 주는지 확인합니다. 시제품 조립 과정에서는 커넥터 구분, 체결 순서, 서비스 부품 접근성도 점검하여 후속 제작의 반복성을 높이고자 합니다.

로컬 처리는 센서 반응과 기기 상태 관리처럼 지연에 민감한 동작을 담당하고, 클라우드는 대화 서비스 확장, 기기 관리와 업데이트를 지원하는 구상입니다. 클라우드 연결이 끊겨도 유지할 기본 기능과 제한되는 기능을 구분해 사용자에게 상태를 안내하는 설계가 필요합니다.

운영 플랫폼은 기기 등록, 권한, 버전, 배터리와 네트워크 상태를 관리하는 방향입니다. OTA는 배포 파일의 무결성 확인, 단계적 배포, 실패 감지 및 이전 버전 복구를 검토합니다. 기기가 안전하게 대기 중이고 전원 조건이 적합할 때 업데이트하는 정책을 설계합니다.

검증 항목: 연결 단절, 업데이트 도중 전원 차단, 버전 호환성, 복구 가능 여부. 기관의 다수 로봇 운영과 구독 관리는 후속 서비스 확장 범위입니다.

상세 자료 보기 +

실시간 반응이 필요한 처리는 가능한 범위에서 로컬에 두고, 외부 지식과 확장형 대화 기능이 필요한 경우 클라우드를 활용하는 분담을 검토합니다. 서비스 연결 상태에 따라 응답 정책을 바꾸며, 네트워크 복구 후 같은 요청이 중복 실행되지 않도록 요청과 결과를 연결하는 구조를 설계합니다.

운영에서는 기기별 버전과 오류 이력을 구분해 특정 변경이 여러 기기에 미치는 영향을 확인합니다. 업데이트는 소규모 검증 후 적용 범위를 늘리는 방식으로 검토하고, 저장 공간 부족이나 전원 차단 상황에서도 복구할 수 있는 절차를 시험합니다. 클라우드 사용량은 고객 경험과 운영 비용을 함께 고려해 관리할 계획입니다.

개인화에 필요한 정보와 진단 로그를 구분하고, 수집 목적과 사용자 동의 범위를 설계 단계에서 정의합니다. 카메라·마이크 상태를 이해하기 쉽게 표시하고, 저장 정보 조회·삭제와 접근 권한 관리 기능을 검토합니다.

시험은 기능 단위에서 시작해 음성·화면·구동이 함께 동작하는 통합 시나리오로 확장합니다. 정상 동작뿐 아니라 오인식, 네트워크 지연, 센서 장애, 배터리 부족과 같은 실패 조건에서 사용자에게 무엇을 보여주고 어떤 동작을 멈출지 확인합니다.

기능별로 정상 동작 기준과 실패 시 허용되는 상태를 정리하고, 음성·화면·모터가 동시에 동작하는 조건에서 재현 가능한 시험을 구성합니다. 결함은 발생 조건과 수정 버전을 연결해 관리하며, 수정 후 관련 기능이 다시 정상적으로 작동하는지 확인할 계획입니다.

사용자 정보는 기능 제공에 필요한 범위를 우선 정의하고 접근 주체와 보관 방식을 검토합니다. 현장 실증에서는 참여자에게 사용 목적과 수집 항목을 안내하고, 카메라와 마이크를 사용하는 상태를 알기 쉽게 표현하는 방향을 유지합니다. 제품의 안전과 신뢰는 이러한 설계와 반복 검증으로 확보하고자 합니다.