생성형 AI(인공지능) 챗GPT가 질문에 답한 내용이 늘 정답은 아니다. 인간이 만든 뉴스와 유튜브 콘텐츠, 인터넷 블로그나 카페 등에 올라오는 글에도 거짓 정보와 편견이 가득한데, 하물며 이것들을 데이터로 학습한 AI의 답변이 완벽할 리 없다. 문제는 챗GPT 같은 생성형 AI가 만든 콘텐츠가 사실인지 아닌지를 판단하기가 쉽지 않다는 점이다. 최근 생성형 AI를 활용하는 데 비판적 사고력이 강조되는 것도 이 때문이다.
자율주행차에 탑재된 AI가 신호등을 무시하고, 드론의 AI는 사람을 사냥해야 할 멧돼지로 오인하며, AI가 적용된 휴머노이드 로봇이 주변 장애물을 무시한 채 도로를 질주하는 상황을 상상해보라. 심각한 인명 피해와 재산상 손해가 발생할 수 있다. 인터넷이라는 가상공간에서 발생하는 챗GPT의 할루시네이션(‘환각’이라는 뜻으로 AI 언어모델이 그럴싸한 거짓 정보를 답변으로 내놓는 현상을 일컫는 말)과는 차원이 다른 부작용이 생기는 것이다. 따라서 차세대 AI를 드론, 자동차, 중장비, 로봇 등에 탑재할 때는 엄격한 규제와 관리 정책이 필수적이다.
물리적 환경에서 작동하는 AI를 안정하게 운영하려면 먼저 엄격한 인증 및 시험 절차가 필요하다. AI 시스템은 실제 현장에 적용되기 전 다양한 시나리오 기반의 시뮬레이션과 현실적인 조건을 반영한 시험을 거쳐야 한다. 예상치 못한 오류 상황에 대응할 수 있는 안전 프로토콜과 비상 정지 장치를 탑재한 뒤 시뮬레이션을 거쳐 장치의 유효성을 검증해야 하는 것이다. 다만 이 과정을 기업에 일임해서는 안 된다. 정치권에서 선제적으로 인증 절차를 마련해 기업이 피지컬 AI를 만들 때 이를 준수하도록 해야 한다.
둘째, 피지컬 AI가 투명하게 운영될 수 있도록 데이터 관리 방안과 시스템 추적성을 확보해야 한다. AI가 내린 결정의 배경과 과정을 기록하고, 필요할 때 이를 쉽게 분석할 수 있는 블랙박스 시스템을 도입할 필요가 있다. 인명 피해가 큰 비행기 사고나 자동차 사고가 발생했을 때 그 원인을 파악하고 진단하고자 블랙박스를 의무적으로 탑재하는 것과 같다. 이때 블랙박스에 어떤 데이터를 얼마만큼 기록하고 보존할지를 의무 사항으로 명확히 규정해야 한다. 그래야 피지컬 AI 관련 사고가 발생했을 때 원인을 정확히 규명하고 책임 소재를 명확히 할 수 있다.
셋째, AI 시스템에 대한 윤리적 방침과 법적 책임 소재 기준을 명확히 할 필요가 있다. 로봇이나 드론에 탑재된 AI가 사고를 일으켰을 때 그 책임을 누가 질지를 명시적으로 규정해놓아야 하는 것이다. AI 기술 개발자와 운영자, 사용자의 책임 범위를 각각 정의하고 명문화할 필요가 있다. AI가 점점 더 다양한 기기에 탑재되면서 생각지 못한 사고가 발생할 수 있는 만큼 AI를 탑재하는 기기의 특성과 용도, 사고 규모 등을 고려해 맞춤형 기준을 설정해야 한다.
넷째, AI 시스템의 오작동과 오용을 방지하고자 시스템 모니터링 및 유지·보수 체계를 확립할 필요가 있다. AI는 한 번 만들면 생산자 손을 떠나는 단순한 제품이 아니다. 지속적으로 업데이트하면서 품질을 관리해야 하는 대상이다. 따라서 실시간으로 AI 시스템 성능을 모니터링하고 문제가 발생하면 즉각 대응할 수 있는 유지·보수 체계를 마련해야 한다.
마지막으로 피지컬 AI 관련 사고에 대해 사회적 합의를 이룰 수 있도록 대중 교육 활성화가 필요하다. AI 기술 사용에 대한 대중의 이해와 신뢰를 높여 공론장을 확대하는 것이다. 사회 구성원들이 AI 기술 발전의 장점과 함께 그 한계를 명확히 이해할 수 있도록 꾸준한 교육 프로그램과 소통의 장이 마련돼야 한다.
나날이 현실 세계로 침투하고 있는 피지컬 AI가 이러한 다층적 접근을 통해 인류 문명과 사회 안전을 무너뜨리지 않고 무사히 정착되려면 피지컬 AI의 예상치 못한 할루시네이션이 초래할 수 있는 파국을 방지할 꼼꼼한 규제와 장치들이 필요하다. 이를 위해서는 피지컬 AI에 관한 사회적 논의가 활발히 이뤄져야 한다.
*유튜브와 포털에서 각각 ‘매거진동아’와 ‘투벤저스’를 검색해 팔로잉하시면 기사 외에도 동영상 등 다채로운 투자 정보를 만나보실 수 있습니다.
현실 세계에 침투하는 피지컬 AI
하지만 자동차나 로봇 등에 탑재된 AI가 일으키는 오류에 비하면 생성형 AI의 오류는 코웃음 치고 넘길 수 있는 수준이다. 생성형 AI의 오류가 걱정될 때는 그저 생성형 AI가 작동하는 컴퓨터 화면을 꺼버리면 그만이다. 하지만 자동차와 로봇에 탑재된 피지컬 AI(Physical AI)는 다르다. 우리가 발을 딛고 살아가는 현실 세계에서 실체를 가지고 움직이는 피지컬 AI가 만일 인간이 지시한 명령을 따르지 않는 오류를 범한다면 끔찍한 결과로 이어질 수 있다.자율주행차에 탑재된 AI가 신호등을 무시하고, 드론의 AI는 사람을 사냥해야 할 멧돼지로 오인하며, AI가 적용된 휴머노이드 로봇이 주변 장애물을 무시한 채 도로를 질주하는 상황을 상상해보라. 심각한 인명 피해와 재산상 손해가 발생할 수 있다. 인터넷이라는 가상공간에서 발생하는 챗GPT의 할루시네이션(‘환각’이라는 뜻으로 AI 언어모델이 그럴싸한 거짓 정보를 답변으로 내놓는 현상을 일컫는 말)과는 차원이 다른 부작용이 생기는 것이다. 따라서 차세대 AI를 드론, 자동차, 중장비, 로봇 등에 탑재할 때는 엄격한 규제와 관리 정책이 필수적이다.
물리적 환경에서 작동하는 AI를 안정하게 운영하려면 먼저 엄격한 인증 및 시험 절차가 필요하다. AI 시스템은 실제 현장에 적용되기 전 다양한 시나리오 기반의 시뮬레이션과 현실적인 조건을 반영한 시험을 거쳐야 한다. 예상치 못한 오류 상황에 대응할 수 있는 안전 프로토콜과 비상 정지 장치를 탑재한 뒤 시뮬레이션을 거쳐 장치의 유효성을 검증해야 하는 것이다. 다만 이 과정을 기업에 일임해서는 안 된다. 정치권에서 선제적으로 인증 절차를 마련해 기업이 피지컬 AI를 만들 때 이를 준수하도록 해야 한다.
둘째, 피지컬 AI가 투명하게 운영될 수 있도록 데이터 관리 방안과 시스템 추적성을 확보해야 한다. AI가 내린 결정의 배경과 과정을 기록하고, 필요할 때 이를 쉽게 분석할 수 있는 블랙박스 시스템을 도입할 필요가 있다. 인명 피해가 큰 비행기 사고나 자동차 사고가 발생했을 때 그 원인을 파악하고 진단하고자 블랙박스를 의무적으로 탑재하는 것과 같다. 이때 블랙박스에 어떤 데이터를 얼마만큼 기록하고 보존할지를 의무 사항으로 명확히 규정해야 한다. 그래야 피지컬 AI 관련 사고가 발생했을 때 원인을 정확히 규명하고 책임 소재를 명확히 할 수 있다.
AI 개발자·운영자·사용자 책임 범위 논의해야
자율주행차, 드론, 로봇 등에 탑재된 피지컬 AI(인공지능)가 오류를 일으키면 큰 인명·재산 피해가 발생할 수 있다. 사진은 챗GPT 4o로 제작한 이미지. 김지현 제공
넷째, AI 시스템의 오작동과 오용을 방지하고자 시스템 모니터링 및 유지·보수 체계를 확립할 필요가 있다. AI는 한 번 만들면 생산자 손을 떠나는 단순한 제품이 아니다. 지속적으로 업데이트하면서 품질을 관리해야 하는 대상이다. 따라서 실시간으로 AI 시스템 성능을 모니터링하고 문제가 발생하면 즉각 대응할 수 있는 유지·보수 체계를 마련해야 한다.
마지막으로 피지컬 AI 관련 사고에 대해 사회적 합의를 이룰 수 있도록 대중 교육 활성화가 필요하다. AI 기술 사용에 대한 대중의 이해와 신뢰를 높여 공론장을 확대하는 것이다. 사회 구성원들이 AI 기술 발전의 장점과 함께 그 한계를 명확히 이해할 수 있도록 꾸준한 교육 프로그램과 소통의 장이 마련돼야 한다.
나날이 현실 세계로 침투하고 있는 피지컬 AI가 이러한 다층적 접근을 통해 인류 문명과 사회 안전을 무너뜨리지 않고 무사히 정착되려면 피지컬 AI의 예상치 못한 할루시네이션이 초래할 수 있는 파국을 방지할 꼼꼼한 규제와 장치들이 필요하다. 이를 위해서는 피지컬 AI에 관한 사회적 논의가 활발히 이뤄져야 한다.
