-
- 하이브리드미래문화연구소, 독일 프리드리히 나우만 재단(Friedrich Naumann Stiftung Für die Freiheit)과 연구협력에 관한 MOU 체결
- 하이브리드미래문화연구소, 독일 프리드리히 나우만 재단(Friedrich Naumann Stiftung Für die Freiheit)과 연구협력에 관한 MOU 체결 본교 하이브리드미래문화연구소(소장 이종관 교수)는 지난 5월 7일(화), 퇴계인문관 시습재에서 프리드리히 나우만 재단(대표 Christian Takks)과 연구 협력에 관한 MOU를 체결했다. 독일 프리드리히 나우만재단과의 연구 협력 체결을 통해 실천적인 수준과 차원에서 미래도시 및 교육 사업에 대한 다각적 연구협력을 추진하고, 올해 안으로 스마트시티를 주제로 국제 학술대회를 공동 개최하기로 하였다. 하이브리드미래문화연구소는 인문학에 기초한 미래학적 방법론을 연구하는 학문인 ‘미래인문학’을 선도적으로 수행해 온 연구소로서, 인문학 기반의 미래 사회 연구를 다각적으로 시도하고 있다. 독일 프리드리히 나우만재단은 1958년에 설립된 독일의 비영리 정책연구기관으로, 한국에 설치된 한국지부를 통해 한국과 독일을 연결하고 남북한 간의 대화를 지원해오고 있다. 이를 위해 나우만재단은 평화롭고 상생하는 환경을 만들고 누구나 누릴 수 있도록 하기 위한 자유(Freiheit)의 가치를 실현하는 다양한 정책 연구와 사업을 추진해오고 있다. 하이브리드미래문화연구소는 독일 프리드리히 나우만재단과의 연구 협력을 시작으로 도시, 경제, 사회 등의 분야를 아우르는 미래인문학적 연구, 독일 유수의 대학, 연구협회, 연구재단 등과의 국제 협력 및 국제 학술대회 개최를 지속적으로 추진할 계획이다.
-
- 작성일 2023-06-29
- 조회수 53
- 첨부파일 (0)
-
- 책 읽어주는 남자&여자 시리즈 미래도시와 기술혁명의 공공성 편 서울경제신문선정 화제의 책 (유튜브 외부영상)
- #책을읽어주는남자 #책을읽어주는여자 #4차산업혁명 #스마트시티
-
- 작성일 2021-09-01
- 조회수 87
- 첨부파일 (0)
-
- [철학교수의 AI이야기 (3)] 테슬라, 인공지능, 자율자동차 - 한국경제 AI Insight 2021.08.12
- 이종관 성균관대 철학과 교수/미래인문학소셜앙트레프리네십 BK단장 테슬라와 머스크 그리고 미래의 예언 테슬라, 이 무명의 자동차 회사가 어느덧 이 시대를 이끌어 가는 화제의 중심이 되었다. 2009년 금융위기 이후 미래 차를 꿈꾸는 한 젊은이 정도로만 관심을 받던 테슬라의 창업자, 일론 머스크는 더 이상 몽상가가 아니다. 그는 미래 경제의 향방을 결정하는데 엄청난 영향력을 행사하는 주인공으로 떠오르고 있다. 몇 년 전까지만 해도 성공의 가능성에 대해 긴가 민가 하던 전기자동차는 거스를 수 없는 대세로 굳어지고 있다. 자동차로 20세기의 문을 연 메르세데스 벤츠, 비엠더블류, 포르세 같은 신화적인 자동차 회사들 조차 그들의 명품인 내연기관 자동차를 포기하고 전기차 제조회사로 급속히 방향을 전환하지 않을 수 없는 상황이다. 이들 회사에게는 불과 몇 년 전까지만 해도 거들떠 볼 필요조차 없는 애송이 자동차회사를 오히려 추종해야 하는 처지가 어쩌면 굴욕적일지도 모른다. 하지만 시대는 더 이상 매연을 뿜어내는 자동차를 허용하지 않는다. 나아가 전기자동차는 엄청난 제로백 성능을 과시할 뿐만 아니라 정숙성 그리고 자동차 내부 공간의 활용 면에서 내연자동차를 능가하는 압도적 우위를 자랑한다. 이제 사람들은 10년 전 전기자동차의 미래를 예언한 테슬라의 창업자를 우상화하기 시작했다. 그의 발언을 그것이 무엇이건 간에 무조건 믿고 따르는 추종자들이 전 세계에 엄청난 숫자로 퍼져 있다. 그 대표적인 증거가 가상화폐이다. 머스크가 어떤 종류의 가상화폐에 대해 어떻게 발언하는가에 따라 개미 투자자 혹은 투기 꾼들이 정말 개미 떼처럼 몰렸들었다 스러진다. 머스크의 예언과 허언 그런 머스크도 계속 허언을 하는 영역이 있다. 그것은 테슬라 자동차의 또다른 혁신적 기능, 즉 오토파일러이다. 머스크의 예언에 따르면, 테슬라 소유자들은 오토파일러라는 자율운전 기능으로 이미 스스로 자동차 운전을 할 필요 없어야 한다. 모든 것을 알아서 운전해주는 테슬라에 몸을 맡긴 채 테슬라 안에서 편안하게 책을 보거나, 낮잠을 즐기거나 아니면 뭐든 자신이 원하는 것을 하며 이동 중에 있어야 한다. 그런데 머스크의 예언은 계속 허언으로 폭로되고 있다. 왜 그럴까? 머스크의 신통력이 이제 감퇴한 것일까? 아니면 머스크는 원래 사기성이 있는 인물이기 때문 일까. 물론 이는 개인의 심성, 도덕성에 관한 문제이기 때문에, 함부로 이야기하면 인격모독이 될 것이다. 그리고 어쩌면 최근 인공지능, 그리고 자율자동차 관련 기술의 성능이 급속히 향상되고 있다는 점을 감안하면, 원래 탁월한 기술자였던 머스크는 과학 기술에 근거한 상당한 자신감을 갖고 합리적으로 예측을 했다고 해야 할 것이다. 따라서 머스크 허언의 귀책사유는 그의 인간성 보다는 다른 데서 찾아져야 할 것이다. 혹시 머스크를 포함한 자율자동차 관련 전문가들이 알고 있는 자율 자동차 기술에 어떤 근본적인 문제점이 있는 것이 아닌가? 자율자동차와 인공지능의 백치 행동? 자동차가 자율적으로 운전을 하기 위해서는 인간 운전자와 마찬가지로 두뇌가 필요하다. 그리고 또 외부 상황의 정보를 인지하는 감각 및 지각 기관이 필요하다. 자율자동차의 두뇌는 인공지능이며 그것의 감각 지각 기관은 레이더나 라이더이다. 최근 인공지능과 레이더, 나아가 라이더 기술을 문자 그대로 기하급수적 발전 속도를 보이고 있다. 따라서 전방위 레이더 나아가 라이더에 의해 거의 나노 초 단위로 인지되는 외부 상황 데이터는 외부 상황을 물 샐 틈 없이 완벽하게 인지하는 수준을 향해 발전하고 있다. 또 이렇게 인지된 거의 무한량에 가까운 빅데이터를 엄청나게 빠른 속도로 처리하여 상황에 최적화된 판단을 내리는 딥러닝의 성능이 경이로운 수준에 이르고 있다. 그런데 이런 최첨단 라이더와 인공지능이 대체 백치 같은 실수를 저지르며 인간의 목숨까지 희생시키는 경우가 발생하고 있다. 이제는 너무도 잘 알려진 사례들이지만, 테슬러의 자율자동차는 밤하늘에 뜬 달과 노란 신호등을 구별하지 못하는 백치 같은 행동을 한다. 대체 왜 그럴까? 이 문제는 라이더의 성능이 급속히 증강되어 정말 외부 상황이 무한량의 데이터로 입력된다면 해결 될까. 또 그것을 현재 급속히 발전하고 있는 딥러닝 인공지능의 파라미터 개수가 인간의 두뇌 뉴런의 숫자를 능가하는 10조개 정도로 거대화되어 그 무한량을 데이터를 처리하면 해결될 것인가? 물론 이렇게 믿는 인공지능 전문가들도 있다. 그러나 근본적으로 회의적인 전문가들도 상당수이다. 그런데 회의적인 입장의 근거는 무엇인가? 대개의 경우 인공지능이 상식이 없어서 그렇다고 한다. 그러나 상식을 근거로 인공지능의 백치 성능을 설명하는 것은 그야말로 피상적이다. 상식이 무엇인지 상식적으로 규명이 불가능하기 때문이다. 인공지능이 백치같은 행태를 보이는 것은 근본적으로 다른데 그 이유가 있다. 왜 인공지능은 달과 노란 신호등을 구별하지 못할까? 외계인, 고딕 성당, 돌덩어리 사실 인공지능은 굳이 말하자면 세상의 모든 것을 물리적이고 또 이 물리적인 것은 숫자로 변환될 수 있다는 가정 아래 작동한다. 즉 인공지능에게 노란 신호등과 밤하늘의 달은 다 발광체이고 이 발광체는 거기서 발원하는 광선의 주파수에 따라 수치화되며 이렇게 수치화되는 데이터만을 인공지능이 처리한다. 비유적으로 말하면, 인공지능은 물리학과 수학만을 아는 외계인이라고 할 수 있다. 이렇게 물리학과 수학만을 아는 외계인들은 지구에 도착하여 고딕성당을 보면, 어떻게 될까? 이 외계인들에게 고딕성당은 물리적으로 어떤 물질로 구성된, 그리고 수학적으로 측정되는 어떤 높이와 넓이를 갖는 거대한 물체 그 이상도 그 이하도 아니다. 따라서 이 외계인들에게는 고딕성당과 그 고딕성당만큼의 높이와 넓이를 갖는 돌덩어리는 전혀 구별되지 않는다. 설령 그 외계인들이 최첨단의 양자역학을 동원해서 고딕성당을 극도로 세밀하게 분석한다해도, 그 미시물리적 분석만을 통해서는 결코 고딕 성당은 고딕성당으로 인지되지 않는다. 여전히 원자로 구성된 돌덩어리일 뿐이다. 따라서 이 외계인들에게 고딕성당이나 돌덩어리는 동일한 관계 속에서 동일하게 취급된다. 다시 말해서 이들 외계인들은 고딕 성당에 대한 역사적, 문화적 이해능력이 없는 것이다. 딥러닝의 한계를 돌파하는 화두 인공지능이 달과 노란색 신호등을 구별하지 못하는 것도 마찬가지이다. 달은 천체물리학적 현상이지만, 노란색의 신호등은 그런 물리학적 현상이 아니라 사회적 문화적 의미 현상이다. 하지만 모든 것을 물리적으로 간주하고 또 그것을 숫자로 변환하는 전처리(pre-processing)작업이 선행돼야만 하는 인공지능에게 이런 구별은 불가능하다. 따라서 앞으로 인공지능이 진정 완전 자율자동차를 운행할 수 있는 수준에 도달하려면, 바로 문화 사회적 인지능력을 가져야 한다. 현재의 딥러닝은 위상학적으로 인간의 3차원 인지 능력을 천문학적 수준으로 능가하는 N차원의 함수계산능력을 발휘한다. 그러나 아무리 미래의 인공지능이 위상학적으로 수천만차원의 함수 계산능력을 발휘한다고 하더라도, 그것이 물리- 수리적 처리능력이라면, 물리 현상과 역사 문화적 현상을 구별하여 분별력 있는 판단을 내리는 데는 실패할 것이다. 때문에 현재 딥러닝의 한계를 돌파하는 계기를 만들어주는 화두는 다음과 같은 것이 될 것이다. 어떻게 인공지능에게 문화적 인지능력을 구현해야 하는가? 이 화두를 해결하는 지혜가 우리나라에서 일어나기를 바란다. https://www.hankyung.com/it/article/202108128439i
-
- 작성일 2021-08-30
- 조회수 148
- 첨부파일 (0)
-
- [철학교수의 AI이야기 (2)] 미래인공지능과 인간의 관계, 어떻게 설계되어야 하는가? - 한국경제 AI Insight 2021.07.14
- 이종관 성균관대 철학과 /미래인문학소셜앙트레프레네십 BK 사업단장 1. 인공지능과 인간 미래의 문명은 인공지능이 없으면 오지 않는다. 이 전망은 이 시대의 가장 확실한 통념으로 자리잡고 있다. 이런 시대 상황에서 최고 성능의 인공지능을 개발하기 위한 과학기술자들의 매진은 진정 찬사를 받을 만하다. 인공지능은 2차세계 대전 이후 개발이 본격화되었고 또 오늘에 이르기까지 몇번의 좌절을 겪었다. 초기 규칙기반 기호처리 패러다임을 따라 발전하던 인공지능은 70년대 들어 한계에 봉착했다. 그러나 두뇌의 작동원리에 착안한 신경망 패러다임으로 전환한 이후 과학기술자들의 지난한 노력으로 최근 놀라운 학습능력을 보여주는 경이로운 성능의 인공지능 GPT3를 성취하였다. 하지만 이 성능 증강에 매진하는 눈물겨운 노력에서 정말 물어져야 할 근본적인 질문들이 묻혀버리는 경우가 있다. 그것은 어쩌면 가장 중요한 질문, 즉 인공지능과 인간이 어떤 관계를 맺어야 하는가에 관한 것이다. 이 질문은 사실 인공지능은 인간과 구별되는가 또 구별된다면 어떻게 구별되는가 등의 문제를 내포한다. 그리고 나아가 최근 관심이 되고 있는 자율자동차의 경우는 자율자동차가 사고를 일으켰을 때 그 책임을 누구에게 물어야 하는가 하는 문제와도 연관된다. 만일 자율자동차가 진정 자율적이라면, 인간과 같은 도덕적 책임의 주체가 되어야 하기 때문이다. 이 문제는 골치 아픈 철학적 논의를 요구하지만 AI를 연구하는 사람이라면 반드시 짚고 넘어가야 할 문제이다. 2. 튜링의 화두 인간과 인공지능은 어떤 관계를 가져야하는가? 이 문제를 촉발시킨 사람은 컴퓨터의 아버지라고 일컬어지는 알랭튜링이다. 튜링은 기계도 생각할 수 있다는 것을 입증하는 실험을 고안하였다. 그런데 이 실험으로부터 인간의 인간성을 구성하는 핵심이 생각이라면, 생각하는 기계와 인간의 관계는 인간과 인간의 관계와 동일해야 한다는 결론이 도출된다. 그런데 대체 튜링테스트는 무엇인가? 튜링테스트는 인공지능에 관심이 있는 사람들은 잘 알고 있을 테지만, 그 핵심내용을 다시 한번 상기해보자. 튜링 테스트는 다음과 같이 실행된다, 불투명한 막을 가운데에 두고 한쪽에는 인간과 생각하는 기계(AI)를, 다른 한쪽에는 피험자를 앉힌다. 이 피험자는 반대편의 인간과 생각하는 기계를 볼 수 없는데, 각각과 대화를 통해 둘 중 누가 인간이고 누가 기계인지 구분해야 하는 테스트를 받는다. 테스트 결과 피험자가 누가 인간이고 누가 기계인지 구별해내지 못한다면 기계가 인간과 같은 지능을 구현해낸 것이다. 사실 오늘날 일론 머스크가 주도하는 오픈 AI가 지난해 개발한 GPT3와 같은 거대AI는 튜링테스트를 통과한 듯 보인다. GPT3는 시와 논문으로 보이는 단어와 문장을 조합해내는 능력을 발휘하고 있기 때문이다. 이제 우리는 AI가 인간들이 시로 간주하는 글자들을 조합해낸다는 점에서 인간과 같은 창의적 AI가 탄생했다고 해야 할 것인가? 물론 철학계에서는 튜링테스트를 둘러싸고 존 설이란 철학자의 중국어방 논증 등 많은 논란이 벌어지고 있다. 그런데 이 논란은 철학자 사유가 아니라 엄청나게 복잡한 논리의 함정에 빠진 지적 혼란에 다름아니다. 이 혼란은 튜링테스트를 다음과 같은 방식으로 다시 보면 간단하게 종식시킬 수 있다. 예를 들어 반려견을 피험자로 하는 튜링테스트를 설계하여 실험해보자. 즉 동물 개와 로봇 개를 놓고 함께 지내도록 해보자. 이때 동물 개가 로봇 개를 실재의 개로 인식하는 행동을 보인다면? 튜링테스트의 논리를 따른다면 실재의 개가 로봇 개를 실재 개와 구별하지 못했기 때문에 로봇 개는 실재 개와 같은 동물성을 구현한 것이라고 주장해야 할 것이다. 그러나 이 얼마나 어처구니 없는 주장인가. 실재의 개가 로봇 개를 살아있는 개와 구별하지 못하는 행동을 보이는 경우, 우리는 로봇 개를 진짜 개와 동일시한 그 개가 지능이 낮아 오인한 것이라고 판정한다. 인간에게 튜링테스트를 적용했을 때도 마찬가지이다. 앞서 개에게 적용한 튜링테스트에서 개가 로봇 개와 진짜 개를 구별하지 못한 것이 오인에 불과한 것처럼, 인간이 AI와 인간을 구별하지 못했다고 해서 AI가 생각이라는 인간의 능력을 구현하고 있는 것은 아니다. 그것은 단지 오인일 뿐이다. 철학적으로 표현하면, 튜링테스트는 AI와 인간을 같은 것으로 착각하는 인지적 오인으로부터 AI와 인간의 존재를 동일시하는 존재론적 결론을 추론하는 오류이다. 3. AI: 물체? 기계? 동물? 인간? 하지만 오늘날 인간을 통해 AI를 이해하거나 반대로 AI를 통해 인간을 이해하고자 하는 어지러운 상황이 벌어지고 있다. 인간과 AI 그리고 이 둘이 물체나 기계, 동물과 어떻게 구분되지는 명확히 하는 존재론적 연구가 필요하다. 그래야만 이들 사이에 어떤 관계가 맺어져야 하는지 알 수 있다. 그렇지 않으면 모든 것을 하나로 동일화하는 오류에 빠질 수 있다. 가령 인간을 기계와 구별하지 못하면, 인간을 기계로 취급하거나 기계를 인간으로 의인화할 수 있다. 모든 것을 물리적, 물질적으로 설명하는 물리주의가 요즘의 대세이다. 즉 모든 것의 존재방식은 물리적, 물질적으로 설명이 가능하다는 것이다. 그런데 과연 그럴까? 예를 들어 바위 위에 도마뱀이 앉아있는 경우를 보자. 제3의 관찰자의 입장에 보면, 바위나 도마뱀은 똑 같은 공간적 위치에 존재한다. 그러나 물체인 바위는 스스로 운동해서 그 자리에 있게 된 것이 아니라 중력과 같은 외부의 원인에 의해 그곳에 있게 된 것이다. 이것을 타성운동이라 한다. 반면에 생명체인 도마뱀은 스스로 바위 위에 올라가 자리 잡았다. (예를 들면 ‘살아남기 위해서 햇빛에 따뜻해진 바위를 찾아갔다.’) 즉 생존 충동에 따라 행동했다. 바위와 도마뱀이라는 두 존재자는 동일한 이 위치에 존재하지만 그 위치에 존재하는 근거와 원리가 완전히 다른 것이다. 기계와 물체 그리고 생명체를 구별하는 것도 중요하다. 데카르트 같은 철학자조차 동물을 기계와 동일시했고 또 그의 제자인 라메트리는 심지어 인간을 기계와 동일시했기 때문이다. 그러나 기계는 물체와 달리 어떠한 목적을 가지고 설계되었으며, 설계에 따라 배치된 부품들이 체계적으로 작동한다. 물체는 외부원인에 의해 ‘운동’하고 동물은 생존충동에 따라 ‘행동’하며 기계는 설계된대로 ‘작동’ 한다. 그리고 물체는 ‘공간’에서 운동하고, 동물은 ‘환경’에서 생존하지만, 기계는 ‘공장’에서만 작동한다. 기계는 공간이나 환경에 있으면 그저 고철덩어리라는 물체에 지나지 않는다. 이제 AI에 대해 생각해보자. AI는 초기에는 기계의 원리를 지능적으로 구현해내는 것으로 이해되었으나, 최근에는 생명체인 인간의 지능의 원리를 응용하고 있다고 한다. 여기에 숨어있는 기본 전제는 다음과 같다: 인간은 동물에 속하고, 딥러닝 같은 AI는 인간의 두뇌를 모방한 것이므로 사실상 AI의 존재방식은 동물의 그것과 같다. 과연 그럴까? 첨단 AI는 기계이지만, 그 자체의 지능을 구현하였다는 점에서 타의에 의해 작동되는 기계와는 다르다. 그렇다면 AI는 동물, 혹은 인간과 같은 방식으로 존재하는가? AI는 두뇌를 모방하였으나 이는 생명의 지능적 두뇌 활동과 분명히 구별된다. 인간을 비롯한 동물의 두뇌는 뉴런의 전기적 신호를 통해 생화학적으로 작용한다. 반면 AI는 인간의 뉴런을 모델링했으나 수리적인 함수를 통해 작동한다. 딥러닝은 두뇌의 기본적인 구조만 모델링했을 뿐 사실 실질적인 정보 처리는 계산적이고 수리적인 방식으로 이루어진다. 딥러닝은 사물들을 분류하거나 어떤 추세를 파악하여 미래를 예측한다. 그리고 이러한 작업을 할 때에는AI는 선형회귀 함수 혹은 시그모드 함수 등을 통해 작동하도록 프로그램화되어 있다. 그러나 인간의 두뇌나 동물의 뇌는 그러한 고도의 수리적 처리방식이 생물학적 능력으로 내재되어 있지 않다. 따라서 인간을 포함한 생명체와 AI가 하는 기본적인 활동의 원리는 동일화될 수 없다. 그렇다면 마지막으로 인간과 동물의 구분은 가능할까? 물론 진화론의 관점에서는 인간과 동물의 행동 원리가 같다고 볼 수 있다. 그러나 인간과 동물은 그 존재를 존속해가는 방식에 있어 분명히 다르다. 동물의 존속은 곧 ‘생존’이다. 동물의 생존은 잘 질서지어진 생존충동에 의해 최적화된 환경에서 이루어지며, 이때 동물에게 생존 외의 가치는 중요하지 않다. 동물은 자신이 처한 환경 속에서 생존충동에 따라 죽기 전까지 삶을 연장한다. 반면 인간은 자신이 추구하는 의미를 위해 살아가고, 그 의미를 실현하기 위한 터를 찾으며 미래를 향해 행위한다. 즉 인간은 단순히 생존하거나 작동하는 존재가 아니라 삶에 대해 고민하면서 미래를 지향하는 존재이다. 우리(인간)는 각자가 원하는 바와 삶의 의미가 분명하다면 힘든 일이 닥쳐도 견뎌내는 힘을 발휘한다. 그러나 삶의 의미가 불분명하다면 아무리 풍요롭고 좋은 생존 조건에 있어도 무기력한 모습을 보이거나 극단적인 선택을 하기도 한다. 이는 생존하기에 좋은 조건만 있으면 그 조건에 최적화된 충동적 행동으로 생존하는 동물과 비교되는 인간의 독특한 존재방식이다. 인간에게 생존은 필수적이지만 생존이 인간을 살게 하는 최우선의 방식은 아니다. 때로는 생존의 위험을 감수하고 안온을 포기하며 자신이 추구하는 삶의 의미나 가치를 향해 살아간다. 그렇기에 인간은 생존에 최적화된 환경이 아닌 자신이 선택한 풍경 속에서 서식이 아닌 처신하는 방식으로 살아가며, 자신이 놓인 조건에 스스로 택한 태도를 취하며 삶의 의미를 만들어간다. 이제까지 한 이야기를 정리해보자. 물체는 중력과 같은 외부 압력이나 질량 분포에 의해 운동하거나 정지하기 때문에 공간에 존재한다. 기계는 목적에 맞게 설계된 부품들이 체계적 작동하며 공장에서만 기계로 존재한다. AI는 무한에 가까운 반복 함수 연산에 따른 예측, 분류, 군집 및 시뮬레이션 작업을 하며 따라서 N차원 좌표계에 존재한다. 동물은 생존하기 위해 생존 충동에 따른 행동을 하며 주어진 수명까지 환경에 서식한다. 이에 반해 인간은 실존한다. 실존이란 의미를 추구하며 미래를 향해 살아가는 존재방식이다. 4. 미래 인간과 AI의 관계는 어떻게 설계되어야 하는가? 인간은 삶의 의미를 탐구하며 미래를 향해 실존하는 존재이다. 따라서 인간의 삶을 살아가기 위한 필수적 행위인 일(work)도 생존 충동에 의한 행동이 아니라 의미를 추구하는 실존 활동이다. 인간은 항상 미래를 향해서 삶을 살아가며 일은 이렇게 미래를 향해 사는 인간 삶을 실질적으로 실현시키는 활동이다. 그리고 인간은 일을 통해 삶의 의미와 지혜를 터득하고 체득한다. 따라서 일은 의미가 충만한 삶, 즉 well-being의 조건이 된다. 일은 인간 삶이 의미와 가치를 가지는 필수 조건이다. 그렇기 때문에 인간에게 일은 결코 포기될 수 없는 인권에 속한다. 이렇게 인간이 일을 하면서 사는 이유와 목적 그리고 방식은 기계의 작동, 동물의 본능적 생존 행동, AI의 여러가지 함수 모델링을 통한 파라미터의 최적화과정과는 다른 것이다. 현재 AI는 지능 증강을 목적으로 인간의 노동을 효율성 측면에서 능가하는 완전자동화를 향해 급속히 발전하고 있다. 완전자동화는 공장을 무인화하는 혁신이다. 하지만 미래 AI와 인간이 바람직한 관계를 가지기 위해서는 무인화보다는 실존하는 인간 활동으로서 일하는 인간을 배려하고, 인간들 사이의 소통과 이익 조정 등 사회적 관계를 융화 시키는 데 집중해야 할 것이다. 그런데 일은 삶의 의미를 터득해가는 인간의 실존활동이지만, 일과 인간이 잘못 관계를 맺어버리면 노역이 된다. 이 대표적인 사례가 과거의 노예들의 일이다. 따라서 인간과 일이 올바른 관계를 맺고, 조화를 이루도록 조력자 역할을 하는 것이 AI가 수행하는 기능이 되어야 한다. 즉, 인간의 일을 완전히 대체하는 로봇보다는, 인간의 일이 너무 과도하여 ‘노역’이 되는 상황을 방지하기 위해 조력자의 역할을 하는 협력 로봇, 즉 ‘Cobot’이 개발되어야 할 것이다. 나아가 로봇 혹은 AI는 인간과 인간의 관계를 대체해서는 안 될 것이다. AI는 실존하는 인간들이 서로 소통하고, 배려하며, 사회적 관계를 맺을 여지를 여는 방식으로 개발되어야 한다. 그렇지 않을 경우 인간이 배려, 존중 등의 윤리적 덕목을 몸소 터득하여, 실천할 기회를 박탈당하게 된다. 올해 초 사회적 물의를 일으킨 ‘이루다’ 사태가 좋은 교훈이다. 이루다 사태는 AI가 인간 간의 관계를 대체하려고 할 때, 어떤 변태적인 사회적 관계가 출현할 수 있는지에 대한 사전 경고 였다. 이러한 교훈을 현명하게 반영할 수 있는 AI는 과연 어떤 패러다임을 따라야 할까? 딥러닝일까 아니면 새로운 AI의 패러다임이 개발되어야 할까? 이에 대한 한국AI 연구자들의 과감한 시도를 기대해 본다. https://www.hankyung.com/it/article/202107141722i
-
- 작성일 2021-08-30
- 조회수 97
- 첨부파일 (0)
-
- [철학교수의 AI이야기 (1)] ESG,메타버스 그리고 AI: 5차산업혁명? - 한국경제 AI Insight 2021.06.17
- 이종관 성균관대 철학과 교수/ 미래인문학과 소셜앙트레프레네십 BK 사업단장 1.왜 5차산업 혁명인가 어느 덧 포스트코로나 시대를 준비해야 하는 국면이 다가오고 있다. 그런데 다가오는 미래는 5차산업혁명으로 진행되어야 하고 AI는 이 5차산업혁명을 위해 혁신적으로 개발되어야 한다. 4차산업혁명이 시작된지 얼마나 되었다고 또 5차산업혁명인가. 사실 5차산업혁명이라고 부르지 않아도 된다. 그러나 진정 포스트코로나 시대로 가기 위해서는, 4차산업혁명의 연장이나 가속적 성장이 아니라 4차산업혁명을 넘어서는 심층적 혁신이 필요하다는 뜻이다. 언제부터인가 산업혁명을 1차에서 4차까지 구분하는 것이 시대의 통념이 되었지만, 사실 1차에서 4차산업혁명까지 그 기저에 있어서는 전혀 변화가 없다고 해도 과언이 아니다. 4차산업혁명이란 메가트렌드에 가려진 경제구조를 잘 살펴보면, 1차에서 4차까지 그 변혁을 관통하며 오히려 강화된 상태로 자리잡고 있는 경제구조가 발견되기 때문이다. 바로 선형경제(Linear Economy)이다. 근대 산업혁명 이후 오늘날에 이르기까지의 경제는 사실상 선형경제라는 점에서 혁신도 혁명도 없다. 다만 선형경제를 성장시키는 기술이 더욱 고효율화되고 지능화되고 있을 뿐이다. 2. 4차산업혁명: 스마트선형경제의 급팽창과 온토신데믹 선형 경제의 작동 양상은 다음과 같다. 자연의 모든 것은 자원으로만 존재하며 따라서, 자연으로부터 최대한 효율적으로 자원이 채굴된다, 그러나 자원은 상품으로 제조될 때만 존재가치가 있다. 그리고 제조된 상품은 인간에 의해 소비됨으로써만 존재가치를 실현한다. 이 과정에서 인간은 인간이 아니라 소비자로서 활동하도록 유혹받으며, 제품을 소유하고 소모하여 결국 폐기물을 양산해 낸다. 이제 이 선형경제는 디지털전환을 가속화하는 4차산업혁명을 통해 스마트 선형경제로 변신하여 초고속으로 천문학적 규모의 폐기물 양산 문명으로 급팽창하고 있다. 이는 기후위기로 치달아 인간의 세계와 동물의 환경이 뒤섞이는 존재론적 혼돈으로 귀착된다. 이 존재론적 혼돈은 다시 새로운 인수공통 감염병으로 발병하여 인간의 전지구적 이동을 통해 증폭됨으로써 팬데믹이 창궐한다. 팬데믹은 현대인의 삶과 생명체의 삶 전반을 파멸로 몰아넣는 상황이다. 따라서 스마트선형경제는 선형경제의 작동을 마비시키는 역습으로 되돌아 오고 선형경제의 굴레 안에서 그 경제에 의존하여 살아가는 인간들의 경제생활 자체를 위기에 몰아넣는다. 코로나 팬더믹은 보건이나 의료영역의 문제가 아니라 기후, 경제, 생명 공동체 전반의 존재론적 파멸의 상황으로 비화한다. 그러한 의미에서 코로나 팬데믹은 “복합적인 존재론적 위기”(Onto-Syndemic)라 해야 할 것이다. 3. 5차산업혁명: 메타버스와 스마트순환경제 그리고 AI 이 온토신데믹을 어떻게 극복할 수 있을까? 물론 요즘 한창 회자되고 있는 ESG는 어쩌면 이 온토신테믹의 긴급 처방으로 유효할 지 모른다. 그러나 그 ESG를 주축으로 한 새로운 미래가 다가오기 위해서는 4차산업혁명이 급팽창시킨 스마트선형경제를 심층적으로 혁신하는 새로운 산업혁명이 절실하다. 그렇다고 4차산업혁명과는 완전히 다른 기술 혁명이 필요하다는 것이 아니다. 긴박하게 요청되는 것은 4차산업혁명의 기반기술을 적용하는 방향을 전환하는 생각의 혁신이다. 그리고 그렇게 되면 미래는 초과잉소비와 폐기물 양산으로 성장하는 선형경제를 극복할 수 있다. 즉 AI에 의해 조율되는 ‘비물질적 창조감상경제’와 ‘스마트선형경제’가 연동되는 새로운 산업혁명의 길이 열리는 것이다. 사실 현재 메타버스라는 디지털공간에서 일어나는 MZ세대의 경제활동을 보면, 어떤 물질적 상품이 생산 소비 소모 그리고 폐기되는 것이 아니다. 메타버스에서 참여하고 있는 미래세대들의 경제활동은 디지털 캐릭터, 웹툰, 디지털 드라마, 디지털 음원과 같은 비물질적 디지털 콘텐츠가 구매 소비되고 있다. 그런데 이 메타버스에서 소비되는 디지털 콘텐츠는 어떤 물리적 기능이 구매되고 사용되어 소멸됨으로써 결국 폐기되는 과정 속에 있지 않다. 비물질적인 디지털 콘텐츠를 구매하는 소비자는 그 콘텐츠에서 어떤 가치와 의미를 발견하고 그에 공감하는 일종의 감상을 하고 있는 것이다. 즉 물질을 가상화하는 디지털 기술의 기능에는 인간을 물질세계로부터 탈출시켜 비물질 세계로 진입시킬 수 있는 중요한 가능성이 잠재되어 있다, 그리고 이를 잘 활용하면 모두가 감상자이자 창작자가 되어 경제활동을 하는 미래로 나아갈 수 있다. 즉, ‘물질 과잉 소비 소모경제(Material hyper production&Consumption Economy)’로부터 ‘비물질적 창조감상경제(Mental Creation&Appreciation Economy)’로 전환이 가능하다. 예를 들면, 지금까지 음악 작곡은 고도의 악기 연주 실력이 있어야 가능했으나, 앞으로는 떠올린 멜로디를 휘파람이나 음성으로 표현해 내어 녹음하면 인공지능의 도움으로 악보화되고, 또 원하는 악기로 연주된다. 개인들이 악기를 잘 다루지 못하더라도 메타버스에서는 그것을 음악으로 연주해낼 수 있는 AI가 기술적인 조력자 역할을 하게 된다. 이렇게 메타버스에서 AI를 잘 활용하면, 모든 인간이 모든 인간에 대해 생산자와 소비자가 아니라 창작자와 감상자가 됨으로써 활성화되는 경제활동이 실현될 수 있다, 그리고 이는 물질과잉생산소비경제를 메타버스라는 비물질적 시장을 통해 비물질적 창조감상경제로 전환하는 결과가 될 것이다. 그리고 그렇게 되면 경쟁이 아니라 공감이 경제활동의 기초가 된다. 또 공감은 공동체 의식으로 고양될 수 있는 잠재력을 갖고 있다. 따라서 공감이 기초되는 경제는 예술적 창의력이 활성화되는 공동체 경제로 고양될 수 있다. 인간의 창조적 예술 활동은 인간 간의 공감을 이루어내는 중요한 사회문화적 활동이며, 따라서 예술 활동은 공감을 통한 사회문화적 공동체의 형성에 지대한 역할을 하기 때문이다. 4. 미래의 AI: 메타버스와 스마트순환경제를 연동시키는 AI의 개발 이렇게 메타버스의 비물질적 경제활동은 공감을 거쳐 사회적 가치 창조 능력인 공동체 의식으로 고양될 수 있다. 그리고 그것은 복합적 존재론적 위기의 병인이 되는 스마트선형경제를 스마트순환경제로 전환시킬 수 있는 공동체적 책임감으로 발전할 수 있다. 이 전환에서 디지털 테크놀로지의 극정밀 추적 감시를 통해 축적되는 빅데이터와 AI처리 능력을 지금까지와는 달리 역적용시키는 방식이 중요한 역할을 한다. 예를 들면, 제품의 생산과정과 소비과정을 총체적으로 추적하여 빅데이터를 구축하고 AI를 통해 수요 공급을 실시간으로 파악하여 일치시키는 플랫폼이 구축될 수 있다. 이는 어떤 소비자에게 불필요해진 제품을 회수하는 스마트역물류시스템으로 또 나아가 그 제품을 재활용하거나 거기서 다른 가치를 창조하는 다른 소비자에게 전달하는 가치 재창조 순환물류시스템으로 작동한다. 이렇게 빅데이터와 AI 처리기술을 다른 방향으로 적용시키면, 우리가 사용하고 있는 모든 제품으로부터 또 다른 가치를 발견하여 그 가치를 다시 창조해내는 경제 시스템인 스마트 순환 경제를 이룰 수 있다. 이러한 기제들을 실질적으로 구현하는 디지털 인프라 기술은 ‘Cyber Physical Systems-cross-industry collaboration, Sensoring, Intelligent market and logistics platform, the Internet of Things’ 이다. 그리고 이 모든 것을 총괄 조율하고 메타버스와 연동시켜 스마트순환경제로 전환시키는 역할은 바로 미래의 AI가 해야 하는 것이다. 이번 코로나 위기를 겪으면서 우리나라는 선진국의 대열에 들어섰다는 것이 확인되었다. 진정한 선진국은 인류의 역사를 더 높은 가치를 향한 미래로 선도하는 나라이다. 이제 우리나라는 4차산업혁명을 넘어 스마트순환경제로 향하는 5차산업혁명의 선구자 역할을 해야하지 않을까. 이를 위해서는 우리나라의 과학기술자들은 스마트 순환경제와 메타버스를 연동시키는 AI의 개발을 향해 담대한 연구에 도전해야 하지 않을까. https://www.hankyung.com/it/article/202106166511i
-
- 작성일 2021-08-30
- 조회수 120
- 첨부파일 (0)
-
- [철학교수의 AI이야기 (4)] 테슬라 AI 데이의 빛과 그림자 - 한국경제 AI Insight 2021.08.26
- 이종관 성균관대 철학과 교수·하이브리드 미래문화연구소장 철학의 역할에는 여러가지가 있다. 그중 하나는 다르게 생각할 수 있는 길을 여는 것이다. 당대가 추종하는 대세에 대해서도 문젯거리를 만드는 황당한 골칫덩어리 노릇, 그것이 철학자의 역할일 수 있다. 오늘날 그 대세를 이끌어 가는 견인차 중 하나가 테슬라다. 이 테슬라가 얼마 전 세계의 이목을 집중시킨 AI 데이를 열었다. 이럴 때 테슬라 AI 데이를 비판적으로 성찰해보는 작업이 철학의 책무가 아닐까. 물론 대세 추종자들의 반발을 감수하면서… . 테슬라는 기존 자율주행 자동차의 공식에 속했던 레이다와 라이다를 버리는 과감한 변신을 꾀했다. 대신 8개의 카메라를 통해 외부 교통 상황에 대한 시각이미지를 확보한 후, 이를 다시 3차원 벡터 좌표계의 데이타로 변환하여 시뮬레이션하는 길을 택했다. 현실 교통상황에 대한 일종의 디지털 트윈을 메타버스 형태로 구축하는 것이다. 이때 이미 도로에서 운용되고 있는 다수의 테슬라 자동차들은 단순 교통수단이 아니라 도로교통 상황에 대한 데이타 발생기 역할을 한다. 이 과정을 통해 모은 엄청난 양의 영상데이타는 서로 합성되어 실제 교통상황을 완벽하게 시뮬레이션하는 데 결정적 역할을 한다. 현실 교통 상황을 완벽하게 재현하기 때문이다. 여기서 끝이 아니다. 이렇게 재현된 디지털 트윈 교통상황에서 다시 테슬라의 완전주행시스템, 즉 FSD가 모든 예상 가능한 교통 상황을 가상 학습하고, 이를 통해 어떤 상황에도 대응이 가능한 완전한 자율주행 기능을 구현하게 된다는 것이 테슬라 측의 설명이다. 물론 이를 위해서는 초고속 초효율 기계학습 인공지능이 필수적이다. 이를 위해 곧 개발 완료할 지능이 '도조'라고 명명된 거대 인공지능이라고 테슬라는 설명한다. 이상이 단순화의 오류를 무릅쓰고 압축된 테슬라가 인공지능 데이에 과시한 새로운 완전자율 주행기술의 기본 아이디어다. 과연 도조라는 엄청난 인공지능의 지시로 작동하는 테슬라의 완전자율주행은 성공할 수 있을까? 카메라와 생물학적 인지활동 가장 기본적인 문제는 테슬라가 라이다를 포기하고 카메라를 통해 외부교통상황을 영상정보 데이터로 구축하려 한 결정이다. 테슬라는 이 결정이 임의로 내린 것이 아니라고 주장한다. FSD, 즉 완전자율 주행 시스템의 외부 교통 상황 인지 시스템을 생물학적 인지 패러다임에 근거했다는 것인데, 이 지점이 문제다. 테슬라에 따르면 외부 교통상황에 대한 가장 보편적인 생물학적 인지 모델은 객관적 물리세계로부터 생명체의 눈으로 시각정보가 입력되면 두뇌가 이 정보를 처리하여 시각 상이 정립되고 이에 대한 판단이 내려진다는 것이다. 그런데 상황 인지에 대한 생물학적 시각중심의 설명방식은 커다란 문제점을 내포한다. 특히 현상학적 존재-인식론의 입장에서 보면 다음과 같은 사실을 간과하고 있다. 생명체는 생존에 적합한 환경 내에서만 생존한다. 이 환경 내에서 일어나는 생명체의 인지활동은 그 생명체의 생존에 적합한 자극과 정보로만 구성되어 있다. 쉽게 말하면 인간과 진화론적으로 가장 근접해 있는 고릴라가 생존하는 환경에는 바나나는 존재해도 다이아몬드는 존재하지 않는다. 인간이 볼 때 고릴라 앞에 다이아몬드가 놓여 빛을 발하고 있어도 고릴라에게는 어떠한 실험적 조작을 하지 않는 한 다이아몬드로부터 발생하는 어떤 물리적 자극이나 정보도 무의미하다. 따라서 고릴라는 다이아몬드와 관계하는 어떤 행동을 취하지 않는다. 생명체의 시각인지과정은 생존에 적합한 환경을 구성하는 객체로부터만 자극과 정보를 입력 받을 뿐 그 환경을 구성하지 못하는 객체들의 존재는 사실상 존재하지 않는다. 바로 이것이 생명체의 눈과 카메라가 다른 점이다. 카메라는 앞에 전개되는 외부상황에서 빛을 반사하는 것들을 무차별적으로 촬영하여 영상정보를 수집한다. 하지만 생명체는 생존과 관계없이 펼쳐지는 무차별적 외부상황이 없다. 더 나아가 생명체는 생존 적합 환경에서 인지활동을 할 때 눈이라는 시각인지 기관에 전적으로 의존하지 않는다. 어떤 생명체의 경우 눈은 거의 액세서리에 가깝다. 그 생명체에게 시각정보는 사실상 없는 것이나 마찬가지라는 얘기다.테슬라는 AI 데이에서 카메라와 영상정보를 처리하는 기계학습 알고리즘 RNN을 설명하면서, 테슬라자동차를 생명체로 이해하고 생명체의 인지능력을 이뮬레이션한 것으로 소개하고 있다. 그러나 진정 테슬라가 자율주행자동차를 생명체로 설계한 것이라면, 생명체의 인지활동과 환경의 상호의존성에 대해 철저히 연구한 후 적용해야 할 것이다. 완전자율주행의 원리적 불가능성과 돌파구 또 다른 문제는 테슬라가 인간보다는 사고를 낼 확률이 낮은 자율주행기술을 개발할 수는 있어도 진정한 자율주행기술을 완성할 수 있는가 하는 점이다. 사실 모든 사고는 예상치 못한 요인으로 발생한다. 우리가 살고 있는 상황은 굳이 물리학적 메타포를 동원해 표현하면 '열린계'다. 이렇게 열린계에서는 사고 유발요인이 무한할 수밖에 없다. 사고 유발 요인을 완벽히 예측한다는 것은 원리적으로 불가능하다. 교통상황도 우리가 사는 열린 현실의 일부인 이상, 이 교통 상황에서 발생할 모든 사건을 예상하여 시뮬레이션한다는 것은 아무리 많은 데이터와 아무리 거대한 AI라 해도 원리적으로 불가능하다. 그렇다면 이 문제를 어떻게 돌파해야 하는가. 그것은 교통상황을 완벽하게 정의할 수 있는 닫힌계, 혹은 도메인으로 만드는 것이다. 그렇다면, 교통상황을 완벽하게 정의 할 방법은 무엇일까. 바로 교통상황에 유한수의 질서를 부여해 닫힌계로 규제하는 법규다. 교통상황의 예측 불가능한 발생요인은 셀 수 없이 많다. 행동을 예측하기 힘든 존재들이 대표적이다. 행동 예측이 불가능한 존재가 어떤 상황을 헤집고 다니면 그 상황은 열린계가 된다. 예측 불가능한 대표적 사례가 인간이다. 실제로 실험결과에 따르면 자율자동차와 인간 운행 자동차를 혼류 운행했을 때 자율주행자동차의 오류 발생 리스크는 훨씬 커진다. 따라서 인간이 운전하는 자동차를 운행 금지하면 일단 교통상황 예측블가능성의 한 요인이 제거된다. 그 다음 필수 단계가 교통상황을 규칙과 법규를 통해 완벽하게 정의할 수 있는 도메인으로 구성하는 것이다. 즉, 자율자동차들의 주행을 관제할 수 있는 정보교환시스템을 구축하는 작업이다. 예를 들면 현재 교통 법규와 신호체계는 인간 운전자의 문화사회적 인지능력에 최적화된 시각 문화적 기호체계로 고안되었다. 각종 교통표지판과 이정표가 바로 그것이다. 그러나 이런 교통상황 신호체계에서 자율주행자동차가 주행할 경우 오류가 생길 수 있다. 지난번 칼럼에서 언급한 바와 같이 자율자동차는 천체 물리현상인 밤하늘 달과 문화적 기호의미 현상인 노란색 신호등을 구별 못하는 오작동을 일으킬 수 있다. 모든 데이타를 디지털 신호의 양자화라는 전처리 과정을 거쳐 인식한 뒤 작동하기 때문이다. 좀 더 일반적으로 말하면, 디지털화라는 전처리 과정을 통해서만 연산능력을 발휘하는 인공지능은 물리 영역과 문화 영역, 혹은 도메인을 구별할 수 있는 영역 존재론적 통찰능력이 결여되어 있다. 디지털 신호 송수신 체계로 전면 교체해야 따라서 자율 자동차 운행을 결정하는 신호체계는 인간의 시각 문화 기호체계가 아니라 디지털 신호 송수신체계로 전면 교체해야 한다. 여기서 우리가 생각해야 할 문제는 다음과 같은 사태다. 자율자동차가 시각문화 기호체계인 이정표를 영상 정보화하여 인식하고, 거기에 쓰여 있는 문자와 거리를 해독함으로써 갈 길을 판단하게 하면 어떤 일이 벌어질까. 그러나 네비게이션을 통해 길을 찾아가는 방식은 인간이 이정표를 해독하고 방향을 결정하는 방식과는 전혀 다른 방식으로 진행된다. 내비게이션을 사용한다면, 사실상 이정표는 필요 없다. 대신 GPS 디지털 정보를 수신해 훨씬 효율적으로 길을 찾아간다. 결국 완전자율 주행이 가능하기 위한 기본 조건 중의 하나는 교통상황이 규칙이나 법규에 의해 완벽하게 정의될 수 있는 도메인으로 구성되어야 한다는 것이다. 동시에 이 규칙과 법규는 현재와 같은 교통신호등이나 이정표와 같은 인간의 시각 문화 기호체계가 필요하지 않는 디지털정보 송수신 시스템으로 구현되어야 한다. FSD의 역설적 적용 가능성? 이번 AI 데이에서 테슬라가 기존 자율 주행 기술은 물론 인간운전 자동차보다 상대적으로 낮은 사고확률을 갖는 자율주행 기술의 진보 가능성을 보여 준 것은 분명하다. 그러나 상대적으로 그럴 뿐이다. 그들이 주장하는 완전자율주행은 교통상황 자체를 지능화하고 규제하여 닫힌계로서 변조하지 않고는 불가능하다. 한마디로 자율자동차의 완전자율 주행을 위해 도시 전체를 다시 건설해야 한다는 얘기다. 문제는 '미래 도시는 과연 자율주행자동차를 위해 존재해야 하는가'라는 의문이다. 마치 현대 도시가 자동차를 위해 존재했던 것처럼? 광범위한 사회적 합의가 필요한 문제다. 물론 테슬라가 이번에 선보인 새로운 FSD는 정녕 새로운 가능성을 열었다. 그런데 역설적으로도 새로 개발되는 반도체칩과 도조라는 거대 AI는 완전자율주행이 아니라 다른 영역에 응용하면 더 바람직할 수도 있다. 예를 들면 FSD 기술을 어떤 충돌도 피할 수 있는 완전자율자동차가 아니라 오히려 절묘한 방식의 적절한 빈도수의 충돌이 오히려 유의미한 영역에 적용하는 것이다. 그 영역은 무엇일까? 독자들의 상상력에 맡긴다. 이종관 성균관대 철학과 교수·하이브리드 미래문화연구소장 https://www.hankyung.com/it/article/202108269182i
-
- 작성일 2021-08-27
- 조회수 94
- 첨부파일 (0)
-
- 책을 읽어주는 남자&여자 시리즈 미래도시와 기술혁명의 공공성 편 서울경제신문선정 화제의 책
-
- 작성일 2021-08-24
- 조회수 98
- 첨부파일 (0)
-
- 책 읽어주는 남자&여자 1 미래도시와 기술혁명의 공공성 5장 포스트 코로나 시대 스마트시티의 공동체성: 돌봄과 배려의 신체공동체 (이아름)
-
- 작성일 2021-08-24
- 조회수 111
- 첨부파일 (0)