○ 서론
이 책은 혼란스런 AI 시대에 콘텐츠의 안전을 책임지는 TnS(Trust and Safety) 직업과 일에 대해 이야기하고 있다. AI 시대를 살아가면서 어색한 개념이지만 알게 모르게 우리가 경험하고 우리에게 꼭 필요했던 직업을 소개해준다. 나도 처음에는 낯설었지만 나도 흔하게 접하고 있었으며, 필요성을 느끼고 있는 일이었다. 다양한 플랫폼들이 어떤 방식으로 우리가 생산하고 접하는 미디어 콘텐츠들을 안전하게 접하게 돕는지 알 수 있었다.
○ 내용 요약
[ Intro ]
이 책은 4부 9장으로 구성되어있다. 1부는 대혼돈의 터뷸런스에 빠진 콘텐츠 생태계를 표현하고 있으며, 2부는 이러한 시대에 혼돈 속에서 질서를 세우는 TnS(Trust and Safety) 전문가들의 이야기를 담고 있다.
[ 1장 – 생성형 AI, 콘텐츠 세계의 격변의 문을 열다 ]
먼저 AI와 기반 모델, LLM과 대형 멀티모달 모델에 대해 설명한다. 그리고 콘텐츠 생태계에 영향을 이야기하면서, 핵심 영향 세 가지를 이야기한다. ‘양적 폭증’, ‘질적 정교화’, 그리고 ‘개인 맞춤의 고도화’이다.
먼저 양적 폭증은 양이 늘었다는 그 자체만으로 큰 영향력이 있었다는 이야기하며, 생성형 AI가 보편화 되고 난 후 유투브 콘텐츠의 증가량을 근거로 든다.
다음으로 질적 정교화는 AI가 단순히 허접한 결과물만 만들어 내는 것이 아닌, 영상 혹은 미디어 산업에서 영상의 질을 높이기 위해 AI를 사용하는 것을 예시로 들었다. 하지만 이러한 정교함은 ‘딥 페이크’와 같은 악용 사례도 만들어 낸다.
마지막으로 개인 맞춤 서비스의 고도화는 개인의 서비스 이용 경험을 개선해주지만, 개인의 생각으로 편향되는 ‘확증 편향’으로 번질 가능성을 경계한다. 이는 사회적 오해나 차별, 극단적 생각을 키울 수 있다.
[ 2장 – 가짜 뉴스는 시작일 뿐, 더 악랄한 악의를 구현하는 기술 ]
AI 기술이 소수의 이용자에서 다수의 이용자로 확대되었을 때, 권력과 기술의 탈중앙화가 이뤄지기는 하지만 이것이 매번 긍정적인 영향을 가진 것은 아니다. 거버넌스 없는 기술 확산은 무책임한 권력의 확장으로 이어질 수 있으며, 기존의 불균형을 심화하거나 또 다른 차원의 불균형을 초래할 수 있다.
이외에도 악의적으로 사용되는 사례로는 이미지 조작, 스팸과 악성코드의 진화, 로맨스 스캠, 전시 심리 조작, 민주주의 투표에서 가짜 뉴스 유포, 성범죄 콘텐츠 등이 있다.
[ 3장 – 플랫폼의 진짜 속사정, 유해 콘텐츠와의 전쟁 ]
미디어 콘텐츠가 생산/유통/소비되는 과정을 보면서, 현재 AI로 인해 한 플랫폼이 생산자도 되고 소비자도 될 수 있음을 이야기한다.
그러면서 정말 문제가 되는 것은 ‘유해 콘텐츠’임을 이야기한다. 그 자체로 이용자가 접하는 것에도 위험성이 존재하지만, 이는 기업 입장에서도 비즈니스와 맞물린 이야기이기도 하다.
MZ세대들은 그들의 가치와 윤리에 맞는 플랫폼이 아니면 과감히 이탈해 버리기도 하며, 그게 아니라도 유해 콘텐츠가 올라오는 플랫폼에 아동복 광고를 올리고 싶지 않은 것과 유사한 원리의 비즈니스 문제도 발생한다.
이러한 유해 콘텐츠는 법적으로도, 검열을 위한 조건으로도 정의가 어렵다. 개인의 프라이버시 보호와 안전 관리 사이에 균형 유지가 어렵기 때문이다. 이렇게 유해 콘텐츠 관리에서의 사회적 도전은 크게 ‘프라이버시 보호와 안전 관리 사이 균형’, ‘예측 불가능한 사회적 사건’, ‘현지화의 한계’로 세 가지가 존재한다.
[ 4장 – 당신이 몰랐던 스크린 너머의 세계, Trust and Safety ]
표현의 자유와 공공의 안전 사이의 기준을 판단하는 일이 Trust and safety이다. 이 개념은 1990년대 즈음에 사기 거래와 허위 상품 때문에 신뢰를 잃었던 이베이에서 처음 도입되었다.
이들이 만드는 기준은 플랫폼이 사회와 맺는 관계를 결정짓는 가장 본질적인 선택 중 하나이다. 콘텐츠 심사는 크게 선제적 대응 방식과 사후 대응 방식으로 나눠진다.
TnS 팀이 제 역할을 다했을 때 오히려 아무 일도 일어나지 않아 그 성과가 종종 드러나지 않는다.
[ 5장 – AI vs. AI: 유해 콘텐츠에 맞서는 기술들 ]
AI가 만들어 낸 복잡한 문제들은 아이러니하게도 AI에 의해 가장 효과적으로 대응된다. 비 AI 기반 대응 방식, 전통적 AI 기반 대응 방식, 최신 대응 방법 등을 소개한다.
그러나 AI 모델을 이용해도 결국 안전을 완성하는 것은 사람이다.
[ 6장 – AI의 한계, 그리고 인간이 개입해야 하는 순간 ]
AI를 활용한 규제도 좋지만, 그것이 과해지면 우리는 AI 알고리즘이 설계한 관람 동선만 따라가는 수동적 소비자가 된다. 특정 주도 기업 혹은 지역, 나라에 국한된 데이터만 학습한 AI를 이용하다 보면 해당 문화가 두드러지게 나타나는 새로운 형태의 디지털 식민주의로 발전할 수도 있다.
AI 아무리 똑똑해 보여도 사람의 감독이 필요하다. 소수의 언어 같은 경우에는 언어 모델이 발달이 안되어서 유해 컨텐츠가 무분별하게 퍼질 가능성도 생긴다.
그래서 이 분야에선 Human-in-the-loop라는 사람이 개입하는 구조가 널리 활용되고 있다. 사용자 역시도 HITL 구조의 한 축으로 활동해야 한다.
AI가 만들어 낸 혼돈의 소용돌이 속에서 TnS 팀은 AI와 손잡고 이 터뷸런스를 해쳐 나아가고 있다.
[ 7장 – 새로운 기회: Trust and Safety 커리어 로드맵 ]
TnS 관련 직업으로 나아갈 수 있는 여러 가지 방안을 제시한다. 꼭 관련 전공자가 아니더라도 직무 전환이 가능하다.
[ 8강 – 혼자 싸워 이길 순 없다: 고통의 적에 맞서는 글로벌 연대 ]
위해 콘텐츠는 하나에 플랫폼에만 올라오지 않는다. 형태와 모양만 조금씩 바꿔 다른 플랫폼에도 올라오기 때문에 제대로 차단하기 위해서는 모든 플랫폼에서 위해 콘텐츠가 탐지되어야 한다.
실리콘밸리에서도 TnS 기술이 폐쇄적일수록 모두에게 손해라는 인식이 일반적이다. ROOST와 같이 여러 기업이 돈과 인력을 모아 유해 콘텐츠 차단 프로그램을 합심해서 만들고 함께 배포한다.
그러나 오픈소스는 투명도를 높이지만 반대로는 새로운 공격 경로를 제공하기도 한다. 그래서 관리와 보안 체계가 중요하다.
[ 9장 – AI 공존의 시대: 안전의 주권, 이제는 우리의 선택 ]
교육기관과 컨퍼런스와 같은 기관의 역할도 중요하지만, 기업과 사회, 그리고 사용자의 역할도 존재하고 중요하다고 이야기하고 있다.
사람들이 가장 간과하는 중요한 사실은, 기술은 사람에 의해 만들어지는 것이다. AI 시대에 우리의 안전은 누가 책임져야 하는가? 바로 우리 모두이다.
○ 추천 대상
- AI 기술의 동향을 파악하고 싶으신 분
- 플랫폼 내 유해 콘텐츠 차단을 위한 노력을 알고 싶으신 분
- TnS 직무로 커리어를 시작하고 싶으신 분
- AI과 IT에서 미디어 콘텐츠 안전에 대해 관심 있으신 분