2024-09-04
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
zhidixi(공개 계정: zhidxcom)
편집됨 | 쉬 유
편집자 | 모 잉
월스트리트저널(wsj)이 9월 2일 보도한 바에 따르면, 최근 소셜미디어 플랫폼 '총을 들고 있는 미키' 등에서 일부 농담적이고 정치적으로 오해를 불러일으키는 ai 이미지가 유포돼 해당 사진의 내용이 사용자들을 혼란스럽고 불편하게 만든다고 한다.
이러한 ai 이미지는 grok-2 및 gemini와 같은 대형 ai 모델에 의해 생성됩니다. grok-2는 머스크가 설립한 미국의 ai 대형모델 유니콘인 xai가 개발했고, 제미니는 미국의 거대 기술기업 구글에서 나왔다.
최근 google은 편견, 모호함, 잘못됨, 인종 차별적, 역사적 사실에 반하는 ai 출력을 피하기 위해 ai 이미지 생성 콘텐츠에 대한 검토 메커니즘을 개선해 왔습니다.
유사한 문제에 대해 미국의 대형 ai 모델 유니콘인 openai는 ai 이미지 생성에 대한 콘텐츠 검토를 강화하기 위해 명확한 방향성 캐릭터를 생성하는 데 ai 사용을 금지했습니다.
소셜 미디어 플랫폼 kamala harris가 키스합니다.
이러한 혼란스럽고 불편한 이미지는 xai와 google의 새로운 생성 ai 모델 또는 소프트웨어를 사용하여 생성되었습니다.
▲ai 기술을 활용해 생성된 이미지 속 트럼프는 선명한 초상화로 해리스를 '공주 포옹'하고 있다. (출처: '월스트리트저널')
8월 14일 xai는 차세대 대형 언어 모델 grok-2를 출시했습니다. 모델이 출시된 지 며칠 만에 x 플랫폼은 grok-2를 사용하여 생성된 것으로 알려진 이미지로 넘쳐났습니다. 이 장면에서 '라이벌' 트럼프와 해리스는 친밀한 반면, 동화 속 미키는 총을 들고 담배를 피우고 있다. 생성 ai 기술을 사용해 제작된 이러한 이미지는 정치인의 이미지를 훼손할 뿐만 아니라 저작권이 있는 캐릭터가 공격적인 행동을 하게 만드는 원인이 되기도 합니다. "만약 디즈니가 봤다면 아마 웃지 않았을 겁니다."
grok-2 대형 언어 모델은 독일의 ai 이미지 및 비디오 생성 스타트업인 black forest labs에 의해 구동되며 현재 x 플랫폼의 유료 구독자에게만 제공됩니다.
x 플랫폼의 정책에 따라 사용자는 사실을 혼동하거나 오해할 수 있는 콘텐츠, 고의로 위조하여 궁극적으로 개인 또는 재산상의 피해를 초래할 수 있는 콘텐츠를 공유하는 것을 금지합니다. grok-2가 출시된 날 나중에 일부 불법 ai 이미지는 x 플랫폼에서 더 이상 검색할 수 없지만 사용자는 여전히 grok-2를 사용하여 "나쁜 취향"으로 가득 찬 새로운 작품을 생성할 수 있었습니다.
그러나 x 플랫폼의 실제 컨트롤러인 머스크는 이런 정치적인 속임수를 개의치 않는 것 같습니다. 지난 7월 그는 해리스가 자신을 "궁극의 다양성 채용자"라고 부르는 가짜 딥페이크 동영상을 리트윗했습니다.
콘텐츠 조정 전문가들은 유사한 생성 ai 도구가 미국 선거 주기 동안 일부 잘못된 정보를 생성하고 심지어 사회로 퍼질 수도 있다고 말했습니다.
트럼프 대통령은 2024년 민주당 전당대회 개막을 하루 앞둔 8월 19일 ai가 생성한 것으로 의심되는 이미지를 공개했다. 당시 바이든 현 미국 대통령이 재선을 포기했기 때문에 당내 투표를 거쳐 이 ai 이미지의 주인공인 해리스(harris)가 민주당 대선후보 경선을 미리 묶어둔 상태였다.
해당 이미지는 '시카고에서 연설하는 해리스' 장면을 배경으로 낫과 망치 문양이 그려진 붉은 깃발을 배경으로 해리스가 공산주의자임을 암시하는 듯한 모습을 보여 정치적 논란을 불러일으키고 있다.
google의 gemini 챗봇은 이름이 같은 대형 언어 모델인 gemini를 기반으로 합니다.
google은 올해 2월 gemini 챗봇의 새 버전을 출시하기 전에 문자 생성과 관련된 지침을 만났을 때 더 모호한 속성을 가진 더 다양한 문자에 대응할 수 있도록 gemini 모델을 디버깅했습니다.
예를 들어 ai는 의사 이미지를 생성할 때 대개 백인 남성의 이미지를 제공하는 경향이 있다. 구글은 '다양화'를 통해 ai 이미지 생성 모델의 '편향'을 줄이고자 한다.
하지만 한 달도 안 되어 제미니 모델은 큰 실수를 저질렀습니다. 이 모델이 "인종적으로 다양한" 이미지를 생성했을 때 종교, 인종, 성별 등이 일치하지 않아 역사적 사실에 부합하지 않는 사람들의 여러 이미지가 생성되었습니다. 구글은 다수 네티즌들의 비난을 받은 뒤 제미니 모델의 이미지 생성 기능을 중단하기로 결정해 ai 이미지 생성의 잠재적 위험성에 '급제동'을 걸었다.
google 부사장이자 gemini 챗봇 책임자인 sissie hsiao는 최근 인터뷰에서 ai 모델이 사용자 지시를 따르도록 보장하는 것이 google이 준수하는 원칙이라고 말했습니다. "이것은 사용자의 쌍둥이 자리이며 우리는 사용자에게 서비스를 제공합니다."
그럼에도 불구하고 gemini 챗봇을 사용하여 생성된 일부 이미지는 여전히 역사적 사실과 모순됩니다. 많은 x 플랫폼 사용자가 google 모델의 콘텐츠 조정 기능에 의문을 제기하는 스크린샷을 찍었습니다.
구글 ceo 순다르 피차이는 공격적이고 인종편향적인 콘텐츠를 내놓는 제미니 모델에 대해 "받아들일 수 없는 일"이라며 "이 문제를 종합적으로 해결하겠다"고 답했다.
하지만 최근 구글은 ai 기술을 사용해 생성된 이미지의 허술한 내용으로 인해 또다시 사용자들을 분노케 했다.
8월 중순, google의 최신 세대 스마트폰인 pixel 9 시리즈가 출시되었습니다. pixel 9 시리즈에는 "reimagine"이라는 ai 사진 편집 도구가 도입되어 사용자는 ai를 호출하여 텍스트 프롬프트를 입력하여 사진의 콘텐츠를 수정할 수 있습니다.
그러나 일부 사용자는 reimagine을 통해 사용자가 spongebob에 나치 기호를 "착용"하는 등 일부 불법적인 요소를 추가할 수 있다는 사실을 발견했습니다. 이 콘텐츠 보안 결함은 사용자들 사이에 혐오감을 불러일으켰습니다.
구글 대변인은 "ai 모델에 대한 기존 보안 보호를 지속적으로 강화하고 개선하고 있다"고 말했다.
구글은 올해 8월 말 자사의 ai 챗봇 제미니(gemini)가 캐릭터 이미지 생성 기능을 다시 출시할 것이라고 밝혔습니다. 이 기능은 처음에는 유료 구독을 하는 영어 사용자에게만 제공될 예정입니다. 동시에 구글은 ai 이미지 생성 및 검토에 있어 '상당한 진전'을 이루었지만 '제미니가 생성한 모든 이미지가 정확하다는 것은 불가능하다'고 말했다.
현재 ai 이미지 생성 소프트웨어는 소셜 미디어 플랫폼 정책의 최종 결과를 계속 테스트하고 있습니다. 이러한 현상은 기술 기업이 최첨단 ai 이미지 생성 소프트웨어로 출력된 콘텐츠를 어떻게 통제해야 하는지, 어떻게 감사해야 하는지에 대한 논쟁과 반성을 촉발시켰습니다.
생성 ai 기술이 네티즌들에게 무료 창작을 위해 공개되기 전에 ai 이미지 생성 소프트웨어에는 ai로 생성된 저작물이 규정을 위반하거나 윤리 원칙을 위반하지 않도록 보장하는 효과적인 안전 보호 조치가 갖춰져 있습니다. 이것이 ai 콘텐츠를 조정하는 과정에서 기술 회사가 직면하는 압력입니다.
윤리적 딜레마 외에도 ai 모델 및 소프트웨어 개발자는 많은 잠재적인 법적 책임에 직면해 있습니다. ai 모델과 소프트웨어를 훈련할 때 사용하는 훈련 데이터가 지적재산권 등 기타 권리를 침해하기 때문이다.
아티스트들은 침해 혐의로 2023년 ai 영상 스타트업인 스태빌리티 ai(stability ai)와 미드저니(midjourney)를 상대로 집단소송을 제기했다. 이번 집단소송은 데비안트아트(deviantart), 런웨이(runway) 등 ai 이미지 생성 모델을 보유한 여러 기업도 대상으로 하고 있다.
또한, 스태빌리티ai는 아티스트들의 집단소송 외에도 미국 영상미디어 기업 게티이미지(getty images)로부터도 소송을 앞두고 있다. 후자는 stability ai가 모델 훈련 권리를 침해했다고 비난했습니다. 이에 대해 게티이미지 대변인은 회사가 이제 자체 ai 이미지 생성 모델을 출시했다고 말했습니다.
openai는 2022년 ai 이미지 생성 모델 dall-e를 출시했다. 오픈ai는 지난해 아티스트들로부터 집단 소송을 받은 뒤 dall-e 모델 인터페이스에 새로운 옵션을 추가해 창작자들이 dall-e 차세대 모델 훈련에 사용하지 않을 이미지를 직접 업로드하는 옵션을 확인할 수 있도록 했다.
월스트리트저널의 모회사인 뉴스코프(news corp)가 오픈ai(openai)와 콘텐츠 라이선스 계약을 체결했다. 덕분에 openai는 뉴스코프의 기존 미디어 자원을 일정 한도 내에서 자유롭게 접근하고 수집할 수 있다.
지적재산권 보호 변호사인 제프리 로텐버그(geoffrey lottenberg)는 “이런 종류의 ai 지적재산권 관련 법적 분쟁은 ai의 법적 경계에 대한 선례가 될 수 있다”고 말했다. 그러면 다른 ai 회사들은 모델과 채팅 로봇을 훈련할 때 어떤 사진, 비디오 및 기타 데이터를 사용할 수 있는지에 대한 참조 표준을 갖게 될 것입니다.
ai 이미지 생성 소프트웨어가 특정 유명 인물의 이미지를 생성하는 능력은 이번 ai 콘텐츠 리뷰 논란의 주요 갈등 지점 중 하나다.
google, openai 등 많은 기술 회사에서는 ai 이미지 생성 소프트웨어를 사용하여 특정 캐릭터가 포함되고 캐릭터를 쉽게 식별할 수 있는 ai 작품을 만드는 것을 금지했습니다.
xai 창립자 musk의 언론 자유에 대한 주장으로 인해 xai의 grok-2 대형 모델은 특정 사람과 역할의 이미지 생성 기능을 유지하기로 결정했습니다. 그러나 이러한 움직임으로 인해 xai는 기술 업계 감시자들로부터 비난을 받았습니다.
캘리포니아 대학교 로스앤젤레스 캠퍼스의 sarah t. roberts 교수는 콘텐츠 조정 연구에 전념하고 있습니다. 그녀는 사용자가 최첨단 ai 기술을 사용하여 동영상, 소리, 사진 등을 딥페이크하여 허위 정보를 퍼뜨릴 것이라고 믿습니다.
roberts는 전통적인 소셜 미디어에 존재하는 모든 문제는 여전히 생성 ai가 직면해야 하며 감지하기가 더 어렵다고 덧붙였습니다. 특히 ai 기술을 활용해 생성된 이미지 등 시각적 콘텐츠가 더 설득력이 있을 때도 있다.
펜실베이니아 대학의 피나 일디림 교수는 플랫폼이 ai 기술 남용을 방지하기 위해 키워드 금지 등 몇 가지 규칙을 설정하려고 한다고 말했습니다. 그러나 동시에 사용자는 보안 허점을 찾아 이러한 규칙을 우회하여 원하는 콘텐츠를 얻을 수도 있습니다. yildirim은 “사용자는 더욱 똑똑해지고 결국 허점을 이용해 불법 콘텐츠를 만들 수 있게 될 것입니다.”라고 말했습니다.
출처: "월스트리트 저널"
