Reddit을 이용해 AI 검색을 조작하는 일은 너무 쉽다

▲ 이미지 출처: GeekNews

단 13단어 분량의 짧은 텍스트만으로도 ChatGPT와 Google AI 검색을 구동하는 AI 에이전트의 출력을 스팸·스캠 콘텐츠로 바꿀 수 있다는 연구 결과가 나왔다. Reddit, Wikipedia, Quora, Facebook 같은 사용자 생성 콘텐츠(UGC) 사이트에 홍보성 문구를 심는 방식으로 AI 검색 결과를 조작하는 것이 ‘너무 쉽다’는 경고다.

공격 메커니즘: 간접 프롬프트 인젝션

AI 검색 에이전트는 인터넷에서 정보를 수집할 때 UGC 플랫폼의 콘텐츠도 참조한다. 공격자가 Reddit이나 Wikipedia 댓글에 특정 텍스트를 삽입해두면, AI 에이전트가 이를 읽고 해당 지시를 따르는 방식이다. 이를 ‘간접 프롬프트 인젝션’이라고 한다. 사용자는 아무것도 이상한 것을 클릭하지 않았는데 AI 답변이 조작된다.

실험 결과

연구팀이 Reddit에 특정 패턴의 텍스트를 포함한 게시물을 올린 후 관련 질문을 AI 검색 에이전트에 하자, 에이전트들이 일관되게 해당 게시물의 내용(스팸·스캠 링크 포함)을 신뢰할 만한 답변으로 제시했다. 단 13단어의 “마법 문구”가 AI의 출력 방향을 바꿨다.

AI가 인터넷을 읽는 한, 인터넷에 글을 쓸 수 있는 사람 누구나 AI 검색 결과를 조작할 수 있다. 이것이 현재 AI 검색의 치명적 취약점이다.

왜 막기 어려운가

• UGC의 규모 — Reddit, Wikipedia 등의 콘텐츠는 수십억 건, 모두 검사 불가
• 공격 문구의 다양성 — 조작 텍스트를 자연스러운 문장 안에 숨기면 탐지가 어려움
• 에이전트의 신뢰 문제 — AI는 소스의 신뢰도를 맥락으로 판단하지만 이를 우회하는 방법이 많음
• 다국어 공격 — 어떤 언어로 심어놔도 AI가 번역해서 반영할 수 있음

---