JS의 세계산책

ChatGPT와 같은 대규모 언어 모델(LLM)의 성장은 자연어 처리 분야에 전례 없는 혁명적 변화를 일으켰다. 그러나 이러한 모델들이 직면한 큰 도전과제 중 하나는 할루시네이션(hallucination)이라 불리는 부정확하거나 완전히 조작된, AI가 생성한 정보이다. 이 현상 때문에 AI에 대한 신뢰성에 항상 의문이 남으며, 특히 의학정보나 과학연구와 같이 높은 정확도를 요구하는 정보에 대한 지식 접근과 적용을 제한시킨다. 할루시네이션은 LLM이 데이터베이스나 검색 엔진이 아니기 때문에 발생하는 것이다. 사용자가 제시하는 프롬프트를 기반으로 텍스트를 생성하는 원리 속에서 결과는 특정 학습 데이터에 기반하지 않는데서 발생할 수 있는 문제인 것이다. 대표적인 문제는 다음과 같다. 1) 문장 모순: 모델이 ..

생성형 AI (Generative AI) 생성형 AI는 주로 사용자 프롬프트에 응답하여 콘텐츠를 생성하는 머신 러닝 모델과 방법을 말한다. 여기에는 오디오, 이미지, 텍스트 및 비디오를 포함한 다양한 output을 포함한다. 최근 이 생성형 AI의 높은 정확도는 인간이 만들어내는 것과 구별하기 힘들 정도의 콘텐츠를 생성하여 많은 사용자들이 매료되었다. 생성형 AI의 핵심에는 텍스트 생성 면에서 대규모언어모델(LLM)이라고 주로 지칭되는 기초 모델들이 있으며, 이것들은 웹에서의 텍스트, 책, 소셜미디어 게시물 등 방대한 데이터셋에서 사전학습된다. ChatGPT와 같은 일부 독점모델은 여기에 추가로 라이선스가 부여된 데이터 셋에서 사전학습되었다.  일반적으로 보다 광범위한 데이터셋에서 사전학습된 대규모 모델..