Claude가 문학평론을 썼습니다. Scite는 이를 무너뜨릴 수 있는 두 가지 주장을 포착했습니다.

Claude는 오후에 내 문헌 리뷰 초안을 작성했는데 초안은 정말 훌륭했습니다. 균형이 잡혀 있고, 읽기 쉬우며, 리뷰어가 고개를 끄덕일 만한 구조로 되어 있었습니다. 인용은 그럴듯해 보였습니다. 그것이 바로 위험이며 Ssite는 다음날 아침을 위해 존재합니다.

나는 Scite의 인용 문맥 검색을 통해 모든 참고 자료를 실행했습니다. 대부분 체크아웃되었습니다. 두 개는 그렇지 않았습니다. Claude가 온건한 주장을 위해 인용한 한 연구는 실제로 더 큰 후속 연구에 의해 모순되었으며, 또 다른 연구는 실제였지만 발견한 것과 거의 반대되는 것으로 인용되었습니다. 두 오류 모두 산문에서는 보이지 않았습니다. 산문이 너무 좋았습니다.

이것이 바로 이해할만한 실패 모드입니다. 강력한 모델은 검증 가능하지 않고 그럴듯하게 인용합니다. Claude는 나중에 연구에서 참조한 논문에 대해 무엇을 말하는지 알 수 없었고, 문헌 전반에 걸쳐 인용 감정을 추적하는 도구 없이는 알 방법이 없었습니다.

이제 제가 게시하는 모든 작업에 대해 작업 흐름을 협상할 수 없습니다. Claude 초안을 작성하고 Scite가 모든 인용을 검토하고 Claude가 수정합니다. 여러 날에 걸쳐 진행되는 프로젝트의 경우 총 오버헤드는 약 1시간입니다. 대안(전문 지식처럼 읽기 때문에 유창한 산문을 신뢰하는 것)은 자신감 있는 문단이 철회가 되는 방식입니다.