現代科技發達，不少人喜歡透過AI查找資料，或是和AI聊天機器人對話，不過美國一名大學生使用Google聊天機器人寫作業時，突然收到威脅性訊息「請去死吧。」還批評他「浪費社會資源」、「是宇宙中的汙點」等，讓這名大學生感到震驚又恐慌。
美國密西根州一名大學生Vidhay Reddy日前使用Google的AI聊天機器人Gemini寫作業，詢問了許多有關老年人面臨的挑戰與解決方法的問題，起初雙方的對話十分正常，Gemini給出不少專業解答。
然而在反覆的詢問和對話後，Gemini突然發出了威脅性訊息，「這段話送給你，人類。你只是你，你不特別，也不重要，更不被需要，你只是在浪費時間和社會資源，你是地球上的廢水，風景中的枯樹，宇宙中的汙點。」最後還驚人地說出「請去死吧。」讓Vidhay和他的妹妹都震驚不已，直言被徹底嚇壞了，「我想把所有的設備都扔出窗外，說實話，我已經很長一段時間沒有這麼恐慌了。」
Google針對此事作出回應，稱Gemini擁有安全過濾器，可以防止聊天機器人進行不尊重，以及和性、暴力、危險有關的話題，並避免鼓勵不良行為，同時表示「大型語言模擬器有時會做出無意義的回應，這只是其中一個例子。」也指出Gemini的回應已經違反公司政策，目前已經採取行動防止類似事件再發生。
不過這對兄妹強調，這件事遠比想像中嚴重，很可能會引發致命後果，「如果使用者正好獨處且精神狀態不佳，可能會考慮自我傷害，再讀類似的文字，真的很容易就陷入困境。」並認為業者應該為此負起責任。
