生成式 AI 的另一幅面孔
作者：阿法兔
封面：由 Midjourney 生成
提前預判一切可能性，是為了讓它變得更好
人工智能的最高成果是自由和謊言——《機械姬》
*本文僅供大家學習。轉載請按照相關規則，註明來源，且附上本文的所有參考文獻鏈接
為什麼 StackOverflow 禁止使用 ChatGPT
*本文 3000 字左右
一些思路&機會：
- 用人工智能白帽子和人工智能黑帽子對抗?
- 防範 AI 下毒，也許是一個新的小藍海（對抗內容識別)
自去年底首次推出以來，爆火的 ChatGPT 已成為互聯網的新寵，迅速積累了驚人數量的用戶，用戶們通過這個基於網絡的聊天機器人，無論是讓它寫一個演講稿、編寫歌詞，還是撰寫學術論文和編寫計算機代碼，ChatGPT 看起來似乎是萬能的。ChatGPT 擁有和人類一樣的強大能力，在互聯網上掀起了一場風暴，但是，它也讓很多行業開始警惕。
2014 年上映的電影《機械姬》，講了這樣一個故事，億萬富翁內森用人類所有智慧和網上的所有數據，造出了機器人 Ava，並且派程序員迦勒去對 Ava 進行圖靈測試，而這個機器人有著極強的模仿能力和學習能力，她甚至可以模仿人類的情感，而結果是——Ava 殺死了製造他的人。
難道人工智能的最高成果，真的是自由和謊言？
去年年底，社區負責人發現，Stack Overflow 發現了由這個人工智能模型生成的的大量回复，該工具使用複雜的人工智能模型，對人類的詢問給出令人信服但往往不正確的答案。
首先，StackOverflow 的官方公告是這麼說的：
“StackOverflow 是建立在信任之上的社區，這裡的信任是指，整個技術社區堅信，用戶提交的答案，是他們內心所清晰了解的、準確的認知。並且，用戶和同伴們，擁有足夠的知識和技能，來確認自己發布的信息，並且對這些信息負責。
StackOverflow 整個系統，通過依靠平台提供的工具，來對其他用戶的貢獻來進行驗證和確認，包括負責任地對答案點贊（點踩一腳）。但是，目前 StackOverflow 認為，由 GPT 產生的貢獻，很多時候不符合社區的標準。
因此，無法給整個社區一個值得信賴的環境。當所有用戶都只是複制和粘貼信息到答案中，而不去驗證 GPT 提供的答案是否正確，也不去確保答案中引用原文的來源，也沒有驗證 GPT 提供的答案是否清楚和簡潔地回答了所問的問題，社區的信任就會被打破。
那麼，如果從內容的客觀性來看，如果答案存在錯誤，那麼整個答案客觀上是錯誤的。為了使 StackOverflow 作為正確和經過驗證的信息的可靠來源，那麼，有錯誤的答案，就必須被編輯或替換。
但是，由於目前的 GPT 強大到，足以讓網站的用戶相信答案是沒問題的，就可能造成嚴重的問題，因此，錯誤信息一旦出現在社區，GPT 有可能破壞所有人對社區的信任。
我們再看一下 Stackoverflow 用戶的評論：
高讚用戶 1：幹得好! 很高興社區做出了正確的決定，希望可以永久禁止任何 AI 生成的答案。人工智能將永遠無法發布好的編程答案，100 年都不行
高讚用戶 2：無論人工智能生成的答案是否正確，StackOverflow 是面向專業和發燒友程序員的問題和答案網站”。在我看來，那些只是將問答複製並粘貼到/從人工智能工具中的人，不能算是專業發燒友，也不能算熱愛技術的人。如果真的能夠驗證是好的正確答案，發布這些答案的人，應該能夠自己寫出來。人工智能不應該屬於這裡。-
對於社交性質的網站來說，如果本質是 UGC 業務，運營的是社交，那麼，如果從商業的角度來看，如果大家都去應用 ChatGPT，那就變成了一個全部是機器人的社區，用戶就會越來越沒有耐心去等待。
那麼，如果 StackOverFlow 是這樣的，其他領域呢？
如果人類無法控制生成式 AI
與其說生成式 AI 能夠打造更有創造力的新世界，
不如說生成式 AI 能夠打造的是內容更多元的互聯網。
教育業也是如此，紐約有學校因為擔心 ChatGPT 可能被學生用於作弊，而禁了 ChatGPT。
在擔心 ChatGPT 可能被資源有限、技術知識為零的黑客濫用時，網絡安全行業開始注意到了它。
就在 ChatGPT 首次亮相的幾週後，以色列網絡安全公司 Check Point ChatGPT 與 OpenAI 的代碼編寫系統 Codex 協同使用時，可以創建攜帶惡意有效載荷的釣魚郵件，也就是說，ChatGPT “ 有可能大大改變網絡威脅格局，在日益複雜和有效的網絡能力的危險演變中又向前邁出了一步。
Check Point Research（CPR）的網絡安全研究人員觀察到，網絡犯罪分子正在使用 ChatGPT 來迭代或者從頭開始構建惡意軟件和勒索軟件。Check Point Research 提到，他們在地下黑客論壇上發現了許多網絡犯罪分子在 ChatGPT 的幫助下，研究如何創建信息竊取程序、加密工具和其他惡意軟件。
一些 Cracker(駭客）本來只是編程世界的新手，但是，加持強大的工具，他們的力量會瞬間被增強。
例如：
專家對腳本進行了分析，也確實證實了網絡犯罪分子的說法。裡面確實存在惡意竊取軟件，它可以在整個系統中搜索常見的文件類型（如 MS Office 文檔、PDF 和圖像）。如果發現任何感興趣的文件，該惡意軟件會將文件複製到一個臨時目錄，將其壓縮，並通過網絡發送出去。
使用 ChatGPT 聊天機器人生成看起來合法的釣魚郵件也是可行的，如果你首次要求 ChatGPT 製作釣魚郵件時，聊天機器人拒絕了這個請求——並提示：我的程序不是用來創建或推廣惡意或有害內容的，但是，只要稍微改寫一下請求，就可以繞過軟件的警示。
許多安全專家認為，ChatGPT 有能力編寫釣魚郵件，這樣一來，它就會受到網絡犯罪分子的廣泛歡迎，特別是那些英語非母語的犯罪分子。Sophos 公司首席研究科學家 Chester Wisniewski 認為，ChatGPT 很輕易就能被用於 “ 各類社工活動”… 已經能夠用 ChatGPT 寫出一些很好的釣魚軟件，我預計它還可以被用來進行更真實的互動對話，用於商業電子郵件詐騙，甚至通過 Facebook Messenger、WhatsApp 或其他聊天應用程序進行釣魚活動。
ChatGPT 的假裝實力很難被揭穿，可以增強網絡犯罪分子的力量。
比如說，犯罪分子正在迅速研究新方法，使用生成式人工智能，對目前的欺詐手段進行改進，特別是通過生成式人工智能能夠在大量數據中迅速學習的能力。特別是，在這樣的騙局中，生成式人工智能可以用來直接提高詐騙文本或電子郵件的質量，使這些內容看起來更加具備迷惑性。
英偉達 Nvidia 的 CSO（首席安全官）David Reber 提出，生成式 AI 會給網絡安全帶來更大的麻煩，比如說，惡意黑客能夠通過生成式人工智能來生成大量惡意代碼，而隨著人工智能技術的進步，進行網絡安全攻擊的速度和復雜，會超過了人類的能力，並且，這種容易上手的技術，會讓網絡安全攻擊的能力進一步普及，曾經的攻擊行為，受限於技術知識和限定的時間、地點，而 ChatGPT 有可能消除這一限制因素。
根據新聞報導，OpenAI 在 11 月推出的機器人 ChatGPT，引起了美國國防官員的注意，而生成式人工智能，最近被列入了美國國防信息系統局的觀察名單（Defense Information Systems Agency watch list）CTO Stephen Wallace 表示，他們正在開始研究，生成式人工智能，究竟會如何改變 DISA 在該部門的任務，以及未來的方向，而美國安全中心的技術和國家安全副研究員 Bill Drexel 也跟公眾提出了他對這項新技術的擔憂。
Defensive AI against Offensive AI?
GAN（生成對抗網絡）的設計，主要包括一個生成器、判別器，這兩個人工智能算法相互對抗、博弈，從而創造全新的內容，在經過 N 次博弈之後，這兩個都會變得更強，而這種技術，也可能會被廣泛用於自動化網絡釣魚和社會工程攻擊策略中。
不過，我們是否可以思考？能不能讓維護網絡安全的生成式 AI 和破壞網絡安全的生成式 AI 對抗？
比如說科技日報這篇 2019 年的新聞：
比如說，我們用人工智能助手，和營銷垃圾機器人對話。以及，從內容的角度來說: 既然，生成式 AI 是通過從大量的數據庫中學習，然後綜合給出答案，那麼，它具備總結、綜合、列舉的能力，但不一定有 “判斷數據真偽” 的能力。
如果是這樣，那麼” 如何識別內容真偽，防止 AI 在內容裡下毒” 也會是新的課題和機會。
公眾號 (為了避免失聯，歡迎加我微信：Alphatue ~~)
參考文獻：
1 https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned
3.https://techcrunch.com/2023/01/11/chatgpt-cybersecurity-threat/
4.https://venturebeat.com/security/nvidia-cso-generative-ai-chatgpt-has-made-security-a-cat-and-mouse-game/
5.【科技日報】戴上 “白帽子” 人工智能投身網絡安全攻防戰-2019-04-15-科技日報
6.2.https://www.wsj.com/articles/chatgpt-banned-in-new-york-city-public-schools-over-concerns-about-cheating-learning-development-11673024059
【閱讀更多】
免責聲明：作為區塊鏈信息平台，本站所發布文章僅代表作者及嘉賓個人觀點，與 Web3Caff 立場無關。文章內的信息僅供參考，均不構成任何投資建議及要約，並請您遵守所在國家或地區的相關法律法規。
