閱讀法學論文的AI助手：比較提示詞與GPT-4 Turbo、Claude 2.1及Mistral Large的效能

在人工智慧的浪潮中，AI 大語言模型已經成為解讀複雜文本的新利器。本文將探討以GPT-4 Turbo、Claude 2.1與 Mistral Large 等 AI 大語言模型是否能協助讀者閱讀長篇法學論文，以及如何快速掌握整篇論文之要點，並檢視各 AI 大語言模型模型在解析法學專業文獻上的表現。

一、解讀的法學論文

我選擇《論機器學習之著作權困境與應對》這篇論文，作者是徐龍、鄭冠宇。本篇文章是發表在臺大法學論叢 2023年6月，有85頁，篇幅較長，是從月旦知識庫下載該篇論文的PDF檔。作者在本篇論文中，有使用摘要、目次及次級標題，結構清晰完整。

二、使用的大語言模型

Perplexity.ai 是可以上傳PDF檔發問問題的AI平台，在2024年3 月間，使用者升級成Pro版的帳號，就可以調用GPT-4 Turbo, Claude-2.1 及新發佈的 Mistral Large 等大語言模型：

GPT-4 Turbo：是由 Open AI 開發的大語言模型。
Claude 2.1：是 Anthropic 公司開發的大語言模型。Claude 雖然有免費的網頁版，但將這篇論文PDF檔上傳到Claude，Claude會出現 “Message is 233% over the length limit. ”（傳訊的訊息超過限額的233%）的訊息，因而無法直接在 Claude 網頁解讀。那就利用 Perplexity.ai 的 Pro 版調用 Claude 2.1 大語言模型來上傳 PDF 檔與發問。。
Mistral Large ：Mistral 大語言模型是在2024年2月27日由法國的Mistral AI公司發佈。Mistral 有網頁版，但使用時是無法上傳PDF檔。不過， Perplexity.ai 的 Pro 可以調用 Mistral Large 大語言模型來上傳 PDF 檔與發問。

三、提示詞

提示詞，是大語言模型中用於引導和優化模型生成特定回應的關鍵訊息。在使用者與大語言模型進行互動時，提示詞的設計和選擇對於獲得精確、相關且高質量的輸出至關重要。透過精心設計的提示詞，我們可以引導大語言模型依照使用者的要求回答，從而提高大語言模型在自然語言處理任務上的性能。

經過對網路上的提示詞進行研究，我選擇直接採用或根據需要進行適當的修改，利用這些經過精心設計的提示詞來指導大語言模型對這篇論文進行深入的解讀。以下就是我使用的幾組提示詞：

第 1 組
請列出本篇文章之標題、作者、發表出處及日期。

第 2 組
請從以下 5 個方面幫我總結這個文檔：
1. 主要是為了解決什麼問題？
2. 提出了什麼解決方案？
3. 解決方案中核心的方法/步驟/策略是什麼？
4. 結論是什麼？
5. 有什麼限制條件？
請有條理地組織以上信息，確保涵蓋每一個點。

第 3 組
請提煉文章中的反常識觀點和高資訊熵內容：
– 需以條列式呈現。
– 先給結論，再給論據。若一項結論有多項論據，請列出來。
– 應在原文基礎上提煉。
– 若有數字和年份等關鍵資訊，必須顯示出來。
– 盡可能長篇回覆。
– 回覆要求有邏輯、結構化。

第 4 組
請列出本篇文章之大綱（或目次）

第 5 組
請總結：{大綱或目次內的次級標題名稱}
需以條列式呈現（註：如果大語言模型會自動以條列式呈現，這段文字可不加）

第 6 組
請依本篇文章之大綱，依序逐段總結。

第7組
請說明：
轉化性使用理論
三步測試原則

第8組
請說明：
合理使用四要素

以上為我使用的提示詞，效果如何？請點擊下方【與AI對話結果】段落內的連結來觀察。

此外，我特別從本篇論文中挑出「合理使用四要素」、「轉化性使用理論」、「三步測試原則」，來詢問大語言模型。如第7、8組提示詞所示。

附帶解釋其中一組提示詞所使用的術語：

反常識觀點：是指那些乍看與人們普遍接受的常識相違背的觀點或事實。這些觀點往往挑戰了人們的預設認知，引發人們對於既有知識和信念的重新思考。
高資訊熵：是指那些包含大量新信息、需要消化和理解的內容。這類內容對接收者來說可能既挑戰性又有啟發性，因為它們提供了大量未知的信息，促使人們學習和適應新知識。

四、與AI對話結果

以下是我與 Perplexity.ai 調用的三個大語言模型的對話。在每則對話的右下角，可以看出來所使用的大語言模型名詞：

GPT-4 Turbo：點擊查看我與 Perplexity AI 調用 GPT-4 Turbo 的對話

Claude 2.1：點擊查看我與Perplexity AI 調用的Claude 2.1 的對話

Mistral Large：點擊連結查看我與 Mistral Large 的對話

偷懶的 AI：點擊查看偷懶的AI如何回答問題

五、心得

（一）使用提示詞的建議

使用第1至3組的提示詞，可以初步瞭解本篇論文的重點。

使用第4組的提示詞，可以瞭解論文的結構。

如果只是要瞭解論文的重點，使用前述第1至3組的提示詞，應已足夠。

如果要全面深入解讀論文，則應該逐段總結。由於大語言模型回答問題，字數似乎會有限制。所以，比較一次使用「逐段總結」的提示詞的方式（第6組提示詞）；與依大綱或目次的結構，一次總結一個次級標題的內容，並逐次接續使用總結下一個次級標題的方式（第5組提示詞）；後者會更詳盡。這可以在前述「與AI對話結果」內，觀察到這樣的效果。

有時候，大語言模型會發生偷懶的情形，例如前述「偷懶的AI」的對話。此際，如果是使用如 Perplexity.ai Pro 帳號可以調用其他大語言模型的平台，重新以另一個大語言模型提問。

又，如果大語言模型的答案，是直接給出一串沒有條列式文字時，可以在提示詞中多加一段「需以條列式呈現」的文字。大語言模型就會以條列式呈現出他的答案。

以上的提示詞，應該也可以使用在其他社會科學類的論文，以快速獲取一篇論文的要點。

（二）比較三個大語言模型回答問題的答案

主要論點方面

這篇論文的主要論點在於：建議制定法定授權制度，以解決機器學習在過程中所可能涉及的重製等有侵害著作權疑慮之行為。這在使用第2組提示詞後，這三個大語言模型都能順利解讀出來。畢竟，這一主要論點，在這篇論文開頭的摘要就有點出來。

大綱及逐段總結方面

本篇論文結構良好，有附上目次，也有明顯標示出各級標題。所以，大語言模型幾乎都可以順利解讀論文的大綱。在逐段總結的階段，也能將各章節要點歸納出來。整體而言，GPT-4 Turbo 解讀比較詳細，也會將次級標題字體加粗。Mistral Large及 Claude 2.1 的解讀，則稍嫌簡略，但也能讓使用者瞭解到本篇論文的意思。但有時候，Claude 2.1會出現重複前一次的回答，以英文回答中文提問，以及以簡體中文回答繁體中文提問等瑕疵，詞如偷懶的 AI 所示。

重要名詞方面

就本篇論文中提到的重要名詞，例如「合理使用四要素」、「轉化性使用理論」、「三步測試原則」。以上的三個名詞，在本篇論文中，雖然沒有顯示在目次中，但在內文中有以粗體字顯示在第三級標題（一）、（二）等前綴之後。三個大語言模型，在逐段總結的提示詞下（提示詞：「請總結：陸、機器學習的合理使用」），雖然有總結出這一段落的意思，但未必有總結出有這三個重要名詞。

那就追問這三個重要名詞吧。在使用「請說明：…」（即前述的第7、8組）的提示詞後，GPT-4 Turbo 與 Mistral Large 都可以正確回答出其意義；而Claude 2.1 雖能回答出「轉化性使用理論」、「三步測試原則」，但就「合理使用四要素」，原本是回答搜索不到，經過幾次給出 Rewrite 的指令後，還是回答搜索不到、本文未提及等語，只提到：「台灣和美國的著作權法中確實都規定了判断合理使用的四個考量因素」。再繼續追問，這才將這四個要素的內容回答出來。

結論

在解讀結構良好的論文時，現階段還是使用 GPT-4 的大語言模型，再配合適當的提示詞。GPT-4 就能回答出正確的答案，回答也比較詳細。使用者可以根據大語言模型回答的結果，決定是否精讀這篇論文。不過， Perplexity.ai 所調用的 Claude 2.1模型，在中文問答方面，似乎存有缺陷，使用時若遇到重複回答或其他胡亂回答的情形，宜另換一個大語言模型來使用。

註：在閱讀完這篇評論後，若覺得 Perplexity AI 值得進一步深入使用，可以透過這個推薦連結訂閱 Perplexity AI 的 PRO 版帳號。您我都會獲得10美元的折扣優惠。