競賽說明

機器學習模型的可解釋性（explainability）是人工智慧技術在落實與應用時，備受期待的項目。如果模型能夠在精準預測之餘，同時提供佐證其預測行為之依據，人類將有機會事先發現模型判斷的錯誤，大幅提高人類對模型之信賴，使得人工智慧技術更能落實到關鍵性的決策場域。
議論探勘（argument mining）是近期廣受矚目的自然語言處理任務。該任務試圖從文句中找出人們的主張（claim），以及支持或反對這些主張的原因。這可視為輿論探勘（opinion mining）或情緒分析（sentiment analysis）的進階任務。基礎的議論探勘任務，是給定一個主張（claim）與一個前提（premise），由模型判斷兩者之間的議論關係，例如該項前提為支持或反駁該主張。換言之，這是一個典型的分類任務，判斷一組主張與前提的關係。對於這類的任務，目前的自然語言處理模型已能達到一定的效能，近期的深度學習技術也顯示模型已能掌握部份議論推理能力。然而，模型在提供分類預測之餘，究竟是如何得到該預測之結果，其中的解釋性要素則仍然未有充份的研究。
有鑑於此，本計畫以議論探勘為目標，希望能讓模型在預測文句之間支持或反駁的關係之外，找出文句之中關鍵性的片段，作為預測的佐證資訊。這類資訊可以讓研究人員更了解模型內部的行為、促進自然語言處理的研究，同時也可望將來在終端應用時，提供出模型的判斷依據，讓人類評估模型該次判斷的可靠程度。

報名規範

1. 年滿18歲皆可報名參加，未滿18歲之未成年人經法定監護人同意後可報名參加。（趨勢科技公司員工除外）
2. 參賽隊伍人數1至5人。
3. 參賽者只能加入一個參賽隊伍，一旦加入隊伍後則無法更換隊伍。
4. 報名截止後，不可再變更團隊成員名單及人數。
5. 比賽期間，隊伍不可合併與分割。
6. 基於學校課程要求而參與比賽的參賽者，隊伍命名方式請依循學校課程之規定，以利課堂評分。

報名方式

1. 報名隊伍每位隊員皆須於『T-Brain AI實戰吧』(https://tbrain.trendmicro.com.tw/) 以 Google 或 Facebook 帳號註冊會員。
2. 報名隊伍每位成員須於『AI CUP報名系統』(https://go.aicup.tw/)登入報名，並依照報名頁面所示項目，逐項填寫每位隊員之資料(註1)，並完成組jp隊流程，以進行競賽登錄。
3. 隊伍於『AI CUP報名系統』完成競賽登錄的1~2個工作日後，各隊伍成員即可於『T-Brain AI實戰吧』參與本次競賽。
4. 參賽組別分為學生組、社會人士組。學生組需要全隊皆為學生身分；隊伍內只要有一名非學生身分者，則全隊列為社會人士組。
5. 報名後，請每位參賽者協助填寫「自然語言理解的解釋性資訊標記競賽－前測問卷」。
註1：報名系統流程說明可至 AI CUP官網查看（相關網站→ AI CUP報名系統流程）。隊員資料中的Email，請填寫各隊員於『T-Brain AI實戰吧』註冊之Email，若報名頁面填寫之Email與『T-Brain AI實戰吧』之Email兩者不相符，將視為報名不成功。

領獎資格與方式

1. 本次獎項包括「學生組排名獎」14隊、「學生組創意獎」1隊、「趨勢科技社會人士組特別獎」2隊、「趨勢科技學生預聘獎」10隊。
2. 學生組排名獎：得獎隊伍同意協助主辦單位下列安排，否則喪失領獎資格。
   • 隊伍內所有成員於報名當日，皆須符合中華民國在學學生身分，該參賽隊伍方具學生組領獎資格，並於敘獎時檢附相關證明。
   • 獎金以新台幣匯款方式發放，得獎隊伍應配合中華民國稅法繳交相關所得稅。
   • 「學生組排名獎」得獎隊伍須於指定截止日前，提交可重現該模型的原始程式碼與最終報告，以驗證結果。
   • 最終成績的評量項目為：該隊伍於Private Leaderboard之分數及排名。惟獲獎隊伍必須繳交報告，並通過評審委員團隊的審查。
   • 報告應包含主辦單位所規定之內容項目，審查依據主要包括：(1). 報告完整性、與(2). 報告正確性。由教育部人工智慧競賽與標註資料蒐集計畫辦公室之專家委員組成之評審團隊，進行審查。若截止期限之後報告仍有所缺漏、或截止期限後方繳交者，將不予以審查並且失去敘獎資格。
   • 「學生組排名獎」得獎隊伍內任一成員，曾於「教育部人工智慧競賽與標註資料蒐集計畫辦公室」所運籌之「教育部全國大專校院人工智慧競賽 (AI CUP)」已獲得前三名之優秀成績達三次(含以上)者，若於比賽中再次得名，該隊伍將僅獲頒教育部獎狀、不發放獎金，獎金遞補予次一名隊伍，兩支隊伍將並列同一名次。此規定不溯及既往，獲獎次數累計自2022秋季賽起算。
   • 「學生組排名獎」得獎隊伍相關指導成員，將提供教育部獎狀乙紙或教育部人工智慧競賽計畫辦公室電子版獎狀。惟指導教授不得與學生一同報名，請於最終報告內填寫指導教授名稱。
   • 獲頒「學生組排名獎」之得獎隊伍，經主辦單位之評審委員審定後將獲得教育部獎狀乙紙。
   • 「學生組排名獎」各項獎勵名額得視參賽件數及成績酌予調整，參賽作品未達水準時，得由主辦單位之決選評審委員決定從缺，或不足額入選。
   • 得獎隊伍需於比賽結束後的指定期限內，交付完整實作程式及設計文件予主辦單位。
   • 得獎隊伍需至少推派一員代表，依主辦單位通知參與後續頒獎活動，如無隊友協助，則可請親友一人代表出席領獎及進行簡報分享。
   • 因報名資格審查及頒獎資料審核需求，請確認 T-Brain 註冊帳號之姓名為正確之中文姓名，如有需要可至 T-Brain 帳號之 My Profile 功能中進行修正。
3. 學生組創意獎：得獎隊伍同意協助主辦單位下列安排，否則喪失領獎資格。
   • 隊伍內所有成員於報名當日，皆須符合中華民國在學學生身分，該參賽隊伍方具學生組領獎資格，並於敘獎時檢附相關證明。
   • 獎金以新台幣匯款方式發放，得獎隊伍應配合中華民國稅法繳交相關所得稅。
   • 「學生組創意獎」得獎隊伍須於指定截止日前，提交可重現該模型的原始程式碼與最終報告，以驗證結果。
   • 評審原則以「具備發表研討會論文潛力」為評斷依據，報告內容可包括問題說明、方法優化、及方法創新想法等，並同時參酌報告完整性、正確性、及原創性三大方向。若未達評審標準，本獎項可從缺。
   • 本獎項不計Leaderboard分數與排名，若得獎隊伍同時具備其他獎項領取資格，亦可與其他獎項重複領獎，即可能同時獲頒學生排名獎或趨勢科技學生預聘獎。
   • 得獎隊伍需至少推派一員代表，依主辦單位通知參與後續頒獎活動，如無隊友協助，則可請親友一人代表出席領獎及進行簡報分享。
4. 趨勢科技社會人士組特別獎 (優等獎、佳作獎各一)：得獎隊伍同意協助主辦單位下列安排，否則喪失領獎資格。
   • 本獎項頒發給Private Leaderboard最高分之兩隊之非學生隊伍，隊伍須於報名時未勾選為學生組 (隊伍中至少有一人為社會人士身分)，方具領獎資格。本獎項與「學生排名獎」不可同時領取。
   • 最終成績的評量項目為：該隊伍於Private Leaderboard之分數及排名。惟獲獎隊伍必須繳交報告，並通過評審委員團隊的審查。
   • 報告應包含主辦單位所規定之內容項目，審查依據主要包括：(1). 報告完整性、與(2). 報告正確性。由教育部人工智慧競賽與標註資料蒐集計畫辦公室之專家委員組成之評審團隊，進行審查。若截止期限之後報告仍有所缺漏、或截止期限後方繳交者，將不予以審查。
   • 隊伍內至少一人須具備中華民國國籍、或中華民國工作或學生簽證，該參賽隊伍方具一般組領獎資格。
   • 獎金以新台幣匯款方式發放，符合報名規範及具領獎資格之得獎隊伍應推派有本地新台幣帳戶之隊員代表受領獎金，並以該隊員為中華民國稅務申報人，依規定簽署包含稅務、個資使用等相關之文件。
   • 得獎隊伍需於比賽結束後的指定期限內，交付完整實作程式及設計文件予主辦單位。
   • 得獎隊伍需至少推派一員代表，依主辦單位通知參與後續頒獎活動，如無隊友協助，則可請親友一人代表出席領獎及進行簡報分享。
5. 趨勢科技學生預聘獎：得獎隊伍同意協助主辦單位下列安排，否則喪失領獎資格。
   • 本獎項由趨勢科技贊助，得獎隊伍內所有成員於報名當日，須符合中華民國各校在學學生身分，隊伍內之每位成員皆具獲獎資格。
   • 本獎項不計Leaderboard分數與排名，凡最終成績超過Baseline之學生隊伍，依規定格式與時程提交構想與實作文件，由教育部人工智慧競賽與標註資料蒐集計畫辦公室之專家委員組成評審團隊，進行優勝隊伍遴選，並得由主辦單位之決選評審委員決定從缺，或不足額入選。
   • 報告應包含主辦單位所規定之內容項目，評審原則包括三大面向：(1).報告表達結構性與流暢度、(2).有效運用資源以解決問題、(3).後續優化或改善方案建議。
   • 比賽結束後，趨勢科技將主動聯絡具獲獎資格之所有隊伍成員是否領取預聘書，並說明聯絡預聘書寄發細節、說明預聘書使用方法等相關規定。趨勢科技學生預聘獎之獲獎者，持預聘書至趨勢科技報到並就職，依預聘書規定額外加發獎勵金1萬元。
6. Private Score排名前25%的隊伍 (不超過30隊)，不限身分依規定繳交報告後經主辦單位之評審委員審定，將獲頒教育部人工智慧競賽計畫辦公室電子獎狀。

評分標準

1. 提交檔案請使用.csv檔，內容格式需符合比賽格式規定。上傳檔案內容請使用UTF-8(無BOM檔首)編碼，並使用Unix系統換行字符。請勿使用其他Non-Printable Characters，以避免評分失敗的可能。
2. Leaderboard系統會對每次的提交結果進行評測。
3. 競賽測試資料集Testing Dataset中包含Public Dataset及Private Dataset，每次上傳應上傳完整答案，以免影響成績。11/25早上11:00起至12/8下午16:00測試資料集比賽期間，每一日曆日上傳次數上限為3次，，參賽隊伍會得到 Public Leaderboard 評測的分數做為參考。比賽結束時會另外公佈Private Leaderboard的結果，並以各隊伍最高分之Private Score結果進行最終排名。

任務敘述

本競賽的每一筆輸入資料為一個三元組(q, r, s)，q是一則英文論述，r是一則對q進行回應的英文短文，s則是r對q的議論關係，可能是同意（agree）或不同意（disagree）。輸出資料則是一個雙元組(q',r')，q'與r'分別是q與r的子序列（subsequence），且q'與r'提供了關鍵性的資訊，足以判斷q與r呈現s的關係。 競賽任務、資料範例、與格式說明，請進一步參考「資料下載區 (Download Dataset)」內之「競賽任務與資料說明」文件。

評分預處理

評分以詞組(token)為計算單位，因此評分時會先使用nltk套件(3.7版本)裡的tokenize.word_tokenize()函式分別對q'與r'進行分詞（word tokenization），並且排除長度為1且只有標點符號的詞組。標點符號的內容為以下字元之一。
!"#$%&'()*+, -./:;<=>?@[\]^_`{|}~

評分方式

競賽規則

1. 預測結果每日提交上限 3 次，上傳次數以檔案為單位計算。
2. 參賽隊伍可以使用自行製作的資料、字典，或額外的開源資源來增進模型訓練結果，惟務必使用機器學習/深度學習方式來進行文字辨識。若使用字典或額外的開源資料，須於比賽結束繳交的書面報告文件中提供相關來源。如有爭議，主辦單位保有最終決定權。
3. 競賽結束後須繳交可重現之實作程式，包含(但不限於)：前處理程式碼、訓練程式碼、辨識程式碼、各項參數之設定(包括訓練權重)、執行環境，並於報告中詳加說明。實作程式繳交方式為：上傳至參賽者個人之Github，並提供主辦單位下載網址，該程式之可執行性及可驗證性將影響獲獎資格。
4. 參賽者所上傳的結果不得使用人為修正，以避免影響比賽公平性。
5. 不可私下共享程式及特徵值，但可在官方討論區公開討論。
6. 如有需要，主辦單位有權在比賽途中調整資料集。
7. 如有下列情事，主辦單位得無需告知參賽者，逕行取消參賽者資格或領獎資格：
   • 已有具體事證，所屬隊伍有任何抄襲、作弊、或詐欺等行為
   • 已有具體事證，所屬隊伍有侵害他人智慧財產權之情事
   • 已有具體事證，所屬隊伍有對Leaderboard系統進行攻擊
   • 已有具體事證，所屬隊伍影響其他參賽隊伍導致不公平事例發生
   • 已有具體事證，所屬隊伍違反本比賽活動辦法、或「T-Brain AI實戰吧平台服務」 使用條款、或「自然語言理解的解釋性資訊標記競賽」參賽者使用條款
8. 主辦單位保有對活動與競賽規則解釋及裁決的權利

獎項說明

• [學生組排名獎] 金牌獎 新台幣 10 萬元
• [學生組排名獎] 銀牌獎 新台幣 6 萬元
• [學生組排名獎] 銅牌獎 新台幣 4 萬元
• [學生組排名獎] 優等獎 新台幣 1 萬元
• [學生組排名獎] 佳作 新台幣 5 千元
• [學生組排名獎] 佳作 新台幣 5 千元
• [學生組排名獎] 佳作 新台幣 5 千元
• [學生組排名獎] 佳作 新台幣 5 千元
• [學生組排名獎] 佳作 新台幣 5 千元
• [學生組排名獎] 佳作 新台幣 5 千元
• [學生組排名獎] 佳作 新台幣 5 千元
• [學生組排名獎] 佳作 新台幣 5 千元
• [學生組排名獎] 佳作 新台幣 5 千元
• [學生組排名獎] 佳作 新台幣 5 千元
• [學生組創意獎] 新台幣 1 萬元
• [趨勢科技社會人士組特別獎：優等] 新台幣 2 萬元
• [趨勢科技社會人士組特別獎：佳作] 新台幣 1 萬元
• [趨勢科技學生預聘獎] (註)

學生組前14名隊伍除獎金獎項外，並將獲頒"教育部獎狀"。Private Score前25%的隊伍 (不超過30隊)，不限身分依規定繳交報告後經主辦單位之評審委員審定後，可獲頒"計畫辦公室電子獎狀"。

註：趨勢科技學生預聘獎以隊伍為單位評審，最高10隊，視評審結果可從缺或不足額錄取。隊伍中所有成員皆為獲獎者，獲獎者應於應屆畢業後即使用該預聘書，至趨勢科技報到並就職，依預聘書規定趨勢科技將額外加發獎勵金新台幣1萬元。同一獲獎人 (以身分證字號/護照號碼與姓名為認列依據) 若已於其他競賽或活動獲得趨勢科技發放之預聘書，並該預聘書仍具備使用有效性，則不重覆寄發實體預聘書。預聘書之有效期限為2年，若有特殊狀況需延長使用年限可與趨勢科技HR協商，惟須注意仍限制應屆後即使用為原則。

競賽時程

競賽指導單位：教育部資訊及科技教育司

教育部資訊及科技教育司「結合資訊、科技與人文，引領學校邁向永續發展新世紀」之願景，規劃「前瞻人才培育」、「精緻數位學習」、「科研倫理素養」、「數位公義關懷」、「校園環境永續」五大目標，建構以「人」為中心的學習環境，培育具關懷社會與環境之現代公民，強化國家永續發展。

競賽運籌單位：教育部人工智慧競賽與標註資料蒐集計畫辦公室

本計畫【人工智慧競賽與標註資料蒐集】為教育部所發起的人工智慧技術及應用人才培育計畫中的其中一項子計畫，透過訂定競賽議題，並每年舉辦AI競賽，藉由搭配學期時間與學校課程合作，老師可審核學生學習一學期後將理論運用在實際問題上的能力，且因競賽資料較貼近生活實際狀況，而非針對教學方便所製作出簡單的數據，學生需要更深入思考才可達到標準，AI競賽將會經過競賽審查委員嚴格審查後頒發獎金及獎狀，以資鼓勵學生們參與培育更多AI人才。

議題提供單位：中央研究院資訊科學研究所

中央研究院資訊科學研究所於1977年開始設立籌備處，歷經五年籌備， 於1982年9月正式成立研究所，是中央研究院數理組十一個單位之一。目前編制內有39位研究人員，另外有29位博士後研究學者，將近300位專任之資訊技術人員與非全時之研究助理，支援資訊領域之研究與系統之開發。「件件工作，反映自我，凡經我手，必為佳作」是全體同仁一致秉持的工作信念，重視工作之卓越品質，發揮最佳綜效之團隊精神。本所除了從事資訊科學領域的基礎研究之外，亦以開發具前瞻性之尖端技術與發展以應用為導向的最先進系統為職志。身處學術重鎮，本所有責任在國內資訊領域肩負起學術領導地位，提升本國資訊科技水準，並躋身國際一流學術研究單位。本所依研究領域共有生物資訊實驗室、電腦系統實驗室、資料處理與探勘實驗室、多媒體技術實驗室、語言與知識處理實驗室、網路系統與服務實驗室、程式語言與形式方法實驗室、計算理論與演算法實驗室等八大實驗室，研究重點包含生物資訊、平行及分 散式運算、智慧代理人、文件分析與辨識、多媒體系統、電腦視覺、影像處理及圖形識別、中文資訊處理、自然語言理解、電腦通訊與網路、網路內容管理與XML、網路與軟體安全、形式驗證、演算法設計與分析、密碼學、機器人學等。本所的研究經費，主要來源是中央研究院，科技部，教育部，衛福部，以及其他政府或民間財團法人等單位，亦接受國內資訊業界委託計畫。與國內學術、研究單位及產業界建立良好合作關係，也歡迎跨國的學術合作與交流。

平台贊助單位：趨勢科技

趨勢科技為資訊安全解決方案全球領導廠商，致力建立一個安全的資訊交換世界。我們專為消費者、企業及政府機構設計的創新解決方案，能為資料中心、雲端工作負載、網路、端點裝置提供多層式安全防護。我們的產品皆彼此整合、共享威脅情報，提供環環相扣的威脅防禦與集中式的掌握及調查能力，實現更好、更快的防護。趨勢科技全球共超過 6,000 名員工，遍及 50 個國家，並擁有全世界最先進的全球威脅研究及情報，是企業保護連網環境的最佳夥伴。

Q&A

若對於比賽有任何問題，歡迎在 討論區 提出，或是將問題透過 Email 寄到 T-Brain

巡迴課程