競賽說明

Click here to DOWNLOAD competition description English version

如何設計一個系統，能自動閱讀論文摘要後，標註並統整論文裡所涉及的演算法？ 鑑於當今電腦科學的發展日新月異，演算法的更迭與演進以爆炸式的成長，歸納及統整這些演算法所需的人力將不復以往，而爬梳相關文獻所需的時間也往往讓研究者們深感無力。因此，讓機器自動梳理這些不斷推陳出新的演算法，將會是無可避免的嘗試。即便在人力可負擔的情形下，讓機器自動統整相關演算法，將可以讓研究者騰出時間做更有意義的事。

在本系列的競賽中，我們將嘗試以語意分析的技術解決一個令電腦科學研究者頭痛已久的問題：「如何設計一個能自動閱讀論文摘要，標注並統整論文中所發明、使用或用來比較的演算法的系統」。

競賽任務2 [論文分類競賽]：

從arXiv的電腦科學相關論文摘要，預測出摘要所屬的類別(Theoretical Paper, Engineering Paper, Empirical Paper, Others)。需注意的是摘要可以有多個分類，例如: 摘要可以同時是Theoretical Paper和Engineering Paper。

報名規範

1. 年滿18歲皆可報名參加，未滿18歲之未成年人經法定監護人同意後可報名參加。（趨勢科技公司員工除外）
2. 參賽隊伍人數1至5人。
3. 參賽者只能加入一個參賽隊伍，一旦加入隊伍後則無法更換隊伍。
4. 報名截止後，不可再變更團隊成員名單及人數。
5. 比賽期間，隊伍不可合併與分割。
6. 基於學校課程要求而參與比賽的參賽者，隊伍命名方式請依循學校課程之規定，以利課堂評分。

領獎資格與方式

1. 本次獎項包括「學生組排名獎」8名、與「趨勢科技人工智慧菁英獎」1名。
2. 趨勢科技人工智慧菁英獎：得獎隊伍同意協助主辦單位下列安排，否則喪失領獎資格。
   • 不分參賽者身份，本獎項頒發給Private Leaderboard最高分之隊伍。若得獎者為學生隊伍，則可與「學生組排名獎」重複領獎。
   • 隊伍內至少一人須具備中華民國國籍、或中華民國工作或學生簽證，該參賽隊伍方具一般組領獎資格。
   • 獎金以新台幣匯款方式發放，符合報名規範及具領獎資格之得獎隊伍應推派有本地新台幣帳戶之隊員代表受領獎金，並以該隊員為中華民國稅務申報人，依規定簽署包含稅務、個資使用等相關之文件。
   • 得獎隊伍需於比賽結束後的指定期限內，公開分享實作程式及設計文件。
   • 得獎隊伍需至少推派一員代表參與後續頒獎活動，如無隊友協助，則可請親友一人代表出席領獎及進行簡報分享。
3. 學生組排名獎：得獎隊伍同意協助主辦單位下列安排，否則喪失領獎資格。
   • 隊伍內所有成員於報名當日，皆須符合中華民國各大專校院在學學生身分，該參賽隊伍方具學生組領獎資格，並於敘獎時檢附相關證明。
   • 獎金以新台幣匯款方式發放，得獎隊伍應配合中華民國稅法繳交相關所得稅。
   • 「學生組排名獎」得獎隊伍須於指定截止日前，提交搜尋模型的原始程式碼與最終報告，以驗證結����。報告完整性將視為實際獲獎依據，若截止日後報告有所缺漏，將取消獲獎資格。
   • 「學生組排名獎」得獎隊伍相關指導成員，將由主辦單位發函建請教育行政主管機關學校，本權責予以行政獎勵。惟指導教授不得與學生一同報名，請於最終報告內填寫指導教授名稱。
   • 前八名之「學生組排名獎」得獎隊伍，經主辦單位之評審委員審定後將獲得教育部獎狀乙紙。
   • 「學生組排名獎」各項獎勵名額得視參賽件數及成績酌予調整，參賽作品未達水準時，得由主辦單位之決選評審委員決定從缺，或不足額入選。
   • 得獎隊伍需於比賽結束後的指定期限內，公開分享實作程式及設計文件。
   • 得獎隊伍需至少推派一員代表參與後續頒獎活動，如無隊友協助，則可請親友一人代表出席領獎及進行簡報分享。
   • 因報名資格審查及頒獎資料審核需求，請確認 T-Brain 註冊帳號之姓名為正確之中文姓名，如有需要可至 T-Brain 帳號之 My Profile 功能中進行修正。
4. 名次在前25%且超過Baseline (Baseline: 0.69)之隊伍，經主辦單位之評審委員會審定後，將獲頒教育部人工智慧競賽計畫辦公室獎狀。

評分標準

1. 提交檔案內容格式需符合比賽格式規定。
2. Leaderboard系統會對每次的提交結果進行評測。
3. 比賽過程中，參賽隊伍會得到 Public Leaderboard 評測的分數做為參考。
4. 比賽最後一天 (12/30) 公佈 Private Dataset 供參賽者進行預測及上傳。比賽結束後公佈 Private Leaderboard 的結果，以最後一次上傳之 Private Dataset 預測獲得之分數排名。

評分方式

Micro F1 Score

• TP_i : 分類 i 的 True Positive
• FP_i : 分類 i 的 False Positive
• TN_i : 分類 i 的 True Negative
• FN_i : 分類 i 的 False Negative
• 在競賽任務2中，分類為 Theoretical, Engineering, Empirical, Others

競賽規則

1. Public Dataset 預測結果每日提交上限 2 次，Private Dataset 預測結果在 12/30 提交之上限為 10 次。
2. 參賽隊伍可以使用額外資源如語料、字典及套件等來增進模型訓練結果，惟務必使用Machine Learning來進行辨識與分類，禁止使用任何人工標記。若有使用額外資料，需為公開/開源資料或學術資料集，也要提供來源資訊以進行審核。如有爭議，主辦單位保有最終決定權。
3. 禁止使用非開源Auto Machine Learning 相關之自動建模服務。
4. 不可私下共享程式及特徵值，但可在官方討論區公開討論。
5. 如有需要，主辦單位有權在比賽途中調整資料集。
6. 如有下列情事，主辦單位得無需告知參賽者，逕行取消參賽者資格或領獎資格：
   • 已有具體事證，所屬隊伍有任何抄襲、作弊、或詐欺等行為
   • 已有具體事證，所屬隊伍有侵害他人智慧財產權之情事
   • 已有具體事證，所屬隊伍有對Leaderboard系統進行攻擊
   • 已有具體事證，所屬隊伍影響其他參賽隊伍導致不公平事例發生
   • 已有具體事證，所屬隊伍違反本比賽活動辦法、或「T-Brain AI實戰吧平台服務」 使用條款、或「教育部機器閱讀公開挑戰賽」 參賽者使用條款
7. 主辦單位保有對活動與競賽規則解釋及裁決的權利

獎項說明

• 趨勢科技人工智慧菁英獎 新台幣 10 萬元
• [學生組] 第一名 新台幣 10 萬元
• [學生組] 第二名 新台幣 6 萬元
• [學生組] 第三名 新台幣 4 萬元
• [學生組] 佳作 新台幣 1 萬元
• [學生組] 佳作 新台幣 1 萬元
• [學生組] 佳作 新台幣 1 萬元
• [學生組] 佳作 新台幣 1 萬元
• [學生組] 佳作 新台幣 1 萬元

學生組前八名隊伍除獎金獎項外，並將獲頒"教育部獎狀"。名次達前25%且分數超過Baseline (Baseline: 0.69)者，可獲頒"計畫辦公室獎狀"。

競賽時程

主辦單位：教育部人工智慧競賽與標註資料蒐集計畫辦公室

本計畫【人工智慧競賽與標註資料蒐集】為教育部所發起的人工智慧技術及應用人才培育計畫中的其中一項子計畫，透過訂定競賽議題，並每年舉辦AI競賽，藉由搭配學期時間與學校課程合作，老師可審核學生學習一學期後將理論運用在實際問題上的能力，且因競賽資料較貼近生活實際狀況，而非針對教學方便所製作出簡單的數據，學生需要更深入思考才可達到標準，AI競賽將會經過競賽審查委員嚴格審查後頒發獎金及獎狀，以資鼓勵學生們參與培育更多AI人才。

指導單位：教育部資訊及科技教育司

教育部資訊及科技教育司「結合資訊、科技與人文，引領學校邁向永續發展新世紀」之願景，規劃「前瞻人才培育」、「精緻數位學習」、「科研倫理素養」、「數位公義關懷」、「校園環境永續」五大目標，建構以「人」為中心的學習環境，培育具關懷社會與環境之現代公民，強化國家永續發展。

議題提供單位：國立臺灣大學資訊工程學系

民國66年教育部核准臺灣大學成立資訊工程學系，招收學士班學生，隸屬工學院，為臺灣最早以「資訊」命名之系所。民國70年成立研究所招收碩士班學生，民國73年延伸到博士班，從而建立一套完整的高級資訊工程教育體系。民國89年8月資訊系與電機系共同成立電機資訊學院，為全國電機資訊領域的研究重鎮。資訊系與資訊網路與多媒體研究所（民國93年成立）、生醫電子與資訊學研究所生醫資訊組（民國95年成立），共同於電機資訊學院內組成資訊學群。臺大資訊工程學系在優秀的師生與優良的設備之下，學術地位不僅國內領先，也達國際卓越水準。近年來，多次於全世界大專程式競賽ACM ICPC獲得金牌，並於機器學習KDD Cup世界大賽中多次獲得冠軍。

贊助單位：趨勢科技

趨勢科技為資訊安全解決方案全球領導廠商，致力建立一個安全的資訊交換世界。我們專為消費者、企業及政府機構設計的創新解決方案，能為資料中心、雲端工作負載、網路、端點裝置提供多層式安全防護。我們的產品皆彼此整合、共享威脅情報，提供環環相扣的威脅防禦與集中式的掌握及調查能力，實現更好、更快的防護。趨勢科技全球共超過 6,000 名員工，遍及 50 個國家，並擁有全世界最先進的全球威脅研究及情報，是企業保護連網環境的最佳夥伴。

Q&A

若對於比賽有任何問題，歡迎在 討論區 提出，或是將問題透過 Email 寄到 t_brain@trendmicro.com。

巡迴課程