隨著科技發展日漸成熟，AI的應用也深入我們日常生活之中，近期熱門話題「ChatGPT」就是應用之一，以電腦運算來模擬人類的思維或是展現出人類的行為表現，透過大量對話資料了解使用者的說話邏輯，結合深度學習技術，進而回覆所需內容。儘管AI仍然需要持續的學習及訓練，在一些較複雜的問答上仍舊有進步空間，但不難發現AI已經與人類生活存在越來越關聯性，甚至已經是各領域未來發展的重點趨勢之一。
AI風潮席捲全球，依據工研院最新發布之「亞洲2030前瞻科技調查」報告，未來十年亞洲最看重的前十大技術發展項目中，AI即為首選項目之一。依據國際調研機構Grand View Research, Inc預測從110到117年，AI產業每年預測成長40%，顯示AI產業的成長速度之快，未來AI市場規模可觀。
許多國際大廠，例如IBM、NVIDIA、Google等，均已投入大量資源發展AI技術，應用領域則擴及自駕車、智慧家電、智慧型手機、智慧監控、智慧醫療、無人機等，充分展現積極布局全球、取得領先地位的企圖心。AI發展已逐步落實到一般大眾生活及產業應用，面對現有各個產業的轉型升級，無論在硬體、軟體、演算法、系統、商業模式等，AI都帶來快速變革應用，影響遍及個人、產業、社會及國家，AI儼然成為代表國家及產業競爭力的重要指標。
AI的運行必須仰賴算力來源，因此預期AI on Chip的發展亦將由AI帶動新的運算需求。由於現今數據取得變得容易，AI模型不斷變大，使得運算需求變得更為關鍵，資料中心伺服器大量布建AI加速器，執行AI演算法需要大量標記數據來進行訓練，主流資料中心係由NVIDIA、AMD等國際大廠生產。
如果說AI發展的前期主要集中在雲端伺服器運算，隨著需求市場對於隱私、功耗、效率、低延遲的重視提升，雲端運算處理須將資料上傳雲端伺服器再回傳的方式顯得較為耗費資源；相較由伺服器端進行運算，在裝置端運算的功耗相對更低、回應速度更快，使得靠近數據收集端的精準、即時且大量處理的資料分析需求增加，終端設備所產生的數據能被更有效利用，embedded AI運算需求因而快速增長。臺灣業者在邊緣、終端運用的物聯網AI推論運算晶片需求，皆有IC設計大廠與新創業者積極投入(圖一)。
資料來源：資策會MIC，2023年3月
圖一 : AI on Chip臺灣半導體業者發展策略
由於運算需求從雲端走向裝置端、邊緣端的需求增加，AI與IoT結合已是現在進行式，在AI晶片的助攻下，IoT邊緣與終端裝置，除了扮演數據收集的關鍵角色外，透過機器學習或深度學習技術的加值，帶來低延遲、低成本、高隱私的優勢，也使得AI在終端設備的運行上能夠更加智慧，AI晶片的重要性功不可沒。
依據國際市場調查機構Gartner針對IoT半導體應用產品需求預估（圖二），未來IoT半導體應用產品成長率最高的是車用與IoT相關應用，其中AI與邊緣運算的機能將與IoT產品整合，來協助裝置進行決策判斷。
資料來源：Gartner，2023年3月
圖二 : IoT半導體應用產品需求預測
隨著AI運算邊緣化，全球逐漸步入智慧物聯網（AIoT）的新時代，日常生活更加依賴連網裝置與智慧物聯網的應用服務，也為各產業帶來創新AIoT應用，以下將就運輸、醫療、製造、居家生活等領域進行說明：
一、AIoT用於交通運輸
在車輛智慧化、電動化的趨勢下，汽車科技是近年受關注的領域之一，例如在CES 2023展會中，電動車智慧科技在行動科技展區中就有高達三百多家業者展出，尤其自駕系統更是眾多大廠展出及布局的重點領域。新一代的自動駕駛汽車使得駕駛、乘客在自動駕駛、行車安全、車聯網、娛樂等面向都有不同於以往的體驗。
由於汽車上路後的情況瞬息萬變，必須隨時感知周圍狀態，感測數據龐大且必須即時反應，存在邊緣端的精準運算需求。NVIDIA推出的DRIVE Thor超級晶片，便支援自動駕駛的AI運算需求，在單一架構中結合了自動駕駛、輔助駕駛、乘客監控、數位儀表板、車載娛樂等功能。
二、AIoT用於醫療健康產業
在需要即時反應與決策的醫院端，醫療健康產業亦是AI邊緣運算的重要場域之一，有助於協助醫師在醫療上的臨床決策、疾病判斷，像是判讀醫療影像、建構醫療模型協助判讀等，將AI晶片用於醫療影像邊緣運算推論及學習晶片，在醫療院所的特殊環境下，可提升邊緣運算平台處理能力，讓更多智慧裝置能對產生的數據進行運算與分析，提供即時判讀結果，協助醫生診斷建議，跨入預防醫學及精準醫療的領域。
三、AIoT用於製造產業
越來越多製造業者正在導入AI解決方案來幫助工廠的管理，幫助產業進一步升級，朝向「智慧製造」邁進。企業有意識地透過AI以及物聯網技術，進行產線數據、生產管理系統上的數據分析以及運算，像是分析監視器影像或是AIoT訊號。導入AI邊緣運算的和智慧倉儲的工廠，甚至能夠結合機械手臂或是倉儲機器人，即時遠端處理工廠端的問題。其他創新的運用還有如：即預測性維護、庫存管理、流程優化、數位孿生（Digital Twin）等，將生產經驗參數化，提升未來營運效率。
四、AIoT居家智慧生活
隨著聯網裝置普及、業者布局智慧應用的趨勢以及因應疫情所帶起的智慧裝置需求等因素，居家生活走向行動化、雲端化、AI化及數據驅動化。AI應用能讓智慧家庭裝置更為聰明，包含優化數據的採集、改善能源成本及賦能基礎設施價值等；以改善能源運用成效為例，在全球日益重視永續發展的趨勢下，聯網裝置也開始發展兼具節能減碳的關鍵角色，透過AI對智慧家電進行監控，讓電力及設備的使用發揮最佳效能，達成環境永續目的。
長期而言，當智慧家庭設備更為普及，由AI進行更多作業時，操作管理的複雜度、網路依存度、斷網成本將更高，屆時低延遲性和可靠度，將成為推動智慧家庭設備邊緣化的另一大市場動能。
臺灣具有全球領先的半導體設計、製造、封裝產業，能夠建立起完整的AI晶片供應鏈；而臺灣在IoT產業上的優勢，擁有製造業終端資料、先進製造及健康醫療等資料庫；此外，為加速AI發展，臺灣的AI超級電腦「台灣杉一號」、「台灣杉二號」，分別側重高速運算（HPC）及AI運算，其中台灣杉二號的算力更曾進入全球前20名。
整體而言，臺灣已掌握AI世代最重要的三要素：數據、先進演算法及算力（半導體），加上臺灣上中下游供應鏈發展成熟，未來應聚焦在AI系統應用、異質晶片整合、新興運算架構AI晶片，以及AI相關應用軟體等領域，全力推動臺灣在AI on Chip與相關應用之發展。