靠 AI 幫忙建立自家 AI 平台

這篇是這系列的第四篇。把十多年的筆記與附件（第一及第二篇）以及網誌（第三篇）放在自己的硬件後，這次是嘗試把近年的新興工具放在自家硬件之中：本地AI 。

與之前幾篇不同，這次不是一個放在「待辦」多年的事項，而是一個意外的計劃。因著想充分善用新購買的迷你電腦，便計劃建立一個以自己筆記為資料基礎的AI聊天介面。

實際有什麼功能

開始計劃時，我對AI的接觸只有網上AI對話介面。因此第一步是先以AI了解什麼是AI以及本地AI可以有什麼功能。

未做足資料搜集之前，計劃建立的包括AI聊天介面、架設RAG（檢索增強生成）和AI圖像設計。經過幾次的試驗後，了解到自家迷你電腦的硬件限制：簡單的圖像輸出指令也要20多分鐘才能處理。因此，本地AI的目標變為簡單並重複的資訊處理平台。

平台的主要功能在半年多的改進後，主要分為兩方面：（一）每天搜集及整合投資新聞，以協助日常股票/ETF的選擇；（二）活化自己多年的筆記，建立一個RAG再以AI聊天介面與這些資料「交談」。最後的步驟是建立了一個前端介面連接這兩個後台系統。

實際又建立了什麼

所建立的架構包括：

• ollama：跑AI模型（因著迷你電腦用AMD GPU，過程中有不少困難）。
• open-webui：瀏覽器裡的聊天介面，用作跟本地模型對話(建立了自己的前台介面後就很少用）。
• RAG 管道：建立PostgreSQL 資料庫，AI模型「根據」這些資料回答問題。
• backend：建立以 AI 收集、整理、回饋（上網找來的數學模型）投資數據的後台系統。
• frontend：能輕易與後台系統「交流」的介面。

靠AI幫忙建造AI

我要承認自己對AI及Coding一竅不通，自己是沒有能力建立這個系統的。AI在過程中扮演著十分重要的角色：起初的資料搜集及平台功能設計，整個後台系統及前端介面的架構及除錯。我的角色是提出自己的需要及監察整個過程。

在建立這系統的過程中，我對AI的認識不斷更新，對AI應用的擔憂也不時出現。AI十分強大，但隨之而來的私隱、網絡安全及AI編碼準確性的問題也不能忽視。

雲端 AI 更強，為什麼還要本地？

事實上，雲端模型很好用也發展得非常快，只用了約半年時間(2026上半年)便由以聊天介面為主要服務發展到Vibe Coding的普及。我也是靠這些工具才完成之前的「搬家」任務。在我的迷你電腦中運作的本地AI在功能上一定追不上這些雲端模型，但卻在我日常使用AI時有其獨特的角色：

• 私隱： RAG 庫裡的文件和收集到的財務數據，都只留在我的硬件，符合整個系列的「檔案在自己手上」的主題。
• 「免費」： 雖然要為電腦付出電費，但運作時不用按 token 收費。在重複持續的資料收集中有不錯的效果。

所以雲端及本地AI的分工是：雲端 AI 負責運算能力，本地 AI 負責私密和重複定時的工序。

建立本地AI的得著

在高電費的情況下，以及平台需要定期更新及維護，本地AI的架設及運用其實不是完全「免費」的。可是，架設本地AI的結果不只是建立了一個服務平台，也讓我踏出對理解AI的第一步。如果不是要建設本地AI，我不會去開始了解Docker、context window、RAG等是什麼。建立本地AI是一個投資及學習過程，也是這次「自家建設」的得著。