Kite Fly

  https://www.solwen.ai/posts/what-is-rag RLHF 中文全名為「從人類反饋中強化學習」，顧名思義，就是讓 AI 模型在人類的指導下學習。簡單來說，我們將人類的智慧與機器的高效學習能力相結合，從而讓模型變得更加強大。那麼，這個過程是如何運作的呢？ RLHF 就是一種類似的教學過程，但這次你是在教大型語言模型模型，而不是一個真正的人，而 RLHF 可以分為 Reinforcement Learning 和 Human Feedback 階段： 強化學習（Reinforcement Learning）: 這是一種讓 AI 模型學習的方法。你可以想像機器（比如一個機器人或電腦程式）正在嘗試完成一個任務，比如下棋、駕駛車輛或進行對話。每當機器做出好的決策，它就得到一些積分（獎勵）。如果做了不好的決策，它可能得不到積分，或者失去一些積分。這個過程幫助機器學習怎樣更好地完成任務。 人類反饋（Human Feedback）: 這裡的關鍵是有真實的人來幫助指導這個學習過程。人類會觀察機器的行為並給出反饋。比如，在對話視窗中，如果大型語言模型生成了一個回答，人類會評估這個回答是否恰當、是否有幫助，並根據這些評估給予好與不好的評價。 結合這兩者，你就得到了RLHF。機器不僅僅是根據固定的規則學習，它也通過人類的指導來理解更複雜、更細微的部分。這使得機器能夠在很多不同的任務上表現得更好，更貼近人類的期望和行為方式。

  #Generative AI for everyone https://github.com/Ryota-Kawamura/Generative-AI-for-Everyone/blob/main/Week-1/Week-1_Quiz-1.md?fbclid=IwY2xjawGPws9leHRuA2FlbQIxMQABHdrz5REiR7cycmAGa1VDSl5c_r0_m760f0An7R788mnKQ48twF5t7PvGNg_aem_Qgwcp6FY_ZS09ZbEG5sr9g

 LLM 1. 事先受過 大量專業訓練 (PB) 2.有目的性的微調 (ex:問ChatGPT 自己的問題, 他可以客製化產生回答) https://www.youtube.com/watch?app=desktop&v=ERr6J1bDXUI&ab_channel=%E4%BB%8A%E5%A4%A9%E6%AF%94%E6%98%A8%E5%A4%A9%E5%8E%B2%E5%AE%B3 ======== 大型語言模型 (LLM) 是一種人工智慧 (AI) 程式，可以辨識和產生文字以及完成其他任務。LLM 接受大量資料的訓練——因此得名「大型」。 LLM 建立在機器學習的基礎上：具體來說，是一種稱為 Transformer 模型的神經網路。 LLM 可以接受訓練來完成許多任務。最知名的用途之一是作為生成式 AI：當給出提示或提出問題時，它們可以產生文字回應。 LLM 範例包括 ChatGPT（來自 OpenAI）、Bard (Google)、Llama (Meta) 和 Bing Chat (Microsoft)。GitHub 的 Copilot 是另一個範例，但用於編碼而不是自然的人類語言。 LLM 有哪些優點: LLM 的一個關鍵特徵是它們能夠回應不可預測的查詢。傳統的電腦程式以其可接受的語法接收命令，或從使用者的一組特定輸入接收命令。 LLM限制 然而，就它們提供的資訊而言，LLM 的可靠性取決於它們所攝入的資料。如果饋入虛假資訊，它們將在回應使用者查詢時提供虛假資訊。LLM 有時也會「產生幻覺」：當它們無法給出準確答案時，它們會創造虛假資訊。 LLM 還可以透過惡意輸入進行操縱，以提供某些類型的回應（包括危險或不道德的回應）。 LLM 如何運作？  1.機器學習和深度學習 -在基礎層面上，LLM 是建立在機器學習的基礎上的。機器學習是人工智慧的一部分，它是指向程式提供大量資料以訓練程式在無需人工幹預的情況下識別資料特徵的做法。 -LLM 使用一種稱為深度學習的機器學習。深度學習模型基本上可以在無需人工干預的情況下訓練自己識別差異，不過通常需要進行一些人工微調。 2.神經網路 為了實現這種類型的深度學習，LLM 建立在神經網路的基礎上。正如人腦是由相互連接並向彼此傳送訊號的神經元構成的一樣， 人工神經網路（通常簡稱為「神經...

  Adversarial attack 是一種在機器學習和AI中使用的技術，是人為的惡意攻擊，讓系統誤認目標，混淆視聽，或是將特定的A判別為B，目的都是要讓系統的判斷產生錯誤，尤其是神經網絡 。 對抗性攻擊的目標是創建看似正常的輸入，但當模型處理時，會導致不正確或意外的結果，就像上面那個例子。 那如果是用神經網路（Nerual Network）來觀察呢？目前為止有很多network都能辨別圖片，舉個例子，我們使用基本的CNN（Convolutional Neural Network）來辨別圖片，假設這個CNN本身辨別圖片的能力就很好，基本上絕大部分的圖片都能正確辨別，因此照理來說它應該也能正確辨別出來兩張圖片都是「狗」。 然而，當你滿懷信心將圖片丟入network並等待結果時，最後結果告訴你：左邊是「狗」，而右邊是「郵輪」！ 為什麼會是這個結果？大部分的人第一反應都是認為是network的辨別能力沒有訓練完整造成不準確的分類，而有少部分的人認為是圖片出問題。 那其實真正的原因就是圖片出了問題，可是明明用眼睛看兩張圖片都是一樣的，然而為什麼network還是不能正確辨別呢？其實這就是對抗性攻擊（Adversarial attack）的其中一個例子：它能在圖片加入人眼觀察不到的雜訊（perturbations），而這個雜訊卻又能讓network辨別錯誤，導致辨別出來的結果與正確答案不一樣。 https://medium.com/@Jimmy_9566/paper%E7%AD%86%E8%A8%981-adversarial-attack-17fdfd7d34fa

 Transfer Learning 轉移學習 What is Transfer Learning? 來自台大李宏毅教程的介紹： 轉移學習就是把已經訓練好的模型、參數，轉移至另外的一個新模型上 使得我們不需要從零開始，重新訓練一個新model 轉移學習的定義 Source Domain : 已存在的知識或已學習到的領域 Target Domain : 欲進行學習、訓練的領域 Task : 由目標函數、學習結果組成，為最終的學習結果。 我們手上有兩種域：Source domain, 有個function叫做 fs 此function的作用是來完成一個名為Ts的任務 另外一個域稱作 Target domain, 一樣存在function叫做 ft 並且需要此function去完成任務Tt 而轉移學習就是需要透過Source domain及Ts的學習，使得能夠幫助Target domain中的ft學習，進而使得更好完成Tt https://medium.com/%E6%88%91%E5%B0%B1%E5%95%8F%E4%B8%80%E5%8F%A5-%E6%80%8E%E9%BA%BC%E5%AF%AB/transfer-learning-%E8%BD%89%E7%A7%BB%E5%AD%B8%E7%BF%92-4538e6e2ffe4 轉移學習有哪些優點？ TL 為建立 ML 應用程式的研究人員提供以下幾個優點。 提升效率 訓練 ML 模型需要時間，因為它們會建置知識和識別模式。也需要大型資料集，在運算方面也很昂貴。在 TL 中，預先訓練的模型保留有關任務、特徵、權重和功能的基本知識，使其能夠更快地適應新任務。您可以使用較小的資料集和較少的資源，同時又獲得更好的結果。  提高可存取性 建置深度學習神經網路需要大量資料、資源、運算能力和時間。TL 克服了這些建立障礙，讓組織針對自訂使用案例採用 ML。您可以讓現有模型適應成本一小部分的要求。例如，使用預先訓練的影像辨識模型，您只要最小程度的調整，即可建立醫學影像分析、環境監控或臉部辨識的模型。 改善效能 透過 TL 開發的模型通常在多樣化和具有挑戰性的環境中展現更強大的穩健性。它們在初始訓練中暴露在各種案例下，因此可以更好地處理現實世界的變化和雜訊。它們提供更好的結果，並且更靈活地適應不可預測的條件。 ...

 Deepfake :深度偽造（英語：Deepfake），簡稱深偽，是英文「deep learning」（深度學習）和「fake」（偽造）的混成詞[1]，專指基於人工智慧的人體圖像合成技術的應用。此技術可將已有的圖像或影片疊加至目標圖像或影片上

  主要是由兩個 CNN 所組合而成的神經網路, 其中有兩個組件，Generator 與 Discriminator。 GANs 就像是一組問答系統ㄧ樣，由 Generator 不斷去問問題，接著讓 Discriminator 回答問題。在原本的論文當中，是使用警察跟罪犯的關係作為類比。故事當中，罪犯不斷製造假鈔來欺騙警察的眼睛，每被識破一次，就會重新調整製造假鈔的技術，久而久之，就有辦法製造出足以欺騙能力不夠或是大多數警察的法眼。 https://r23456999.medium.com/%E4%BD%95%E8%AC%82-generative-adversarial-networks-gans-%E7%94%9F%E6%88%90%E5%BC%8F%E5%B0%8D%E6%8A%97%E7%B6%B2%E8%B7%AF-4500a06dd0be

 https://ai4dt.wordpress.com/2018/05/25/%E4%B8%89%E5%A4%A7%E9%A1%9E%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92%EF%BC%9A%E7%9B%A3%E7%9D%A3%E5%BC%8F%E3%80%81%E5%BC%B7%E5%8C%96%E5%BC%8F%E3%80%81%E9%9D%9E%E7%9B%A3%E7%9D%A3%E5%BC%8F/ 三大類機器學習：監督式、強化式、非監督式 banner 三種機器學習類別 依訓練資料、產出判別的過程與結果不同，機器學習大致上可以分為三類：監督式學習 (Supervised Learning)、非監督式學習 (Unsupervised Learing) 與增強式學習 (Reinforcement Learning)。 監督式學習 – 一比一對照資訊 監督式學習 (Supervised learning) 是電腦從標籤化 (labeled) 的資訊中分析模式後做出預測的學習方式。標記過的資料就好比標準答案，電腦在學習的過程透過對比誤差，一邊修正去達到更精準的預測，這樣的方式讓監督式學習有準確率高的優點。 監督式學習方式需要倚靠大量的事前人工作業，將所有可能的特質標記起來，這過程相當繁複。當範圍擴大、資訊量增加，會更難去對資料標記出所有特徵，所以在面對未知領域時，幾乎是完全無法運作。 01 監督式 圖 01：監督式學習 強化式學習 – 在未知探索與遵從既有知識間取得平衡 強化式學習 (Reinforcement Learning) 的特徵是不需給機器任何的資料，讓機器直接從互動中去學習，這是最接近大自然與人類原本的學習方式。 機器透過環境的正向、負向回饋 (positive / negative reward)，從中自我學習，並逐步形成對回饋 刺激 (stimulus) 的預期，做出越來越有效率達成目標的行動 (action)，這個訓練過程的目標是獲取最大利益。   網路上有個 AI 學習玩 Google 恐龍遊戲的影片，影片揭露 AI 在玩遊戲的過程中學習到：遇到小仙人掌要小小地跳躍 (small jump)，遇到高高的仙人掌，要大跳躍 (big jump)，遇到小鳥飛過要蹲低 (duck)，避免被小鳥撞到，遊戲...

  《 AI 轉型指南》( AI Transformation Playbook ) https://buzzorange.com/techorange/2018/12/14/ai-transformation-playbook/

 Google python 自動化證書 Google IT Automation with Python Professional Certificate https://www.toolify.ai/tw/ai-news-tw/google-it-automation-with-python%E8%AD%89%E6%9B%B8%E7%9C%9F%E7%9A%84%E5%80%BC%E5%BE%97%E5%97%8E-2275204 Google TensorFlow Developer Certificate 考試的準備與心得 (ML) https://medium.com/@capillaryj/tensorflow-developer-certificate-%E8%80%83%E8%A9%A6%E7%9A%84%E6%BA%96%E5%82%99%E8%88%87%E5%BF%83%E5%BE%97-ae586848dba3

 GPU 可以跑神經網路的演算法 & deep learning ex:Nvida Edge Computing | 邊緣運算 是一種網路運算架構，運算過程盡可能靠近資料來源以減少延遲和頻寬使用。目的是減少集中遠端位置（例如「雲」）中執行的運算量，從而最大限度地減少異地用戶端和伺服器之間必須發生的通信量。   If you are building a self-driving car, there's not enough time to send data from  a self driving car to a cloud server to decide if you should stop the car or not.  And then send that message back to the self-driving car.  So the computation has to happen usually in a computer right there inside the car,  that's called an edge deployment. On-Premises 中文被稱作「地端」 LiDAR（雷射探測與測距）LiDAR是 Light Detection And Ranging（雷射探測與測距）的縮寫，是使用近紅外光、可見光或紫外光照射物件，並透過光學感測器捕獲其反射光來測量距離的遙測（使用感測器從遠處進行感測）方法。 也被稱為 Laser Imaging Detection And Ranging（雷射成像偵測與測距）”，通常以脈衝狀近紅外雷射照射對象物，測量光線到達對象物並反射回來的時間差。 https://www.rohm.com.tw/electronics-basics/laser-diodes/ld_what10

 https://koding.work/use-face-recognition-lib-to-do-face-recognition/

  https://medium.com/@jessica_1226/coursera-%E5%8A%A9%E5%AD%B8%E9%87%91-%E7%94%B3%E8%AB%8B%E5%85%A8%E6%94%BB%E7%95%A5-%E9%99%84%E4%B8%8A%E5%AE%8C%E6%95%B4%E5%9B%9E%E7%AD%94%E7%AF%84%E4%BE%8B-90868fe1d138  https://medium.com/@jenny901103/coursera%E7%8D%8E%E5%AD%B8%E9%87%91%E7%94%B3%E8%AB%8B%E5%88%86%E4%BA%AB-2d02cb304b52 https://www.sponge-rose.com/coursera-financial-aid/ https://www.ptt.cc/bbs/Soft_Job/M.1666155069.A.904.html

  https://www.nss.com.tw/ai-course https://blog.udn.com/oec1020/179105607 https://www.nss.com.tw/ai-course 台大生成式 AI 導論 這個課程是由YouTube上的免費學習資源，提供了一系列的人工智慧學習課程，包括超過20個影片，涵蓋了人工智慧的基本原理和應用。 課程內容 人工智慧基礎 ：學習人工智慧的基本原理，包括自然語言處理、實際應用和道德考量等技術基礎。 機器學習 ：了解機器學習的基本原理，包括監督學習、非監督學習和深度學習等技術。 AI應用 ：探討人工智慧在各個領域的應用，包括醫療、金融和教育等領域。 課程特點 免費學習 ：課程完全免費，適合所有人學習。 實用案例 ：課程提供了多個實用案例，幫助學生理解人工智慧在現實世界中的應用。 影片教學 ：課程使用影片教學，幫助學生更好地理解人工智慧的概念和技術。  Google 提供了一系列AI課程 ，特別適合工程師學習和應用。 這些課程涵蓋了 生成式AI、大型語言模型、圖像生成 等多個主題，並且對初學者友善。 如果你是一位經驗豐富的機器學習專家，可以找到各種技巧和專案來提升自己的技能並推進項目。 網站提供篩選功能，讓你可以根據專業領域進行選擇，例如數據研究員、軟體工程師、業務決策者或學生等。 你也能根據興趣選擇學習內容類型和目前的機器學習階段。 Learn with Google AI 課程內容 生成式AI入門 課程介紹生成式AI的概念、應用及他們與傳統機器學習方法的區別。 適合對生成式AI有興趣的初學者，無需先備知識。 大型語言模型（LLMs） 介紹LLMs的基本概念、應用場景及提示工程。 適合希望了解並應用LLMs的工程師。 圖像生成 涵蓋擴散模型的理論及如何在Vertex AI上訓練和部署這些模型。 適合對圖像生成技術有興趣的工程師。 編碼器-解碼器架構 解釋編碼器-解碼器架構的主要組成部分及其應用。 適合希望深入了解AI模型架構的工程師。

  Artificial Intelligence Artificial Intelligence(人工智能)是以上眾多詞之中，被誤解最深的一個。由於近年 Data Science備受歡迎，AI也時時被人提起，權當作Data Science應用上的代名詞。 然而，AI的研究早於電腦初成形之時已經開始，在眾多不同方法探討之中，大量運用Data Science的 Machine Learning 只是其中一門人工智能的方法，其他方法例如 Logic-based Artificial Intelligence(基於邏輯的人工智能)，Fuzzy logic(模糊邏輯)等等其實亦是人工智能範圍。只是由於近年Machine Learning 得到長足進步，令人誤解Artificial Intelligence 等於 Machine Learning 的錯覺。 Data Science 而Data Science(數據科學)本身是一個跨學科的學問，泛指所有關於收集、處理、展示、分析數據的知識，顧名思義就是有關數據的知識。從事Data Science的人需要同時有數學、統計、電腦科學的知識，亦要理解起碼的編程技術。 數據科學涵蓋的範圍很大，包括 Data Visualisation(數據視覺化)、Data Engineering(數據工程)、Machine Learning(機器學習)、Data Warehouse(數據倉庫)等都是數據科學的領域，今時今日公司通常聘請 Data Scientist(數據科學家)、Data Analyst(數據分析師)、Business Intelligence Analyst(商業智能分析師)等，亦都屬於數據科學的領域。或者大家會好奇，為何數據科學此門學科，多年未曾聽聞，要直至近年才突然變得如 此受歡迎呢？ 這其實與Big Data(大數據)的普及不無關係：基礎的數據分析其實大家都曾經做過，用Microsoft Excel也綽綽有餘。但在大數據時代中，收集得來數據的Volume(資料量）、 Variety(變化)、Velocity(速度)都大大提高，使到Data Science一門學科於近年變得如此炙手可熱。 常用的library 包括 :  Numpy  ,  Pandas 、  Seaborn M...

  10/13: https://www.coursera.org/learn/ai-for-everyone/lecture/sSmkE/technical-tools-for-ai-teams-optional https://www.coursera.org/learn/ai-for-everyone/lecture/Q1EJD/the-terminology-of-ai https://www.youtube.com/watch?v=Rb3f7sObI2Y&ab_channel=Thinktomake https://blog.csdn.net/qq_27261889/article/details/88081537

  大型語言模型（Large Language Model，LLM）是什麼？在AI世界裡，大型語言模型能幫助機器，更快找到人類提問的答案。 一、大型語言模型（LLM）是什麼？ 人類運用 人工智慧 時，需要與機器「對話」、找出答案；而大型語言模型（LLM）就是一個讓電腦能理解、使用人類語言的工具。 想像一下，你有一位超級聰明的朋友，不僅能回答你的問題，還能寫文章、分析數據，甚至幫你寫程式——這就是LLM能做的事。 https://futurecity.cw.com.tw/article/3231 https://tw.alphacamp.co/blog/understanding-the-concepts-and-trends-of-llms-through-an-intro-video-by-andrej-karpathy

▌狹義人工智慧（ANI） 又稱弱人工智慧，是一種專門針對特定任務或領域設計的人工智慧。ANI系統只能執行特定任務，無法像人類一樣進行廣泛的思考和學習。 ANI系統的開發通常基於機器學習技術，透過大量數據的訓練，讓AI系統能夠在特定任務上表現出專家級的能力。例如，人臉辨識系統（Face ID、Face Unlock）；自動駕駛（Waymo、Cruise）；語音助理（Siri、Alexa、Google Assistant）等。 ANI系統的優點是能夠高效地完成特定任務，並且成本相對較低。然而，ANI系統的缺點是缺乏泛化能力，無法應用於其他領域。 ▌通用人工智慧（AGI） 又稱強人工智慧，是一種能夠像人類一樣進行廣泛的思考和學習的人工智慧。AGI系統能夠理解和推理新資訊，並將其應用於各種不同的任務。 一些研究項目正在開發AGI系統，如OpenAI's GPT-3、Google AI's 等系統的開發目前尚未實現，但AGI被認為是人工智慧發展的終極目標。AGI系統的實現將代表人工智慧的重大突破，有望解決人類難以解決的問題，像是治癒疾病、探索太空、創造藝術作品等。   不過，AGI系統的開發需要克服許多技術挑戰，例如： ❶ 如何讓AI系統理解和推理新資訊？ ❷ 如何讓AI系統在不同環境下保持穩定性和可靠性？ ❸ 如何讓AI系統具有道德感和責任感？ ▌超級人工智慧（ASI） 又稱超人工智慧，是一種超越人類智能的人工智慧。ASI系統在各方面都比人類智能更強大，包括學習能力、解決問題能力、創造力等。 ASI目前尚未出現，也尚無明確的定義。一些專家認為，ASI的出現可能對人類社會產生深遠的影響，甚至可能對人類構成威脅。 https://nabi.104.com.tw/posts/nabi_post_c3745cf7-a3e5-471f-9364-75e6675f23cc