[爆卦]機器學習資料前處理是什麼?優點缺點精華區懶人包

雖然這篇機器學習資料前處理鄉民發文沒有被收入到精華區:在機器學習資料前處理這個話題中,我們另外找到其它相關的精選爆讚文章

在 機器學習資料前處理產品中有429篇Facebook貼文,粉絲數超過4萬的網紅緯育TibaMe,也在其Facebook貼文中提到, 你想成為具備 AI & Data Science 能力的未來關鍵人才? ⠀⠀ 學程從基礎思維、核心技術、產業應用 逐步培養AI資料科家必備技能, #包含9大關鍵職能 程式語言、資料庫、網路爬蟲、 資料探勘、資料視覺化、機器學習、 影像辨識、深度學習、自然語言處理。 ⠀⠀ #給你完整18週的全線上培訓...

機器學習資料前處理 在 Gevin C.Wu Instagram 的精選貼文

2020-05-02 06:07:36

「這是市長辦公室窗外看出去的景色」 (以下文長,慎入!) 今天很開心又有機會接到市府的案子!熟悉我的朋友都知道,我是他的鐵粉,他出版的書籍,我也都拜讀過。 「見過生死的瞬間,才能知道活著的美好,世俗名利似乎一切都不在這麼重要。」 今天,一進辦公室,看著市長開著小燈,仔細的讀市政資料,礙於我們要set...

機器學習資料前處理 在 驊哥電腦 客製化筆電專家 Instagram 的精選貼文

2020-09-21 13:32:32

在這個黑暗的時期裡 驊哥為您點亮一盞燈 驊哥電腦宣布2020實施第一階段擴編計畫 #預計再招收8位夥伴 #麻煩分享給有需要的朋友 驊哥有時候會親自煮午餐 只是不一定好吃 #公司冷氣很冷 #驊哥怕熱 驊哥電腦是一間成立超過5年 主要3C筆電的電商公司 因近日業績提升目前人手不足 找對電商有熱誠的您一...

機器學習資料前處理 在 BetweenGos 職場風格誌 Instagram 的最讚貼文

2020-04-21 11:56:05

隨著技術的發展,現代社會變化的速度越來越快,在這樣的狀態下,你是否感到緊張、焦慮呢?沒關係!這次LinkedIn統整出亞太地區最具未來趨勢的10大工作技能:  1️⃣擁有專業法律知識 隨著社會的變化,法規變得十分複雜,在這個狀態下,公司為了符合各國家/地區的法規,會大量需要擁有專業法律知識的人...

  • 機器學習資料前處理 在 緯育TibaMe Facebook 的最佳貼文

    2021-10-01 12:33:02
    有 2 人按讚

    你想成為具備 AI & Data Science 能力的未來關鍵人才?
    ⠀⠀
    學程從基礎思維、核心技術、產業應用
    逐步培養AI資料科家必備技能,
    #包含9大關鍵職能
    程式語言、資料庫、網路爬蟲、
    資料探勘、資料視覺化、機器學習、
    影像辨識、深度學習、自然語言處理。
    ⠀⠀
    #給你完整18週的全線上培訓模式
    透過12堂線上課程+9堂直播實作,
    帶你從基礎、進階到應用
    逐步完成9項專案作品。
    搭配技術解題導向的共學社群,
    讓你透過學程專屬交流社團,
    與超過200位學習夥伴一起成長。
    ⠀⠀
    學習中遇到任何學習問題,
    都可以透過課程討論區、講師提問互動與答疑解惑,
    每項作業都有個人化回饋,
    讓你知道如何改進與優化你所學習。
    ⠀⠀
    #3大主題與4種學習資源培養AI基礎思維
    為了培養AI基礎思維,
    額外規劃3大主題:
    最新趨勢、前瞻技術、產業應用
    ⠀⠀
    搭配4種學習資源:
    1|5堂AI基礎思維線上課、
    2|22篇資料科學專欄文章、
    3|22則資料科學Podcast、
    4|每月資料科學直播講座
    全部提供給你,
    幫助你更快掌握AI與資料科學的基礎知識。
    
⠀⠀
    #TibaMe以科技助力學習
    直播課缺席不用請假,
    會提供七天直播影片回放給你複習,
    每週寄送進度課表,
    讓你可以按部就班進行學習,
    所有學習行為都能透過學習數據中心
    做到完整進度追蹤與成果回顧。
    更貼心支援行動學習App,
    把握每個零碎時間,走到哪學到哪 !
    ⠀⠀
    立即了解完整學程資訊👇
    https://bit.ly/3CQBUyu
    ⠀⠀
    #AI資料科學家 #全方位學程班
    #超高CP值 #緯育 #TibaMe

  • 機器學習資料前處理 在 Facebook 的最佳解答

    2021-09-25 13:37:12
    有 1,862 人按讚

    悠關升大學的重要「 #高中學習歷程檔案 」竟然因為廠商疏失,造成118校、上萬名高中職生上傳到系統的 #資料遺失!!

    廠商說:
    「公版模組目前搬移到集中機房,但因其中有 3 台 VM 的硬碟在我一開始建立的時候,模式設定錯誤,系統更新重開機後硬碟被還原了。大概有 118 校要進行資料搬移,目前已經重新設定硬碟並掛載,預估會在本周六完成,本人疏忽造成不便請見諒。」(自由時報 https://reurl.cc/RbjyKg

    我辦公室一早看到新聞,立刻追蹤教育部處理狀況,教育部回覆了4點資訊(請見文後),但仍未回覆大家最想知道的關鍵問題:

    ⁉️資料到底有沒有備份?

    ⁉️到底資料回不回的來?

    ⁉️如果回不來,再重新上傳是不是會影響公平性?

    ⁉️萬一學生未保存上傳檔案或資料,要如何補救?

    ⁉️老師協助再認證的程序怎麼處理?

    教育部一方面說正在想辦法回復資料,一方面又通知學校協助學生確認資料、重新上傳。

    但,這一來一回的時間差,會不會又產生新的問題:

    ⁉️資料重複不知道要用哪份?

    ⁉️新資料會不會覆蓋舊資料(但明明應該是以最原本的資料回復是最公平的方法)?

    這些,教育部仍未回應。

    我的辦公室目前正在緊急追蹤確認,一定會督促教育部仔細小心的處理完整。學習歷程檔案悠關學生升學權益與公平性,一點錯都不能有!!

    ----
    至於教育部一手掌握全國高中職生學習歷程檔案,辦理「資源向上集中計畫」說要提升資安,卻連 #最基本的資料保存 都做不好,這更是嚴肅的重大問題。

    全國高中職生「高中學習歷程檔案」影響升學,事關重大;依規定,更要保留到高中畢業後的5年時間。

    這麼重要的資料,照理說系統資訊多做兩三、個備份都是應該。但目前看教育部的回覆和處理,疑似根本完全沒有備份!!

    再者,依教育部的回覆,系統9月22日已經無預警斷線了,代表 #系統早就有問題,卻完全沒有警覺,沒有即時備份資料,預做準備。

    另外,在「伺服器轉移至新機房前」前,依照 #資訊的基本常識與處理程序,也要 #另外多備份一份,以防止資料遺失。但照目前資料遺失的狀況,看起來是委辦廠商連基本的安全處理都沒做到,教育部也沒有盡到監督的責任。

    以上各種問題,我都會一一監督教育部必須要快速改進。麻煩大家還有發現什麼狀況,也請隨時讓我知道!

    ---------
    教育部今天上午的回覆:

    1、配合教育部資訊資源向上集中計畫提升資安,國教署規劃學生學習歷程檔案校內模組公版分階段進行向上集中作業,於110年9月起,將原放置於中華電信Hicloud雲端機房之系統資料,轉移至國教署租賃之文心機房。

    2、日前因主機維護工程作業疏失,於110年 9月 22日無預警斷線,經緊急搶救,已於110年 9月 24日恢復上線服務。

    3、因伺服器轉移至新機房,須重新設定備份機制,但其中3台虛擬機器硬碟模式設定錯誤,導致系統重新開機後,硬碟資料還原,經盤查,計有118所高級中等學校學生在110年9月5日至22日間上傳之部分檔案遺失。

    4、現已完成系統虛擬機器設定,且於110年9月24日恢復上線服務,並請學校協助通知學生確認資料之完整性及可用性。

  • 機器學習資料前處理 在 台灣物聯網實驗室 IOT Labs Facebook 的精選貼文

    2021-09-23 15:25:53
    有 1 人按讚

    物聯網的資安攻防大戰!臺灣該如何見招拆招?

    110/09/22
    曾繁安
    科技大觀園特約編輯
    資策會資安科技研究所王仁甫策略總監專訪

    5G 科技讓萬物聯網的新紀元已經來臨,代表著機器與機器溝通,人類過上全自動化的超便捷生活不再是夢。但這同時也意味著科幻電影中,邪惡駭客組織攻占重要機關的主機系統,引發一連串資安問題,甚至攸關社會國家安危的重大事件,也可能在現實中發生!
    科技帶來的便利與風險並存的這個世代,來聽聽資安專家——資策會資安科技研究所王仁甫策略總監的精彩分享,一起思考 5G 物聯網下面對的資安挑戰。

    一起跟資安達人瞭解 5G 如何翻轉我們的生活!

    「16 年前一個月黑風高的夜晚,博士班學姐的一通電話,讓我踏上資安這條不歸路……」

    問起投入資安領域的契機,王總監用打趣的口吻開場。當時在學姐的建議下,他參與了設計國内第一個資安指標的工作,從此開啓與資安的不解之緣。自稱「資安界 56 哥」的王總監,雖非一般人熟悉的另一位仁甫兄,但他對科技資安研究的敏銳觀察與豐富經驗,肯定令人甘拜下風。

    他談到,4G 網絡的發展令網紅經濟崛起,你我都不曾想像『點讚、訂閲、打開小鈴鐺』會變成一種常態。而接下來的 5G 物聯網,將帶來更大的轉變與衝擊。

    為什麽比起 4G,5G 有「大頻寬、高速率、低延遲」的特性?這是因為目前 4G 所在電磁波區間(約 450 MHz ~ 3800 MHz)已塞滿用戶,讓網速變得越來越慢,因此人類便把腦筋動到頻率更高的毫米波頻段(約30 GHz ~ 300 GHz)。增加了 5G 的區段,就像從塞爆的車流中,移到空曠的新路上。而頻率越高,頻寬也越寬,這條道路不止空曠而且比原先的更寬闊,於是訊息的傳遞能暢行無阻,理論上可比 4G 快一百倍!

    「5G 最重要的,就是可以達成邊緣運算(Edge Computing)。」

    王總監舉例,自動駕駛和遠距醫療還未普及,是因為傳統仰賴的雲端運算(Cloud Computing),傳輸訊息的速度不夠快,且成本高。雲端運算可以比喻作中央集權制,凡事都要經過朝廷皇上批閲議決,效率自然較低;但邊緣運算就像地方分權,讓數據可以直接在收集端附近實時處理和分析,無需先上報到雲端進行存儲、管理和分析運算,節省了上傳等待運算的時間,也減輕網絡和服務器的負擔。

    在高速公路和手術檯上,微秒之差就是生死關頭。而 5G 搭配邊緣運算,大大提高的數據傳輸速率與極低的延遲,讓自動車之間可以維持安全的相對距離,遠端控制的手術刀可以精準無差地落在正確的部位。

    也有賴於 5G 科技,需要大量運算資源的人工智慧(Artificial Intelligence,AI)也可以實現。這些發展促成物聯網(Internet of Things, IOT)的建立,機器和機器之間可以達成溝通,整合各方數據資訊,迅速有效率地完成各種指令。小至個人智能家居,大至工廠機械、重要基礎設備如水壩、發電廠等等,都能踏入數位自動化的新境界。

    越方便就越危險?機器與機器的連接也要小心

    不過,5G 的特性也改變了用戶與網絡間的關係。傳統 4G 是直鏈狀的系統,由電信商自上而下提供網絡,再經由應用程式界面(Application Programming Interface,API)提供服務給用戶,存在一個封閉式的層級關係。但速率快、訊號覆蓋範圍較小的 5G(注1), 則是由邊緣端、應用裝置及用戶組成,數據傳輸相互往來的三角形體系,不再有上下權限差別的限制。為了形成物聯網提供更多應用,5G 網絡也變得更對外開放,被駭入的風險也會提高。

    研究專長為駭客行爲的王總監提到,如今網絡犯罪的作案手法越來越多元。過去搶匪洗劫銀行,還要擔心實體鈔票金條太重,扛不動。現在駭客只要動一動手指,就能利用惡意程式讓銀行的上億元瞬間消失;或使用勒索病毒,鎖定廠商的資料庫,再以巨額款項要挾,否則就把重要生產機密銷毀或公諸於世。

    「5G 應用得越深,危害的情境就越高。」

    未來 5G 物聯網可能面對的兩大資安威脅,包括用戶 IP 可能被駭入後,可能被用作惡意中繼站或跳板繼續攻擊另一方,讓受害者同時也成了加害者。再來,當物聯網涉及的層面越來越廣,假如被不法分子入侵掌控的是自駕車、基地台,甚至是重大國家基礎建設如水壩、發電廠等等,造成的損失傷害不堪設想!

    網絡戰資訊戰開打,台灣如何接招還擊?

    從個人角度,平時養成謹慎小心的習慣,不隨便亂點不明連接,隨時留意最新的網絡犯罪手法,是保護自己的不二法門。但在通訊科技發達的今時,第三次世界大戰很可能就在網路上發生,資安可是攸關國家安危的重大議題。

    自 2016 年起,台灣便喊出「資安即國安」的口號,而王總監也參與在草擬「資安即國安」1.0 與 2.0 戰略的工作中。在1.0 戰略中,首要步驟就是將資安鐵三角(資訊安全、通訊安全、國家安全)正規化。政府也修訂相關法規,將資訊和網際空間延伸為國家主權的一環,並把駭客攻擊與竊取智慧財產,納入情報蒐集的工作,才能為網絡戰做好準備。

    「守護要自己來,就需要有人才。沒有資安人才,就沒有基礎的資安;沒有錢投入,也不會有資安人才。」

    王總監强調,一個國家的資安要做好,最重要的就是資源與人力的投入。如果國内資安產業沒有妥善發展,資安人才缺乏,就必須仰賴國外的產品。若系統程式都不是由自己人開發,而是假手於他人,便難以確保檢測過程的可靠性,往往等到資安事件發生後,才驚覺漏洞的存在。因此,政府也編組了多支專業團隊,培訓資通電軍與資安產業人才,為國内資安把關。

    而「資安即國安 2.0」的重點,除了規劃新設數位發展部、成立專責的資通安全署,就是主動式防禦(注 2)——與其乖乖等著被人打,不如自己先請外部團隊攻擊自己,作資安測試,去找出資安漏洞和弱點!舉例來說,業界為了找出系統防禦上的漏洞盲點,常會委外進行紅隊演練(Red Teaming)。就像在進行軍事演習,紅隊扮演進攻方,以無所不用其極的方法嘗試入侵,同時驗證藍隊防守方的偵測與回應能力。這樣的演練成本可不低,一次就要三五百萬臺幣起跳。

    但台灣不用付錢,就有免費的資安攻防演練!王總監如此笑言。這是因為,在全球最常受駭客攻擊的國家排行榜上,台灣可是位居前列。根據網路資安商 Fortinet 的報告,2021 年第一季台灣遭受到超過兩百萬次的駭客攻擊,平均每分鐘就會遭遇逾 15 次的攻擊!所謂危機就是轉機,這些源源不絕的攻擊,也讓台灣深具適合發展資安產業的龐大潛力。王總監認為,資安產業要像台灣未來的台積電,扮演護國神山般的角色。

    想投身資安產業?不需要獻出心臟,只要有一顆熱忱的心

    「投入資安產業不要限科系,但是要有一顆熱忱、學習的心。」對於有心想往資安領域發展的年青人,王總監給出這樣的建議。

    雖非資訊科學出身,但大學的工程背景,讓王總監有了程式語言的基礎。後來他取得經濟學、法學雙碩士,前者使他瞭解產業界的趨勢走向,法學則令他知曉資安重合規性與合法性的重要。在科技管理與智慧財產權領域的博士論文中,他則從社會學、科技研究的方法分析駭客行為。他表示,跨領域的學習可以讓他從更廣濶的視角,釐清各方問題之後,找到痛點,來提供更好、更全面的科技與資安政策。

    王總監指出,這一代除了要與人溝通,還要學會與機器溝通,所以掌握好程式語言的邏輯基礎是重要的,因此王總監所在的資策會資安所,除了研發研發資安監控平臺,將研發的成果技轉給業界,同時他也擔任台灣駭客協會(HITCON)理事和社團法人臺灣校園資訊安全推廣暨駭客培育協會(TDOH)理事,推展培育資安人才的各項活動,未來希望能舉辦小朋友駭客營,讓孩子在小學階段就能接觸和體會程式語言是有趣的。他也勉勵年輕人,能力好的可以負責找漏洞和抵禦攻擊,站在資安攻防戰最前線;即使程度不夠拔尖,也可肩負資安維運的工作,在各自的崗位上適才所用,都能為守護資安和國安,盡一份心力。

    根據光速等於波長乘以頻率(c = f × λ)關係式,我們知道頻率越高的波段,波長越短,穿透能力強。所以 5G 電磁波訊號遇到障礙物時,會想强行穿越而非「繞」過,繞射能力弱,造成散失的能量大。因此 5G 雖然有著高速率、低延遲的優勢,弱點就是訊號覆蓋範圍小,故需要設置夠多的基地台方可實現,而電信服務商會提供用戶建設專網——既不同於覆蓋範圍大的公網,而是擁有特地目的、獨立運作的網絡系統。

    此外,主動式防禦也包含三要素:歸因、阻斷、減災。歸因便是找出攻擊的背後原因,釐清駭客的犯案動機,才能對症下藥。再來,對惡意程式來源進行阻斷,往後才可以減少再次被入侵的風險。

    附圖:王仁甫
    和台灣知名藝人同名同姓的王總監,説話風趣幽默,整個採訪過程充滿笑聲。圖/台灣資安大會
    邊緣運算架構
    邊緣運算架構與傳統雲端架構不同的地方是,資料將改放在網際網路和本地網路之間的邊緣運算層作處理,等資料變少了,再將處理後的資料回傳雲端。
    攻擊
    台灣平均每分鐘就會遭遇逾 15 次的攻擊,源源不絕的攻擊讓台灣深具適合發展資安產業的龐大潛力。圖/pexels

    資料來源:https://scitechvista.nat.gov.tw/Article/C000003/detail?ID=0853796d-0b42-4a72-a0cb-ed70ddad9f77&fbclid=IwAR2H03H3PtQ6JhtQIy6KpMaz78iFa7NBgfizoTzEbAGba_58W6guaSHYBkg