論文復現Part1.透過Python Selenium自動爬取Smashwords指定的免費風格小說(Romance:500篇/Horror:621篇)

-


Deep Learning-Based Short Story Generation for an Image Using the Encoder-Decoder Structure

這邊要注意Smashword要先註冊一個平台後
每一天有限制最多只能下載500本電子檔案，因此若超額就會下載失敗。

這時候手動瀏覽器自己去操作就會看到警示，要等隔天後再去下載。


預設存檔指定到Google Drive特定目錄，下次可以依照進度續Run。
使用到的套件有selenium
pip install google-colab-selenium -q

透過網頁瀏覽操作可以觀察到網址等規則進行爬蟲
Romance
Horror



針對Romance分頁網址行為變化可以觀察到從0開始為第一頁後續依此類推。
https://www.smashwords.com/shelves/shelf/morefree/1235/free/medium/0
https://www.smashwords.com/shelves/shelf/morefree/1235/free/medium/1
https://www.smashwords.com/shelves/shelf/morefree/1235/free/medium/2

程式碼








這一個程式功能主要還可以斷點續RUN避免重複Call下載的網址，透過連上GoogleDrive判斷是否已經下載過了，約莫花了5分鐘就把論文原始的指定風格數量的電子書檔案下載下來了。

愛情(romance)：500 篇
恐怖(horror)：621 篇


成果就會是抓取指定數量的epub電子檔了




留言

張貼留言

這個網誌中的熱門文章

何謂淨重(Net Weight)、皮重(Tare Weight)與毛重(Gross Weight)

-
圖片
當談到貨物的重量時，往往會分成所謂的淨重(Net Weight)與毛重(Gross Weight)。 會有以下公式關係存在 淨重=毛重-皮重(包裝物的重量) 毛重=淨重+皮重 淨重( Net Weight 縮寫為N.W.) 指物品本身的重量，不包括容器或包裝材料的重量。 凈重是國際貿易中最常見的計重辦法。 例如，如果運輸原材料，原材料的重量就是所運輸貨物的淨重。包裝原材料的容器或包裝不計入淨重。同樣地，當我們考慮一罐豆子時，罐子內所含物品的重量就算作淨重。因此，淨重將包括豆子、罐頭里的任何液體，以及保存豆子所含的物品。 大多數 以重量為計價的貨物買賣 ，採用此計價方法。 若合同中並未明確規範以何種方式計量和計價時，按慣例以凈重計價。 毛重( Gross Weight 縮寫G.W.) 貨物連同它的包裝的重量，是你托運的所有物品的總重量。 皮重(Tare Weight) 指商品外包裝材料的重量(即運輸包裝的重量)，不包括內包裝材料和襯墊物的重量。 比方一個空的貨櫃、容器、或任何包裝材料的重量。 Net Net Weight純淨重 (指從Net Weight中扣除內包裝後的重量) 進出口商品為了因應運輸及消費需求, 一般都有內包裝與外包裝。 一般在買賣合同與信用狀中,通常只要求於裝箱單上註明Gross Weight和Net Weight即可, 但有些L/C 要求 Net Net Weight,大多是海關徵收從量稅時的依據 運輸重量對於航運業或者航空運輸等各自都通用這些術語 為何特別在意重量? 主要就在於會影響像是傳輸安全乘載限制。 就運輸層面(不同方式的運輸) 航空運輸：對機長而言，毛重包括皮重、產品淨重以及飛機、燃料、乘客和機組人員的重量。 公路/鐵路運輸:對於火車車長而言，毛重包括產品淨重、皮重和運輸車輛的重量。 水路航運運輸：對船長而言，毛重就是淨重和皮重之和。 就公司ERP成本角度 成本一般都會採用 "淨重" 主要是因為若用毛重，可能會有輔材不可控因素存在 比方一個 5cm 固定塑膠件，今天用一個 10cm 紙箱測重，明天用一個 100cm 紙箱測重，那可能就容易導致ERP資料比較會失真。 就物流層面來探討 通常還會有一名詞即所謂「實際重量」(Actual Weight) 根據稱重(過磅)所得到的重量，實際重量分為實際毛重(Gross Weig...
閱讀完整內容

外貿Payment Term 付款條件(方式)常見的英文縮寫與定義

-
圖片
最近維護系統剛好變數名稱或一些欄位都很常看到他們，就稍微來多認識背後機制好了。 有時註解一部分或多增加一個判斷看似沒捨麼，卻不曉得背後涉及的範圍影響層面水真深。 信用狀L/C (Letter of Credit) 指進口地銀行(開狀銀行)應顧客(通常為買方)的請求與指示，開給第三人(通常為賣方)的一張附有條件的付款保證文書。銀行向第三人承諾，如果該第三人能履行該文書所規定的條件，並提示對應之單據，即可獲得開銀行的付款擔保。 承兌交單D/A (Documents against Acceptance) 此方式與D/P類似，唯代收銀行收到貨運單據及匯票時，僅通知買方在匯票上承兌，即交付單據給買方辦理提貨手續，待規定付款期限到期時，再行付款。 憑單據付款 CAD (Cash Against Documents) /付款交單D/P (Documents against Payment) 賣方按照買賣契約之約定，於貨物裝運後，開出匯票連同貨運單據(如提單、商業發票、包裝單等)，委託其往來銀行寄交進口地的銀行代向買方收取貨款，而買方則必須先付清貨款後，始能取得單據辦理提貨手續。 將貨運單據(如提單、商業發票、包裝單等)於出口地交予買方或其代理人時，即可自買方或代理人處取得貨款。 貨到付款 COD (Cash On Delivery)->這應該比較好理解日常生活很常用。 貨物裝運後，賣方或其代理人將貨運單據(如提單、商業發票、包裝單等)交予買方辦理提貨手續後，始可自買方處取得貨款。此種付款方式風險比較大，適合於金額不大的交易。 國際貿易中採用此種付款方式的甚為少見，一般僅見於空運出口情況。買賣雙方約定以COD方式付款，賣方托運貨物時，委託承運人代收貨款，航空公司將貨物運到目的地後，即通知買方付款提貨，然後再由航空公司將代收貨款轉交賣方。 預付貨款 CIA (Cash In Advance 或 Payment in advance) 買方於買賣契約簽訂後即將貨款之全部或部份直接交付賣方或透過銀行匯給賣方，賣方收到貨款後始安排出貨事宜。 電匯T/T(Telegraphic Transfer),是指匯出行應匯款人申請，拍發加押電報\電傳或SWIFT給在另一國家的分行或代理行(即匯入行)指示解付一定金額給收款人的一種匯款方式。 NET 30 days  這裡的Net指的不是...
閱讀完整內容

鼎新ERP_會計系統_總帳管理_財務參數設定_傳票處理

-
圖片
 會計總帳與其他系統模組關聯 會計系統 一般會計總帳作業流程 首先要先將基本資料維護好 比方像是財務參數、幣別匯率建立、幣別轉換匯率、 會計系統參數、會計期間設定、科目資料建立作業、單據性質設定等等 之後就是日常作業主要分為 會計傳票建立 常用傳票建立 傳票整批過帳 已過帳傳票還原作業 已過帳傳票重新還原作業 其他和日常作業「會計傳票建立」處理有關的管理作業 像是 立沖帳目管理 預算管理 利潤中心管理 遞延收入管理(IFRS) 營運部門管理 此外若有系統中維護屬於開兩家以上公司情況 還包含了「多公司帳務處理」 當中提供公司別傳票複製作業，利於後續會計帳冊有要合併的業務。 當傳票過帳動作完成後 系統就會自動接續將登入過帳到 總分類帳 明細分類帳 帳戶式資產負債表 和會計科目主檔 其餘可能還有其他現金流量表、銷貨成本表、財務分析表 當產生的這些報表核對沒問題後就要進行每月的帳務月結程序 透過月結讓系統自動產生當期的損益 同時也為了避免正確資料有被異動到的問題 可執行關帳作業來把會計帳冊關閉 [基本資料維護-財務參數設定] 主要用於設定會計系統目前作帳年月 會計期制:12,13期 12期:台灣現行稅制，指一年有12期，如歷年制、學校單位的7月制。 13期:外商公司的稅制，指一年有52週，四週唯一期。 會計現行年、月(期別) 1.系統於開帳時只需設定開帳年度與期別 2.若在執行「月底結轉作頁」時候，系統會判斷期別，若為當年度最後一期，則自動將會計現行年度加一。 3.系統允許輸入現行當期及之後的傳票，補入之前傳票後，需執行過帳以確保資料之正確性。 會計關帳年、月(期別) (PS:設定後，不可新增、修改、刪除關帳前期以前的傳票，如有需修改則要調整關帳期別。) 1.會計師已簽核之財務報表，確定不再更動帳務者，則不許修改關帳當期及之前的傳票資料。 2.手動維護關帳年期為送簽資料的最後一個月，或透過「會計系統/指定關帳作業」自動修改。 會計傳票作業流程 會計傳票建立作業目的 用於記錄公司平日交易分錄 會計傳票過帳條件 1.已確認傳票 2.未過帳傳票 3.借貸平衡(借方本幣總金額 = 貸方本幣總金額) 4.傳票日期所屬的年度期別大於會計關帳年度、關帳期別(在關帳年月以前不可執行過帳確認) 通常例行性交易資料事項、非例行性資料交易事項或期末調整事項 都會透過自動分錄拋轉、手動輸入...
閱讀完整內容