Python擷取pdf檔案文字、表格、圖檔內容_三套pdf library(PyPdf,PdfPlumber,PyMuPDF)

-
 
本篇使用的 Python 版本為 3.10

在此會使用此sample作為pdf資料擷取測試用的共同標準
https://css4.pub/2015/usenix/example.pdf
https://css4.pub/2015/textbook/somatosensory.pdf


使用Pycharm建立我們的Pure Project專案



PyPdf套件下載並測試

File -> Settings



pillow也補安裝

透過PyPdf擷取每一頁pdf純文字內容與圖檔

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
from pypdf import PdfReader
from PIL import Image
import os
reader = PdfReader('example.pdf')
print("頁數:"+ str(len(reader.pages)))

#獲取第一頁pdf的純文字內容
page = reader.pages[0]
print("===================Page1.Context below===================")
print(page.extract_text())

for idxPage in range(len(reader.pages)):
    page = reader.pages[idxPage]
    print(f"====================Page.{idxPage + 1}Context below================")
    print(page.extract_text())
    for imgItem in page.images:
        with open(imgItem.name, 'wb') as imgFile:
            imgFile.write(imgItem.data)

測試看起來svg內嵌圖檔沒成功捕獲
https://css4.pub/2015/usenix/Floppy_icon.svg
https://css4.pub/2015/usenix/Computer_keyboard_Danish_layout.svg

但改成somatosensory.pdf則有成功擷取到jpg圖檔

PyPlumber套件下載並測試

透過PdfPlumber 擷取每一頁pdf純文字內容與表格資料

1
2
3
4
5
6
7
8
import pdfplumber
with pdfplumber.open('example.pdf') as pdf:
    for page in pdf.pages:

        #print(f"====================Page.{page.page_number}Contexts below================")
        #print(page.extract_text())
        print(f"====================Page.{page.page_number}Tables below================")
        print(page.extract_table())

PdfPlumber 則支援pdf中表格結構資料擷取，不過這邊測試看起來沒這麼理想就是了。
用example的pdf剛好第一頁不會有table,第二頁、第三頁則有table。
這邊實測只有第三頁獲取的table比較完整




在另一個pdf測試樣本則很成功有將唯獨第三頁的table資料成功擷取


針對 example.pdf 我們進行所有Table詳列

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import pdfplumber

all_tables = []
with pdfplumber.open('example.pdf') as pdf:
    for page in pdf.pages:

        print(f"====================Page.{page.page_number}Contexts below================")
        print(page.extract_text())

        print(f"====================Page.{page.page_number}words below================")
        print(page.extract_words())

        print(f"====================Page.{page.page_number}Tables below================")
        #print(page.extract_table())
        tables = page.extract_tables()
        all_tables.extend(tables)



idTable = 0
print("Print tables each row")
for table in all_tables:
    idTable += 1
    print(f"=======Table.{idTable}=======")
    for row in table:
        print(row)

相較 tabula-py套件，PdfPlumber會提供更多表格設定的調整彈性。

PyMuPDF套件下載並測試(對於pdf中圖片提取較推薦)


藉由PyMuPDF來擷取文字與圖檔

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import fitz  # PyMuPDF
from PIL import Image
import io
import os

def extract_text_from_pdf(pdf_path):
    """
    從 PDF 提取所有頁面的文字內容。
    """
    pdf_document = fitz.open(pdf_path)
    text_content = []

    for page_number in range(len(pdf_document)):
        page = pdf_document[page_number]
        text = page.get_text()  # 提取文字
        text_content.append((page_number + 1, text))
    return text_content


def extract_images_from_pdf(pdf_path, output_folder="extracted_images"):
    """
    從 PDF 提取所有頁面的圖片並保存到指定資料夾。
    """
    # 建立輸出資料夾
    if not os.path.exists(output_folder):
        os.makedirs(output_folder)

    pdf_document = fitz.open(pdf_path)
    images = []

    for page_number in range(len(pdf_document)):
        page = pdf_document[page_number]
        # 提取頁面中的圖片
        for img_index, img in enumerate(page.get_images(full=True)):
            xref = img[0]
            base_image = pdf_document.extract_image(xref)
            image_bytes = base_image["image"]
            image_ext = base_image["ext"]  # 圖片副檔名
            image = Image.open(io.BytesIO(image_bytes))

            # 保存圖片
            image_filename = f"{output_folder}/page_{page_number + 1}_image_{img_index + 1}.{image_ext}"
            image.save(image_filename)
            images.append(image_filename)
    return images



pdf_path = "somatosensory.pdf"  # 替換為你的 PDF 檔案路徑
text_output = extract_text_from_pdf(pdf_path)

print("提取的文字內容：")
for page_num, text in text_output:
    print(f"第 {page_num} 頁內容：\n{text}\n{'-' * 50}")
    print("正在提取圖片...")
    images = extract_images_from_pdf(pdf_path)
    print(f"提取的圖片已保存至：{images}")













Ref:
https://www.illumine.tw/xkldimedn11/pdfplumber
https://pypi.org/project/pdfplumber/#extracting-tables
https://pypi.org/project/tabula-py/
https://hjwang520.pixnet.net/blog/post/403782626
https://azhar-sayyad.medium.com/a-step-by-step-guide-to-parsing-pdfs-using-the-pdfplumber-library-in-python-c12d94ae9f07
https://lancerninja.com/extract-data-pdf-python/

留言

張貼留言

這個網誌中的熱門文章

何謂淨重(Net Weight)、皮重(Tare Weight)與毛重(Gross Weight)

-
圖片
當談到貨物的重量時，往往會分成所謂的淨重(Net Weight)與毛重(Gross Weight)。 會有以下公式關係存在 淨重=毛重-皮重(包裝物的重量) 毛重=淨重+皮重 淨重( Net Weight 縮寫為N.W.) 指物品本身的重量，不包括容器或包裝材料的重量。 凈重是國際貿易中最常見的計重辦法。 例如，如果運輸原材料，原材料的重量就是所運輸貨物的淨重。包裝原材料的容器或包裝不計入淨重。同樣地，當我們考慮一罐豆子時，罐子內所含物品的重量就算作淨重。因此，淨重將包括豆子、罐頭里的任何液體，以及保存豆子所含的物品。 大多數 以重量為計價的貨物買賣 ，採用此計價方法。 若合同中並未明確規範以何種方式計量和計價時，按慣例以凈重計價。 毛重( Gross Weight 縮寫G.W.) 貨物連同它的包裝的重量，是你托運的所有物品的總重量。 皮重(Tare Weight) 指商品外包裝材料的重量(即運輸包裝的重量)，不包括內包裝材料和襯墊物的重量。 比方一個空的貨櫃、容器、或任何包裝材料的重量。 Net Net Weight純淨重 (指從Net Weight中扣除內包裝後的重量) 進出口商品為了因應運輸及消費需求, 一般都有內包裝與外包裝。 一般在買賣合同與信用狀中,通常只要求於裝箱單上註明Gross Weight和Net Weight即可, 但有些L/C 要求 Net Net Weight,大多是海關徵收從量稅時的依據 運輸重量對於航運業或者航空運輸等各自都通用這些術語 為何特別在意重量? 主要就在於會影響像是傳輸安全乘載限制。 就運輸層面(不同方式的運輸) 航空運輸：對機長而言，毛重包括皮重、產品淨重以及飛機、燃料、乘客和機組人員的重量。 公路/鐵路運輸:對於火車車長而言，毛重包括產品淨重、皮重和運輸車輛的重量。 水路航運運輸：對船長而言，毛重就是淨重和皮重之和。 就公司ERP成本角度 成本一般都會採用 "淨重" 主要是因為若用毛重，可能會有輔材不可控因素存在 比方一個 5cm 固定塑膠件，今天用一個 10cm 紙箱測重，明天用一個 100cm 紙箱測重，那可能就容易導致ERP資料比較會失真。 就物流層面來探討 通常還會有一名詞即所謂「實際重量」(Actual Weight) 根據稱重(過磅)所得到的重量，實際重量分為實際毛重(Gross Weig...
閱讀完整內容

經得起原始碼資安弱點掃描的程式設計習慣培養(五)_Missing HSTS Header

-
圖片
  接續前幾篇系列 經得起原始碼資安弱點掃描的程式設計習慣培養(一)_OWASP Top 10(十大網站安全風險)_學習寫更安全程式碼的網站推薦 經得起原始碼資安弱點掃描的程式設計習慣培養(二)_8.Insecure Deserialization ：不安全的反序列化漏洞ASP.NET處理方式 經得起原始碼資安弱點掃描的程式設計習慣培養(三)_7.Cross Site Scripting(XSS)_Stored XSS_Reflected XSS All Clients 經得起原始碼資安弱點掃描的程式設計習慣培養(四)_1.Injection注入攻擊_SQL Injection)_order by 語句正確參數化套入 最近又遇到被若安掃描到高風險要修正的程式碼啦.... 一看這還真是搞不懂該怎麼修呢 HSTS(HTTP Strict Transport Security)  主要是一份國際標準規格 (RFC 6797) 的網際網路瀏覽安全機制， 用於宣告瀏覽器與伺服器之間通訊方式必須強制採用 TLS/SSL 加密通道。 只要從伺服器端送出一個 Strict-Transport-Security 標頭 (Header) 給瀏覽器，即可告知瀏覽器於未來的某段時間內一律使用 SSL 來和該網站連接 (設定可涵蓋所有子域名網站)， 一旦發生憑證失效情況，使用者將無法再瀏覽該網站，如此一來便可大幅減少中間人攻擊的問題發生。 再更白話一點 HSTS Header 就是負責將 http 強制轉為 https CheckMarx掃碼報告給的說明 ============================================================ 風險: 如果web config沒有設置HSTS表頭、"max-age"(有效期)不足一年， 或沒有設定"includeSubDomains"(包含所有子網域)，可能會使用戶容易遭受中間人攻擊。 發生原因: 許多使用者只要在瀏覽器的網址列輸入網域名稱(Domain Name)即可瀏覽網站， 並沒有輸入協定(Protocol)的名稱。 瀏覽器會自動假設使用者使用的是HTTP協定而不是有加密機制的HTTPS協定。 在第一次發出前往特定網站的請求時，攻擊者可以執行中間人攻擊並將用戶轉址到...
閱讀完整內容

(2021年度)駕訓學科筆試準備題庫歸納分析_法規是非題

-
圖片
  若是出現 「必須」、「必需」、「...必...」、「應由」、「應先」、「應...」 則很高機率是圈 是非通常只要是如下字眼 「不必」+動詞 、「不需」「不須」、「可不」、「可以不」、「可立即」 有出現或符合的都選叉 (X)1.違規記點又不登記在駕照上，所以可以 不必理會 而任意違反交通規則。 (X)2.發生重大交通事故，為迅速恢復交通，清除現場，可 不必等待 肇事處理機關之指示，即可進行。 (X)3.道路駕駛練習，行車前 不必實施 車輛安全檢查，因為那是駕駛教練的工作。 (X)4.開車前， 不必檢查 機件安全，但在行駛中要隨時注意儀錶功能顯示，確保行車安全。 (X)5.煞車油若經常低於"MIN"線，只要添加即可， 不必到修理廠檢修 。 (X)6.冷卻系統只要副水箱在滿水位，主水箱 不必檢查 也不會有問題。 (X)7.引擎冷卻水內含有防凍液或防銹劑，可 不必更換 。 (X)8.儀錶板上的「燃油油量錶」之指針高度，已經降低至「E」點，橘色的「低油料警示燈」點亮時， 不必急著加油 ，到達目的地後再行補充燃油即可。 (X)9.有安全氣囊裝備的汽車， 不必繫 安全帶。 (X)10.煞車時有異音，是正常的情況， 不必檢修 。 (X)11.汽車定期檢驗 不必檢驗 車輛故障標誌，所以隨車不一定要帶車輛故障標誌。 (X)12.開車時 不必理會 義交之指揮，一切以號誌為主。 (X)13.汽車經過隧道，因隧道內燈光明亮視線良好，為省電可 不必開亮 頭燈。 (X)14.駕駛人只求技術優良，對遵守交通規則 不必太重視 。 (X)15.在開車前， 不必檢查 機件，以免耽誤行車時間。 (X)16.遇幼童專用車、校車、身心障礙者用特製車或教練車， 不必禮讓 。 (X)17.行車 不必攜帶 隨車工具。 (X)18.行車起駛前進， 不必顯示 方向燈。 (X)19.汽車通過鐵路平交道，前後兩車間， 不必保持 距離。 (X)20.夜間將車輛停放在無燈光設備及照明不清之道路時，亦 不必顯示 停車燈光或反光標識。 (X)21.在夜間或有霧靄、雨雪、風沙及晝晦時，把車輛停在路旁， 不必顯示 停車燈光或反光標識。 (X)22.汽車駕駛人，僅需具有優良駕駛技術， 不需 具備急救的常識和技能。 (X)23.汽車車身、引擎、底盤、電系等重要設備變更或調換時， 不需 向公路主管機關申請臨時檢驗。 ...
閱讀完整內容