T-SQL筆記20_肥大的ldf檔案_查詢便超慢_壓縮SQL Server ldf

-
 



當SQL Server在查詢時遇到很慢的情況
但在異端server又執行的飛快正常時候
可能就要去檢查是不是交易紀錄檔過大導致
情境是backup到本機在做測試時發覺慢到不像話


query 一個查詢竟然要耗費6分鐘
這驚人的耗時讓我懷疑人生

在這篇論壇貼文討論中也有滿多高手提到的
https://www.sqlteam.com/forums/topic.asp?TOPIC_ID=139592

而通常product線上的主機都會定時做備份跟purge
才不會愈來愈大


在SQL Server中每一個資料庫都有兩種形式的資料檔
資料檔MDF 跟 記錄檔LDF
所有資料庫的交易紀錄都會優先寫入至LDF
然後才從LDF傳至MDF
這就是底層資料庫交易紀錄的觀念

在SQL Server中管理LDF方式
主要跟資料庫復原模式設定有關

簡單復原模式(Simple Recovery model)
每次的checkpoint動作發生時，SQL Server會截斷已完成或回複的交易紀錄，
換言之，SQL Server可以重複使用交易紀錄的儲存空間。
此模式下DBA只能執行完整備份與差異備份。

1.交易記錄的管理負擔降至最低，因為交易記錄不會備份。
2.如果資料庫已損毀，簡單復原模式就會面臨工作損失風險。
3.資料只能復原至遺失資料的最近一次備份。因此，在簡單復原模式下，備份間隔不應該太長，以免損失大量資料。因此若無法接受損失最新變更的實際執行系統而言，簡單復原模式
不是適當的選擇。建議使用完整復原模式。
4.對於使用者資料庫而言，簡單復原模式，通常適合用於測試及開發資料庫，或是唯讀資料佔大部分的資料庫，例如資料倉儲。




完整復原模式(Full Recovery model)
所有交易紀錄會被SQL Server保存在該資料庫的紀錄檔內。DBA可以針對該資料庫，進行完整備份、差異備份和交易紀錄備份。


大量紀錄復原模式(Bulk-logged Recovery model)
除了BULK行為(載入大量資料或建立索引)所產生的交易紀錄之外，
絕大多數的交易紀錄都會被保留，所以此模式無法保證能將資料庫還原到過去的任何時間，因為沒有BULK成為的交易紀錄。


基本處裡SOP:
Step1.把DB復原模式更換為簡單模式。
Step2.執行記錄檔壓縮(也就是所謂的 shrink)。
Step3.將DB復原模式更換回完整模式。


這是目前的ldf

可以看到檔案大到100多GB
真是災難

Step1.把DB復原模式更換為簡單模式。

圖形化介面派:

對「資料庫」(Database) ->右鍵->屬性(Properties)


選擇 「選項」(Options) 將資料庫復原模式(Recovery model)換為簡單模式


指令派:
ALTER DATABASE [DB名] SET RECOVERY SIMPLE 
GO



Step2.執行記錄檔壓縮(也就是所謂的 shrink)。

圖形化介面派:
對「資料庫」(Database) ->右鍵 ->工作(Tasks) ->壓縮(Shrink) ->檔案(Files)




把「檔案類型」(File type)更換為->「記錄檔」(Log)






至壓縮動作(Shrink action)下改選擇
->釋放未使用的空間之前，先重新組織頁面(Reorganize page before releasing unused space)
->輸入壓縮後檔案大小，這裡輸選的大小為 0MB。


指令派:
DBCC SHRINKFILE (ldf檔名, 0);

可以看到log占用從144G變成剩下3MB而已


Step3.將DB復原模式更換回完整模式。


參考Step1.作法








Ref:
Function of Simple Recovery Model in SQL Server Database
https://www.datarecovery.institute/simple-recovery-model-in-sql-server-database/

Choosing the Right Backup Strategy for Dynamics CRM
https://www.sherweb.com/blog/dynamics-365/backup-strategy-dynamics-crm/

SQL Server Transaction Log and Recovery Models
https://www.sqlshack.com/sql-server-transaction-log-and-recovery-models/

DBCC SHRINKFILE (Transact-SQL)
https://docs.microsoft.com/zh-tw/sql/t-sql/database-console-commands/dbcc-shrinkfile-transact-sql?redirectedfrom=MSDN&view=sql-server-ver15

SQL Server 無敵手冊第七篇- 淺談SQL Server備份基本概念
https://ithelp.ithome.com.tw/articles/10028383






留言

張貼留言

這個網誌中的熱門文章

經得起原始碼資安弱點掃描的程式設計習慣培養(五)_Missing HSTS Header

-
圖片
  接續前幾篇系列 經得起原始碼資安弱點掃描的程式設計習慣培養(一)_OWASP Top 10(十大網站安全風險)_學習寫更安全程式碼的網站推薦 經得起原始碼資安弱點掃描的程式設計習慣培養(二)_8.Insecure Deserialization ：不安全的反序列化漏洞ASP.NET處理方式 經得起原始碼資安弱點掃描的程式設計習慣培養(三)_7.Cross Site Scripting(XSS)_Stored XSS_Reflected XSS All Clients 經得起原始碼資安弱點掃描的程式設計習慣培養(四)_1.Injection注入攻擊_SQL Injection)_order by 語句正確參數化套入 最近又遇到被若安掃描到高風險要修正的程式碼啦.... 一看這還真是搞不懂該怎麼修呢 HSTS(HTTP Strict Transport Security)  主要是一份國際標準規格 (RFC 6797) 的網際網路瀏覽安全機制， 用於宣告瀏覽器與伺服器之間通訊方式必須強制採用 TLS/SSL 加密通道。 只要從伺服器端送出一個 Strict-Transport-Security 標頭 (Header) 給瀏覽器，即可告知瀏覽器於未來的某段時間內一律使用 SSL 來和該網站連接 (設定可涵蓋所有子域名網站)， 一旦發生憑證失效情況，使用者將無法再瀏覽該網站，如此一來便可大幅減少中間人攻擊的問題發生。 再更白話一點 HSTS Header 就是負責將 http 強制轉為 https CheckMarx掃碼報告給的說明 ============================================================ 風險: 如果web config沒有設置HSTS表頭、"max-age"(有效期)不足一年， 或沒有設定"includeSubDomains"(包含所有子網域)，可能會使用戶容易遭受中間人攻擊。 發生原因: 許多使用者只要在瀏覽器的網址列輸入網域名稱(Domain Name)即可瀏覽網站， 並沒有輸入協定(Protocol)的名稱。 瀏覽器會自動假設使用者使用的是HTTP協定而不是有加密機制的HTTPS協定。 在第一次發出前往特定網站的請求時，攻擊者可以執行中間人攻擊並將用戶轉址到
閱讀完整內容

(2021年度)駕訓學科筆試準備題庫歸納分析_法規是非題

-
圖片
  若是出現 「必須」、「必需」、「...必...」、「應由」、「應先」、「應...」 則很高機率是圈 是非通常只要是如下字眼 「不必」+動詞 、「不需」「不須」、「可不」、「可以不」、「可立即」 有出現或符合的都選叉 (X)1.違規記點又不登記在駕照上，所以可以 不必理會 而任意違反交通規則。 (X)2.發生重大交通事故，為迅速恢復交通，清除現場，可 不必等待 肇事處理機關之指示，即可進行。 (X)3.道路駕駛練習，行車前 不必實施 車輛安全檢查，因為那是駕駛教練的工作。 (X)4.開車前， 不必檢查 機件安全，但在行駛中要隨時注意儀錶功能顯示，確保行車安全。 (X)5.煞車油若經常低於"MIN"線，只要添加即可， 不必到修理廠檢修 。 (X)6.冷卻系統只要副水箱在滿水位，主水箱 不必檢查 也不會有問題。 (X)7.引擎冷卻水內含有防凍液或防銹劑，可 不必更換 。 (X)8.儀錶板上的「燃油油量錶」之指針高度，已經降低至「E」點，橘色的「低油料警示燈」點亮時， 不必急著加油 ，到達目的地後再行補充燃油即可。 (X)9.有安全氣囊裝備的汽車， 不必繫 安全帶。 (X)10.煞車時有異音，是正常的情況， 不必檢修 。 (X)11.汽車定期檢驗 不必檢驗 車輛故障標誌，所以隨車不一定要帶車輛故障標誌。 (X)12.開車時 不必理會 義交之指揮，一切以號誌為主。 (X)13.汽車經過隧道，因隧道內燈光明亮視線良好，為省電可 不必開亮 頭燈。 (X)14.駕駛人只求技術優良，對遵守交通規則 不必太重視 。 (X)15.在開車前， 不必檢查 機件，以免耽誤行車時間。 (X)16.遇幼童專用車、校車、身心障礙者用特製車或教練車， 不必禮讓 。 (X)17.行車 不必攜帶 隨車工具。 (X)18.行車起駛前進， 不必顯示 方向燈。 (X)19.汽車通過鐵路平交道，前後兩車間， 不必保持 距離。 (X)20.夜間將車輛停放在無燈光設備及照明不清之道路時，亦 不必顯示 停車燈光或反光標識。 (X)21.在夜間或有霧靄、雨雪、風沙及晝晦時，把車輛停在路旁， 不必顯示 停車燈光或反光標識。 (X)22.汽車駕駛人，僅需具有優良駕駛技術， 不需 具備急救的常識和技能。 (X)23.汽車車身、引擎、底盤、電系等重要設備變更或調換時， 不需 向公路主管機關申請臨時檢驗。
閱讀完整內容

經得起原始碼資安弱點掃描的程式設計習慣培養(三)_7.Cross Site Scripting(XSS)_Stored XSS_Reflected XSS All Clients

-
圖片
  近期新加入的功能code剛好也被CheckMarx掃出高風險部分的程式碼漏洞 我也踏到這個Issue啦 Cross Site Scripting(XSS)  第一種.Stored XSS 高風險 CheckMarx掃碼報告給的說明[Stored XSS] ============================================================ 風險: 攻擊者可以利用合法存取應用程式提交資料到資料庫。 當另一個使用者隨後存取該資料，網頁可能會被改寫且惡意腳本可能會被啟動。 發生原因: 從資料庫中的資料建立網頁。資料直接嵌入至HTML的頁面，利用瀏覽器顯示。 資料可能源自於其他使用者的輸入。 如果資料包含HTML片段或Javascript，使用者無法分辨是否為預期的頁面。 該漏洞主因為未先對嵌入資料庫中的資料進行編碼(Encode) 來預防瀏覽器將其當為HTML的格式而非純文字。 如何避免: 1.驗證所有資料，無論其來源為何。驗證應基於白名單：僅接受預定結構的資訊，而不是拒絕不良的樣式(Patterns)。  應確認：  ● 資料型態  ● 大小  ● 範圍  ● 格式  ● 期望值  2. 驗證無法取代編碼. 輸出嵌入之前，不論其來源， 將所有動態資料進行編碼. 編碼方式應該是上下文相關的. 例如: ● HTML內容使用HTML的編碼方式  ● HTML編碼特性是將資料輸出到特性的值 ● JavaScript的編碼方式為伺服器產生的Javascript  3.考慮使用ESAPI的編碼庫，或它的內置功能。對於舊版的ASP.NET，請考慮使用AntiXSS.  4.在HTTP類型對應的表頭， 明確定義整個頁面的字元編碼.  5. 設置 httpOnly 標誌於會期資訊，以防止利用XSS來竊取資訊. ============================================================ 這裡報告描述是指我對傳進來字串參數直接拋給DAL處裡的類別執行查詢 這裡缺乏對輸入進來的字串參數做一些查檢判斷 也建議在帶入時對參數也做一些html encode處理 這裡用AntiXSS來Encode 第二種.Reflected XSS All Clients 高風險 CheckMarx掃碼報告給的說明[Reflecte
閱讀完整內容