T-SQL筆記38_改善SQL分頁查詢效能_sp_cursoropen 和 sp_cursorfetch

-
 


之前有分享過分頁寫法
這次遇到其他種分頁作法


舊系統分頁查詢SP

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
Create  proc  [dbo].[SSP_GetPage]
(
	@sqlstr  nvarchar(4000), 
             	@pagepos  int=1,               
             	@pagesize  int=99999999,
	@recsize int output
)                  
           as  
begin  
	set  nocount  on  
           	declare  @P1  int ,@P2 int ,@P3 int,@reccount int
          	set  @pagepos=(@pagepos-1)*@pagesize+1
           	exec  sp_cursoropen  @P1 output , @sqlstr , 1  , 8193 , @recsize output 
	exec  sp_cursorfetch  @P1,16,@pagepos,@pagesize 
           	exec  sp_cursorclose  @P1 
end

這段程式碼定義了一個名為 SSP_GetPage 的存儲過程。該過程接受四個參數：

@sqlstr：一個字符串參數，用於指定將要執行的 SQL 陳述式。
@pagepos：一個整數參數，指定要檢索的記錄起始位置，默認為 1。
@pagesize：一個整數參數，指定要檢索的記錄數目，默認為 99999999。
@recsize：一個輸出參數，指定檢索到的記錄數目。
在存儲過程的主體中，首先使用 set nocount on 語句來禁用向客戶端返回計數信息的功能。
然後聲明了四個整型變量 @P1、@P2、@P3 和 @reccount。

接下來，根據 @pagepos 和 @pagesize 計算要檢索的記錄起始位置，然後執行 sp_cursoropen 系統存儲過程來打開游標，使用 sp_cursorfetch 函數檢索指定頁面的記錄，最後再使用 sp_cursorclose 函數關閉游標。



用到了幾個比較沒碰過的語法

sp_cursoropen,
sp_cursorfetch,
sp_cursorclosee



sp_cursoropen是一個系統預存程序，用於打開一個游標，將查詢結果集儲存在系統內存中，並返回一個參數以供後續操作。它的語法為：

sp_cursoropen語法參數

1
sp_cursoropen [@cursor RETURN] output, [@stmt] NVARCHAR(4000), [@options] INT, [@scrollopt] INT, [@ccopt] INT, [@scrollcursortype] INT


其中，
@cursor RETURN是一個輸出參數，用於返回一個游標句柄；
@stmt是一個 NVARCHAR(4000)類型的參數，表示要執行的 SQL 陳述式；
@options是一個 INT類型的參數，指定了游標的類型；
@scrollopt是一個 INT類型的參數，指定了游標滾動的選項；
@ccopt是一個 INT類型的參數，指定了游標的光標屬性；
@scrollcursortype是一個 INT類型的參數，指定了游標的滾動類型。


sp_cursorfetch是一個系統預存程序，用於檢索一個游標中的一個或多個行。它的語法為：
sp_cursorfetch語法參數

1
sp_cursorfetch [@cursor] INT, [@fetchtype] INT, [@row] INT, [@rows] INT, [@rowcount] INT output


其中，
@cursor是一個 INT類型的參數，表示要檢索的游標；
@fetchtype是一個 INT類型的參數，表示要檢索的類型；
@row是一個 INT類型的參數，表示要檢索的第一行的位置；
@rows是一個 INT類型的參數，表示要檢索的行數；
@rowcount是一個輸出參數，返回檢索到的行數。


sp_cursorclose是一個系統預存程序，用於關閉游標，釋放遊標相關的資源，包括內存、鎖定和其他系統資源。它的語法為：
sp_cursorclose語法參數

1
sp_cursorclose [@cursor] INT

其中，@cursor是一個 INT類型的參數，表示要關閉的游標。



底下是嘗試產生大量資料來模擬這支sp如何呼叫使用的範例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
-- 建立一個表來存儲資料
CREATE TABLE TestTable (
    ID INT IDENTITY(1,1) PRIMARY KEY,
    Name VARCHAR(50),
    Age INT
)

-- 插入 2000 萬筆資料
DECLARE @i INT = 1
WHILE (@i <= 20000000)
BEGIN
    INSERT INTO TestTable (Name, Age) VALUES ('User ' + CAST(@i AS VARCHAR(10)), @i % 100)
    SET @i = @i + 1
END

-- 呼叫 SSP_GetPage 存儲過程來檢索資料
DECLARE @recsize INT
EXEC SSP_GetPage 'SELECT * FROM TestTable', 1, 1000, @recsize OUTPUT

上面的例子會向 TestTable 表中插入 2000 萬筆資料，
然後調用 SSP_GetPage 存儲過程來檢索這些資料。
在呼叫存儲過程時，我們指定要檢索的記錄起始位置為 1，每頁檢索的記錄數目為 1000。@recsize 參數將被用來存儲檢索到的記錄數目。
注意，由於檢索的資料量很大，所以可能需要等待一段時間才能完成操作。

由於利用SQL的遊標存儲過程分頁效能會比較差
用游標的方式,只適合於資料量沒這麼大量的表,如果表在一萬行以上一些效能差異就很明顯
能感受到轉圈耗費的時間拉長。
sp_cursoropen 和 sp_cursorfetch 是 SQL Server 提供的用於處理查詢結果集的系統函數，它們都使用游標來處理結果集。游標是一種指標，可以讓程式在結果集中移動並操作數據。

sp_cursoropen 函數用於打開一個遊標，它接受多個參數，包括 SQL 語句、游標類型、游標並發控制方式、游標選項等。它會將查詢結果放入一個暫存表中，然後返回一個遊標的句柄，這個句柄可以用來進一步操作結果集。
sp_cursorfetch 函數用於從遊標中獲取數據，它接受多個參數，包括遊標句柄、擷取方式、起始位置、擷取行數等。它會根據參數指定的位置和數量擷取數據並返回，並且在擷取完成後自動將遊標移動到下一個位置，以便進一步擷取數據。

由於 sp_cursoropen 和 sp_cursorfetch 都使用游標來處理結果集，因此它們的效能較差，會占用大量資源。游標需要在內存中建立一個暫存表來存儲結果集，而且游標還需要保持與數據庫的連接狀態，這些都會導致效能降低。此外，使用游標還容易出現死鎖等問題，這些都會對程式的穩定性造成影響。


經改寫的版本

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
CREATE PROCEDURE [dbo].[SSP_GetPage2]
(
    @sqlstr nvarchar(max),
    @pagepos int = 1,
    @pagesize int = 99999999,
    @recsize int OUTPUT
)
AS
BEGIN
    SET NOCOUNT ON;

    DECLARE @offset INT = (@pagepos - 1) * @pagesize + 1;
    DECLARE @fetchSize INT = @pagesize;
    DECLARE @totalCount INT;

    -- Get total record count
    SET @sqlstr = N'SELECT @totalCount = COUNT(*) FROM (' + @sqlstr + ') AS [t]';
    EXEC sp_executesql @sqlstr, N'@totalCount INT OUTPUT', @totalCount OUTPUT;

    -- Calculate output parameters
    SET @recsize = @@ROWCOUNT;
    IF @recsize = 0
    BEGIN
        SET @pagepos = 0;
        SET @pagesize = 0;
    END;

    -- Retrieve data for specified page
    SET @sqlstr = CONCAT(
        'SELECT * FROM (',
        @sqlstr,
        ') AS [t4] ORDER BY (SELECT NULL) OFFSET @offset ROWS FETCH NEXT @fetchSize ROWS ONLY;'
    );

    EXEC sp_executesql @sqlstr, N'@offset INT, @fetchSize INT', @offset, @fetchSize;
END







留言

張貼留言

這個網誌中的熱門文章

何謂淨重(Net Weight)、皮重(Tare Weight)與毛重(Gross Weight)

-
圖片
當談到貨物的重量時，往往會分成所謂的淨重(Net Weight)與毛重(Gross Weight)。 會有以下公式關係存在 淨重=毛重-皮重(包裝物的重量) 毛重=淨重+皮重 淨重( Net Weight 縮寫為N.W.) 指物品本身的重量，不包括容器或包裝材料的重量。 凈重是國際貿易中最常見的計重辦法。 例如，如果運輸原材料，原材料的重量就是所運輸貨物的淨重。包裝原材料的容器或包裝不計入淨重。同樣地，當我們考慮一罐豆子時，罐子內所含物品的重量就算作淨重。因此，淨重將包括豆子、罐頭里的任何液體，以及保存豆子所含的物品。 大多數 以重量為計價的貨物買賣 ，採用此計價方法。 若合同中並未明確規範以何種方式計量和計價時，按慣例以凈重計價。 毛重( Gross Weight 縮寫G.W.) 貨物連同它的包裝的重量，是你托運的所有物品的總重量。 皮重(Tare Weight) 指商品外包裝材料的重量(即運輸包裝的重量)，不包括內包裝材料和襯墊物的重量。 比方一個空的貨櫃、容器、或任何包裝材料的重量。 Net Net Weight純淨重 (指從Net Weight中扣除內包裝後的重量) 進出口商品為了因應運輸及消費需求, 一般都有內包裝與外包裝。 一般在買賣合同與信用狀中,通常只要求於裝箱單上註明Gross Weight和Net Weight即可, 但有些L/C 要求 Net Net Weight,大多是海關徵收從量稅時的依據 運輸重量對於航運業或者航空運輸等各自都通用這些術語 為何特別在意重量? 主要就在於會影響像是傳輸安全乘載限制。 就運輸層面(不同方式的運輸) 航空運輸：對機長而言，毛重包括皮重、產品淨重以及飛機、燃料、乘客和機組人員的重量。 公路/鐵路運輸:對於火車車長而言，毛重包括產品淨重、皮重和運輸車輛的重量。 水路航運運輸：對船長而言，毛重就是淨重和皮重之和。 就公司ERP成本角度 成本一般都會採用 "淨重" 主要是因為若用毛重，可能會有輔材不可控因素存在 比方一個 5cm 固定塑膠件，今天用一個 10cm 紙箱測重，明天用一個 100cm 紙箱測重，那可能就容易導致ERP資料比較會失真。 就物流層面來探討 通常還會有一名詞即所謂「實際重量」(Actual Weight) 根據稱重(過磅)所得到的重量，實際重量分為實際毛重(Gross Weig...
閱讀完整內容

Architecture(架構) 和 Framework(框架) 有何不同?_軟體設計前的事前規劃的藍圖概念

-
圖片
一個應用程式(軟體) 不管是  互動拍照 也好、 投影也好、車牌偵測... 舞台演唱會後方電視牆的互動應用程序、 粒子特效、3D或2D遊戲  等等 開發者通常都需要在一開始做規劃 ㄟ  假設我今天要寫 跟影像有關 可能需要偵測、可能需要提取前景、可能需要偵測圓形 之類的 我有  emgucv 、AForge.Net、 opencv 等等可以用 但是 假設我今天要做的應用程序是需要有視窗介面的~~ emgucv 跟 C# windows form 媒合性 就很高 而且直接在 visual studio 做開發 opencv 我可能還需要依賴 Qt 之類等等  framework 假設我今天是要寫一個 演唱會電視牆互動粒子特效 可能就會挑   openframeworks  、 processing 、kinect 來寫互動 Achitecture  --->全稱 :  Software Architecture   軟體架構 Achitecture   由好多 framework 組成 軟體架構（Software Architecture）是一種軟體在開發前的設計藍圖， 用來告訴軟體的結構，功能，介面，用法，與其他系統的構連以及資料交換等等規範， 但它並沒有叫你要用什麼方式實作， 因此軟體架構通常會產生文件，圖樣，原型以及規格等， 就是沒有可用的程式碼，因為那不是軟體架構應該有的東西， 就像蓋房子時是給你藍圖，而不是一幢蓋好的房子。 軟體框架（Framework):是一個已經成形的方法，而且有程式碼實體 （例如鋼構工法也是要有鋼材才能做），並且會告訴你要如何使用它 （即 Framework Documentation，MSDN Library 即為一最佳例子）
閱讀完整內容

經得起原始碼資安弱點掃描的程式設計習慣培養(五)_Missing HSTS Header

-
圖片
  接續前幾篇系列 經得起原始碼資安弱點掃描的程式設計習慣培養(一)_OWASP Top 10(十大網站安全風險)_學習寫更安全程式碼的網站推薦 經得起原始碼資安弱點掃描的程式設計習慣培養(二)_8.Insecure Deserialization ：不安全的反序列化漏洞ASP.NET處理方式 經得起原始碼資安弱點掃描的程式設計習慣培養(三)_7.Cross Site Scripting(XSS)_Stored XSS_Reflected XSS All Clients 經得起原始碼資安弱點掃描的程式設計習慣培養(四)_1.Injection注入攻擊_SQL Injection)_order by 語句正確參數化套入 最近又遇到被若安掃描到高風險要修正的程式碼啦.... 一看這還真是搞不懂該怎麼修呢 HSTS(HTTP Strict Transport Security)  主要是一份國際標準規格 (RFC 6797) 的網際網路瀏覽安全機制， 用於宣告瀏覽器與伺服器之間通訊方式必須強制採用 TLS/SSL 加密通道。 只要從伺服器端送出一個 Strict-Transport-Security 標頭 (Header) 給瀏覽器，即可告知瀏覽器於未來的某段時間內一律使用 SSL 來和該網站連接 (設定可涵蓋所有子域名網站)， 一旦發生憑證失效情況，使用者將無法再瀏覽該網站，如此一來便可大幅減少中間人攻擊的問題發生。 再更白話一點 HSTS Header 就是負責將 http 強制轉為 https CheckMarx掃碼報告給的說明 ============================================================ 風險: 如果web config沒有設置HSTS表頭、"max-age"(有效期)不足一年， 或沒有設定"includeSubDomains"(包含所有子網域)，可能會使用戶容易遭受中間人攻擊。 發生原因: 許多使用者只要在瀏覽器的網址列輸入網域名稱(Domain Name)即可瀏覽網站， 並沒有輸入協定(Protocol)的名稱。 瀏覽器會自動假設使用者使用的是HTTP協定而不是有加密機制的HTTPS協定。 在第一次發出前往特定網站的請求時，攻擊者可以執行中間人攻擊並將用戶轉址到...
閱讀完整內容