Browse by Tags

使用非同步處理提升資料庫更新速度

來自同事的資料庫程式效能調校案例一則。 情境為一支同步來源及目的資料表的排程，先一次取回來源及目的資料表，逐一檢查資料是否已存在目的資料表，若不存在即執行Insert，若存在則執行 Update 更新欄位。因 Insert/Update 之前需進行特定轉換，故難以改寫為 Stored Procedure。排程有執行過慢問題，處理四萬筆資料耗時近 27 分鐘。 程式示意如下： foreach (var src in srcList) { try { var target = findExistingData...

Posted 09 February 2017 08:49 PM 由 Jeffrey | 9 comment(s) 11,004

Filed under: .NET, Performance

SQL效能調校經驗一則

使用者報案，某網頁效能變得奇慢無比，簡單的上線公告查詢耗時超過兩分鐘，追查後抓出問題查詢如下例： select case when convert ( varchar ,u.StartDate,108)= '00:00:00' and convert ( varchar ,u.EndDate,108)= '00:00:00' then convert (datetime, convert ( varchar ,u.EndDate,111))+1 else EndDate...

Posted 30 May 2016 10:23 PM 由 Jeffrey | with no comments 10,852

Filed under: Performance, SQL

SQL筆記：再談動態WHERE條件

前一篇文章 探討了「WHERE 1＝1動態查詢條件組裝」的效能問題，並介紹如何利用C#語言特性簡單寫出沒有多餘WHERE 1=1的馬甲線SQL指令。而在前文提到的Code Review會議，還有一招不需要組裝WHERE指令的做法也被提及。 //REF: http://goo.gl/SBF1Wi by 91 /// <summary> /// 當資料物件為null時傳回DBNull.Value /// </summary> /// <param name="obj"><...

Posted 18 August 2015 08:53 AM 由 Jeffrey | 1 comment(s) 11,112

Filed under: Performance, SQL

SQL筆記：WHERE 1=1會拖累效能嗎？

稱不上DB咖的我，反常地連寫兩篇SQL筆記，其實都是研究「動態產生SQL查詢條件」議題的副產品，這篇才算步入正題，鴨架子湯先來兩碗，烤鴨才上桌，哈！但這樣安排是對的，以下探討有一部分需要先前筆記的基礎才好聊下去。 兩週前，參加一場Code Review討論，會中大家剛好聊到「動態產生SQL查詢條件」這檔事兒。它的情境是：使用者在操作介面上有多項條件選擇，例如：日期、類別、關鍵字，每個條件使用者可選擇輸入或不輸入（不輸入代表不限定）。從程式的角度，使用者依輸入條件不同，可能形成以下幾種SQL查詢條件...

Posted 17 August 2015 07:37 AM 由 Jeffrey | with no comments 16,675

Filed under: Performance, SQL

SQL筆記：Literal, Variable與Parameter

繼續研究不同SQL寫法對執行計劃的影響。 如果大家讀過 上一篇筆記 ，就會知道以下兩則查詢將使用不同的執行計劃，前者走Clustered Index Scan，後者則是Index Seek + Key Lookup。 SELECT ProductID, OrderQty FROM Sales.SalesOrderDetail WHERE ProductID = 870 --4688筆 SELECT ProductID, OrderQty FROM Sales.SalesOrderDetail WHERE...

Posted 16 August 2015 05:13 PM 由 Jeffrey | with no comments 6,345

Filed under: Performance, SQL

Parallel.For翻船事件剖析－使用Concurrency Visualizer

網友Loops 留言 分享了一段程式：使用Parallel.For進行平行運算，原本測試平行運算速度勝過循序運算，卻迴圈加入一行Console.WriteLine("{0}", index)後情勢逆轉，跑得比循序迴圈還慢！ 直覺推測此一現象肇因於Console為共用資源，多執行緒同時存取時涉及資源鎖定、協調同步、Context Switch等運作機制，衍生額外計算及IO。當平行處理邏輯複雜度不高，這些額外成本抵消掉平行處理的效益，甚至弊大於利，最終導致執行效率比循序處理還差。這點在...

Posted 26 December 2014 09:38 PM 由 Jeffrey | 1 comment(s) 7,091

Filed under: Performance, Visual Studio

筆記－使用VS2013解開.NET程式CPU衝高謎團

前幾天，幫同事追查 .NET 程式 CPU 衝高問題，才發現 Visual Studio 2013 效能分析工具真是威力強大，特筆記備忘順便分享。原本想拿實務案例說明，但考量太多無關細節會失焦，所以我弄了一個簡單程式當靶機練習射擊： using System; using System.Collections.Generic; using System.Linq; using System.Security.Cryptography; using System.Text; namespace CPUSharMon...

Posted 31 August 2014 11:16 AM 由 Jeffrey | with no comments 12,057

Filed under: Performance, VS2012, VS2013

迴圈比對條件的陣列長度該不該用變數?

前幾天看到關於陣列跑迴圈時，比對條件裡陣列長度改用變數提升執行效率的討論。亦即 for (int i = 0; i < array.Length; i++) ... 若改成 int c = array.Length; for (int i = 0; i < c; i++) ... 會不會變快? 支持變快的理由是比對條件會反覆執行，array.Length透過屬性取值會比直接存取變數耗時。 但有另一派 說法 : Some programmers believe that they can...

Posted 21 February 2013 09:44 PM 由 Jeffrey | 4 comment(s) 6,536

Filed under: .NET, Performance

關於IQueryable<T>特性的小實驗

ASP.NET Web API支援OData，可以藉由URL加註$filter、$orderby、$skip、$top參數，對資料進行條件篩選、排序、分頁等加工(關於ASP.NET Web API OData特性，可參見KKBruce的 文章 )。而要啟用OData，有項重要前題是回傳資料型別必須為IQueryable<T>，而非一般LINQ常用的IEnumerable<T>。 對於List<T>、T[]等保存在記憶體的資料結構，傳回IQueryable<T>充其量只是要多一層...

Posted 23 October 2012 12:08 AM 由 Jeffrey | 1 comment(s) 27,161

Filed under: Performance, Linq, Entity Framework

【茶包射手日記】LINQ過量載入陷阱及.NET記憶體限制

今天處理了一件.NET服務故障案件。有個.NET開發的Windows服務，其任務為每隔幾分鐘查詢資料庫，取出待處理的作業項目，依其指示執行相關動作。狀況為資料庫仍有大量待處理項目，但服務未如預期取回資料逐筆消化。 幸運的是，程式設計時已加入頗為詳細的Log機制，很快地在Log檔發現記憶體不足錯誤訊息: System.OutOfMemoryException: Exception of type 'System.OutOfMemoryException' was thrown.   ...

Posted 09 October 2012 11:21 PM 由 Jeffrey | with no comments 8,740

Filed under: .NET, Trouble-Shooting, Performance

打破沙鍋-AJAX POST比GET效率差?

故事要從點部落看到的 一篇文章 說起，該文章引薦了另一篇文章: 如何有效的提升網站的效能 - 12項建議 ，提出不少網頁前端設計上的效能提示，不過其中第8點: 在使用Ajax時，請盡量以GET的方式進行請求，以POST的方式將造成雙倍的要求次數 卻讓人有些疑惑，依我對HTTP GET與POST運作原理的理解，無法解釋Request數變兩倍的理由。於是在噗浪上 討論了一番 ，發現許多人跟我有相同的疑問，直到JavaScript神人-費拉諾蘭大公現身，指引眾人一條明路，在Yahoo Developer...

Posted 10 June 2012 07:18 AM 由 Jeffrey | 4 comment(s) 22,856

Filed under: Performance, AJAX

當心LINQ搜尋的效能陷阱

對於長年與資料庫、SQL語法打交道的開發者來說，LINQ語法有無比的親切感! 當要在List<SomeClass>集合中找尋特定物件時，寫成    form o in SomeList where o.Col1 == "A" && o.Col2 == "B" select o 是再自然也不過的事。乍看之下，反正List<SomeClass>已被存在記憶體，無須顧忌反覆查詢資料庫所產生的連線成本，而where條件比對又十分直覺易懂...

Posted 20 October 2011 12:55 AM 由 Jeffrey | 11 comment(s) 28,092

Filed under: Performance, Linq

再探ASP.NET大排長龍問題

在 MaxConnectionsPerServer實驗 中，發現一個過去被忽略的問題: 原來同一個Session下， 啟用Session的ASP.NET網頁，因鎖定限制有可能出現單一時間內只能有一個Request被處理的情況 。換句話說，即便我們使用非同步方式同時發出10個對ASP.NET網頁的Request，若該ASP.NET網頁涉及Session，這10個Request將不會同步執行，而是10個Request排成一列，一個執行完再執行下一個。 回到上回MaxConnectionsPerServer...

Posted 27 August 2011 11:30 AM 由 Jeffrey | 9 comment(s) 26,786

Filed under: ASP.NET, Performance

ODP.NET OracleBulkCopy

嫌棄使用OracleCommand批次更新大量資料效能不佳，爬文找到ODP.NET有個 OracleBulkCopy類別 支援將整個ADO.NET DataTable一次送至資料庫更新(與SQL 2008的 Table Value Parameter 有異曲同工之妙)，於是做了Lab測試效果。 在Oracle資料庫建了一個TABLE BIGONE (N DECIMAL(6,0), T NVARCHAR2(64))資料表，在.NET程式中產生五萬筆資料，分別使用以下兩種方法寫入資料庫: 1) 建立OracleCommand...

Posted 19 August 2011 07:19 PM 由 Jeffrey | 2 comment(s) 19,125

Filed under: ORACLE, .NET, Performance

Reflection執行效能測試

在寫類似Code Generator的功能，遇到一個抉擇點: 若要將DataRow的各欄位逐一映對到資料物件的各欄位上，該使用Reflection還是Hard-Coding? 使用 Reflection 方式(PropertyInfo)讀寫物件屬性可大幅簡化程式碼複雜度，但需付出效能上的代價。如 先前文章 所提，隨著CPU的運算能力愈來愈強大，效能代價的負面影響也會愈來愈小。只是在查詢資料過程中，DataRow轉換成資料物件的程序會被連續大量執行，恐怕又得另當別論。例如: 查詢取回10萬筆DataRow...

Posted 06 July 2011 11:17 PM 由 Jeffrey | 4 comment(s) 11,879

Filed under: .NET, Performance

搜尋