YOLOv3鐘錶與類比儀表偵測_藉由NMS濾除重複輸出偵測框

-






Non-Maximum Suppression (NMS)







程式碼


 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
#include "opencv2/opencv.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/core.hpp"
#include "opencv2/dnn.hpp"
#include <iostream>
using namespace std;
using namespace cv;
using namespace cv::dnn;

int main(int argc, char* argv[]) {
	const char* imagename = "C:/img/sample1_1.jpg";
	const char* weight_file = "C:/YOLOv3-416/yolov3.weights";
	const char* cfg_file = "C:/YOLOv3-416/yolov3.cfg";
	const char* label_map = "C:/YOLOv3-416/object_detection_classes_yolov3.txt";
	Net net = readNetFromDarknet(cfg_file, weight_file);//Load network model
	net.setPreferableBackend(DNN_BACKEND_OPENCV);
	net.setPreferableTarget(DNN_TARGET_CPU);

	vector<string> layer_names = net.getLayerNames();
	for (int i = 0; i < layer_names.size(); i++)
	{
		int id = net.getLayerId(layer_names[i]);
		auto layer = net.getLayer(id);
		printf("layer id : %d,type : %s,name : %s \n", id, layer->type.c_str(), layer->name.c_str());
	}
	Mat img = imread(imagename);
	if (img.empty()) {
		fprintf(stderr, "Can not load image %s\n", imagename);
		return -1;
	}
	namedWindow("image", 0);
	//resizeWindow("image", 900, 1200);
	resizeWindow("image", 600, 800);
	imshow("image", img);

	Mat blob = blobFromImage(img, 0.00392, Size(416, 416), Scalar(), true, false);
	net.setInput(blob);

	vector<Mat> outputs;
	net.forward(outputs, layer_names);
	vector<Rect> boxes;
	vector<int> classIds;
	vector<float> confidences;
	for (int i = 0; i < outputs.size(); i++)
	{
		float* data = (float*)outputs[i].data;
		for (int j = 0; j < outputs[i].rows; j++, data += outputs[i].cols) {
			Mat scores = outputs[i].row(j).colRange(5, outputs[i].cols);
			Point classIdPoint;
			double confidence;
			minMaxLoc(scores, 0, &confidence, 0, &classIdPoint);
			if (confidence > 0.5) {
				int center_x = (int)(data[0] * img.cols);
				int center_y = (int)(data[1] * img.rows);
				int width = (int)(data[2] * img.cols);
				int height = (int)(data[3] * img.rows);
				int left = center_x - width / 2;
				int top = center_y - height / 2;
				classIds.push_back(classIdPoint.x);
				confidences.push_back(confidence);
				boxes.push_back(Rect(left,top,width,height));
				rectangle(img, Rect(left, top, width, height) , Scalar(0,0,255) , 3 , 8);
			}
		}
	}

	//namedWindow("res", 0);
	//resizeWindow("res", 600, 800);
	//imshow("res", img);

	vector<int> indexes;
	NMSBoxes(boxes , confidences , 0.5 , 0.5 , indexes);
	for (int i = 0; i < indexes.size(); i++)
	{
		int idx = classIds[i];
		Rect box = boxes[i];
		rectangle(img , box , Scalar(255, 0,0) , 3 , 8);
	}
	namedWindow("nms_res", 0);
	resizeWindow("nms_res", 600, 800);
	imshow("nms_res", img);
	waitKey(0);
	return 0;
}




微調打印score跟辨識類別的文字訊息

程式碼


  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
#include "opencv2/opencv.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/core.hpp"
#include "opencv2/dnn.hpp"
#include <iostream>
#include <fstream> 
#include<cmath>
#include<string>
using namespace std;
using namespace cv;
using namespace cv::dnn;

void show_histogram(std::string const& name, cv::Mat1b const& image)
{
	// Set histogram bins count
	int bins = 256;
	int histSize[] = { bins };
	// Set ranges for histogram bins
	float lranges[] = { 0, 256 };
	const float* ranges[] = { lranges };
	// create matrix for histogram
	cv::Mat hist;
	int channels[] = { 0 };

	// create matrix for histogram visualization
	int const hist_height = 256;
	cv::Mat3b hist_image = cv::Mat3b::zeros(hist_height, bins);

	cv::calcHist(&image, 1, channels, cv::Mat(), hist, 1, histSize, ranges, true, false);

	double max_val = 0;
	minMaxLoc(hist, 0, &max_val);

	// visualize each bin
	for (int b = 0; b < bins; b++) {
		float const binVal = hist.at<float>(b);
		int   const height = cvRound(binVal * hist_height / max_val);
		cv::line
		(hist_image
			, cv::Point(b, hist_height - height), cv::Point(b, hist_height)
			, cv::Scalar::all(255)
		);
	}

	namedWindow(name, 0);
	resizeWindow(name, 300, 400);
	imshow(name, hist_image);
}


int main()
{
	//string imageFileName = "sample2_5.jpg";//THRESH_OTSU
	//string imageFileName = "IMG_20220721_194716.jpg";//THRESH_TRIANGLE
	//string imageFileName = "IMG_20220721_195110.jpg";
	//IMG_20220721_200920.jpg

	//string imageFileName = "IMG_20220721_200920.jpg";
	//string imagename = "C:/img/test/02/";

	bool IsNeedShowScore = true;
	string imageFileName = "IMG_20220721_200048.jpg";
	string imagename = "C:/img/test/23/";


	imagename.append(imageFileName);

	string weight_file = "C:/YOLOv3-416/yolov3.weights";
	string cfg_file = "C:/YOLOv3-416/yolov3.cfg";
	string label_map = "C:/YOLOv3-416/object_detection_classes_yolov3.txt";

	vector<string> classNames;
	ifstream fp(label_map);
	if (!fp.is_open()) {
		printf("could not find the file \n");
		exit(-1);
	}
	string name;
	while (!fp.eof())
	{
		getline(fp , name);
		if (name.length()) {
			classNames.push_back(name);
		}
	}
	fp.close();



	Net net = readNetFromDarknet(cfg_file, weight_file);//Load network model
	net.setPreferableBackend(DNN_BACKEND_OPENCV);
	net.setPreferableTarget(DNN_TARGET_CPU);

	vector<string> layer_names = net.getLayerNames();
	for (int i = 0; i < layer_names.size(); i++)
	{
		int id = net.getLayerId(layer_names[i]);
		auto layer = net.getLayer(id);
		printf("layer id : %d,type : %s,name : %s \n", id, layer->type.c_str(), layer->name.c_str());
	}
	Mat img = imread(imagename);
	if (img.empty()) {
		fprintf(stderr, "Can not load image %s\n", imagename);
		return -1;
	}
	//namedWindow("image", 0);
	//resizeWindow("image", 600, 800);
	//imshow("image", img);

	Mat blob = blobFromImage(img, 0.00392, Size(416, 416), Scalar(), true, false);
	net.setInput(blob);

	vector<Mat> outputs;
	net.forward(outputs, layer_names);
	vector<Rect> boxes;
	vector<int> classIds;
	vector<float> confidences;
	for (int i = 0; i < outputs.size(); i++)
	{
		float* data = (float*)outputs[i].data;
		for (int j = 0; j < outputs[i].rows; j++, data += outputs[i].cols) {
			Mat scores = outputs[i].row(j).colRange(5, outputs[i].cols);
			Point classIdPoint;
			double confidence;
			minMaxLoc(scores, 0, &confidence, 0, &classIdPoint);
			if (confidence > 0.5) {
				int center_x = (int)(data[0] * img.cols);
				int center_y = (int)(data[1] * img.rows);
				int width = (int)(data[2] * img.cols);
				int height = (int)(data[3] * img.rows);
				int left = center_x - width / 2;
				int top = center_y - height / 2;
				classIds.push_back(classIdPoint.x);
				confidences.push_back(confidence);
				boxes.push_back(Rect(left, top, width, height));
				//rectangle(img, Rect(left, top, width, height) , Scalar(0,0,255) , 3 , 8);
			}
		}
	}

	//namedWindow("res", 0);
	//resizeWindow("res", 600, 800);
	//imshow("res", img);

	vector<int> indexes;
	Rect Roi;
	NMSBoxes(boxes, confidences, 0.5, 0.5, indexes);
	cout << "indexes size:" << indexes.size() << endl;
	for (int i = 0; i < indexes.size(); i++)
	{
		int idx = classIds[i];
		Rect box = boxes[i];
		/*if (indexes.size() == 1) {
			box.x = abs(box.x);
			box.y = abs(box.y);
			box.width = abs(box.width);
			box.height = abs(box.height);
			Roi = box;
		}*/
		rectangle(img, box, Scalar(255, 0, 0), 3, 8);

		if (IsNeedShowScore) {
			putText(img, format("score: %.2f,%s", confidences[indexes[i]], classNames[idx].c_str()), box.tl(), FONT_HERSHEY_SIMPLEX, 4, Scalar(255, 0, 255), 3, 8);
		}
		
	}
	namedWindow("nms_res", 0);
	resizeWindow("nms_res", 600, 800);
	imshow("nms_res", img);


	waitKey(0);
	return 0;
}






Ref:
機器/深度學習: 物件偵測 Non-Maximum Suppression (NMS)
https://chih-sheng-huang821.medium.com/%E6%A9%9F%E5%99%A8-%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-%E7%89%A9%E4%BB%B6%E5%81%B5%E6%B8%AC-non-maximum-suppression-nms-aa70c45adffa


非极大值抑制（Non-Maximum Suppression，NMS） 
https://www.cnblogs.com/makefile/p/nms.html

Advanced deep learning based object detection methods
https://www.slideshare.net/Brodmann17/advanced-deep-learning-based-object-detection-methods

留言

張貼留言

這個網誌中的熱門文章

經得起原始碼資安弱點掃描的程式設計習慣培養(五)_Missing HSTS Header

-
圖片
  接續前幾篇系列 經得起原始碼資安弱點掃描的程式設計習慣培養(一)_OWASP Top 10(十大網站安全風險)_學習寫更安全程式碼的網站推薦 經得起原始碼資安弱點掃描的程式設計習慣培養(二)_8.Insecure Deserialization ：不安全的反序列化漏洞ASP.NET處理方式 經得起原始碼資安弱點掃描的程式設計習慣培養(三)_7.Cross Site Scripting(XSS)_Stored XSS_Reflected XSS All Clients 經得起原始碼資安弱點掃描的程式設計習慣培養(四)_1.Injection注入攻擊_SQL Injection)_order by 語句正確參數化套入 最近又遇到被若安掃描到高風險要修正的程式碼啦.... 一看這還真是搞不懂該怎麼修呢 HSTS(HTTP Strict Transport Security)  主要是一份國際標準規格 (RFC 6797) 的網際網路瀏覽安全機制， 用於宣告瀏覽器與伺服器之間通訊方式必須強制採用 TLS/SSL 加密通道。 只要從伺服器端送出一個 Strict-Transport-Security 標頭 (Header) 給瀏覽器，即可告知瀏覽器於未來的某段時間內一律使用 SSL 來和該網站連接 (設定可涵蓋所有子域名網站)， 一旦發生憑證失效情況，使用者將無法再瀏覽該網站，如此一來便可大幅減少中間人攻擊的問題發生。 再更白話一點 HSTS Header 就是負責將 http 強制轉為 https CheckMarx掃碼報告給的說明 ============================================================ 風險: 如果web config沒有設置HSTS表頭、"max-age"(有效期)不足一年， 或沒有設定"includeSubDomains"(包含所有子網域)，可能會使用戶容易遭受中間人攻擊。 發生原因: 許多使用者只要在瀏覽器的網址列輸入網域名稱(Domain Name)即可瀏覽網站， 並沒有輸入協定(Protocol)的名稱。 瀏覽器會自動假設使用者使用的是HTTP協定而不是有加密機制的HTTPS協定。 在第一次發出前往特定網站的請求時，攻擊者可以執行中間人攻擊並將用戶轉址到
閱讀完整內容

經得起原始碼資安弱點掃描的程式設計習慣培養(三)_7.Cross Site Scripting(XSS)_Stored XSS_Reflected XSS All Clients

-
圖片
  近期新加入的功能code剛好也被CheckMarx掃出高風險部分的程式碼漏洞 我也踏到這個Issue啦 Cross Site Scripting(XSS)  第一種.Stored XSS 高風險 CheckMarx掃碼報告給的說明[Stored XSS] ============================================================ 風險: 攻擊者可以利用合法存取應用程式提交資料到資料庫。 當另一個使用者隨後存取該資料，網頁可能會被改寫且惡意腳本可能會被啟動。 發生原因: 從資料庫中的資料建立網頁。資料直接嵌入至HTML的頁面，利用瀏覽器顯示。 資料可能源自於其他使用者的輸入。 如果資料包含HTML片段或Javascript，使用者無法分辨是否為預期的頁面。 該漏洞主因為未先對嵌入資料庫中的資料進行編碼(Encode) 來預防瀏覽器將其當為HTML的格式而非純文字。 如何避免: 1.驗證所有資料，無論其來源為何。驗證應基於白名單：僅接受預定結構的資訊，而不是拒絕不良的樣式(Patterns)。  應確認：  ● 資料型態  ● 大小  ● 範圍  ● 格式  ● 期望值  2. 驗證無法取代編碼. 輸出嵌入之前，不論其來源， 將所有動態資料進行編碼. 編碼方式應該是上下文相關的. 例如: ● HTML內容使用HTML的編碼方式  ● HTML編碼特性是將資料輸出到特性的值 ● JavaScript的編碼方式為伺服器產生的Javascript  3.考慮使用ESAPI的編碼庫，或它的內置功能。對於舊版的ASP.NET，請考慮使用AntiXSS.  4.在HTTP類型對應的表頭， 明確定義整個頁面的字元編碼.  5. 設置 httpOnly 標誌於會期資訊，以防止利用XSS來竊取資訊. ============================================================ 這裡報告描述是指我對傳進來字串參數直接拋給DAL處裡的類別執行查詢 這裡缺乏對輸入進來的字串參數做一些查檢判斷 也建議在帶入時對參數也做一些html encode處理 這裡用AntiXSS來Encode 第二種.Reflected XSS All Clients 高風險 CheckMarx掃碼報告給的說明[Reflecte
閱讀完整內容

(2021年度)駕訓學科筆試準備題庫歸納分析_法規是非題

-
圖片
  若是出現 「必須」、「必需」、「...必...」、「應由」、「應先」、「應...」 則很高機率是圈 是非通常只要是如下字眼 「不必」+動詞 、「不需」「不須」、「可不」、「可以不」、「可立即」 有出現或符合的都選叉 (X)1.違規記點又不登記在駕照上，所以可以 不必理會 而任意違反交通規則。 (X)2.發生重大交通事故，為迅速恢復交通，清除現場，可 不必等待 肇事處理機關之指示，即可進行。 (X)3.道路駕駛練習，行車前 不必實施 車輛安全檢查，因為那是駕駛教練的工作。 (X)4.開車前， 不必檢查 機件安全，但在行駛中要隨時注意儀錶功能顯示，確保行車安全。 (X)5.煞車油若經常低於"MIN"線，只要添加即可， 不必到修理廠檢修 。 (X)6.冷卻系統只要副水箱在滿水位，主水箱 不必檢查 也不會有問題。 (X)7.引擎冷卻水內含有防凍液或防銹劑，可 不必更換 。 (X)8.儀錶板上的「燃油油量錶」之指針高度，已經降低至「E」點，橘色的「低油料警示燈」點亮時， 不必急著加油 ，到達目的地後再行補充燃油即可。 (X)9.有安全氣囊裝備的汽車， 不必繫 安全帶。 (X)10.煞車時有異音，是正常的情況， 不必檢修 。 (X)11.汽車定期檢驗 不必檢驗 車輛故障標誌，所以隨車不一定要帶車輛故障標誌。 (X)12.開車時 不必理會 義交之指揮，一切以號誌為主。 (X)13.汽車經過隧道，因隧道內燈光明亮視線良好，為省電可 不必開亮 頭燈。 (X)14.駕駛人只求技術優良，對遵守交通規則 不必太重視 。 (X)15.在開車前， 不必檢查 機件，以免耽誤行車時間。 (X)16.遇幼童專用車、校車、身心障礙者用特製車或教練車， 不必禮讓 。 (X)17.行車 不必攜帶 隨車工具。 (X)18.行車起駛前進， 不必顯示 方向燈。 (X)19.汽車通過鐵路平交道，前後兩車間， 不必保持 距離。 (X)20.夜間將車輛停放在無燈光設備及照明不清之道路時，亦 不必顯示 停車燈光或反光標識。 (X)21.在夜間或有霧靄、雨雪、風沙及晝晦時，把車輛停在路旁， 不必顯示 停車燈光或反光標識。 (X)22.汽車駕駛人，僅需具有優良駕駛技術， 不需 具備急救的常識和技能。 (X)23.汽車車身、引擎、底盤、電系等重要設備變更或調換時， 不需 向公路主管機關申請臨時檢驗。
閱讀完整內容