YOLOv3鐘錶與類比儀表偵測_藉由NMS濾除重複輸出偵測框

-






Non-Maximum Suppression (NMS)







程式碼


 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
#include "opencv2/opencv.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/core.hpp"
#include "opencv2/dnn.hpp"
#include <iostream>
using namespace std;
using namespace cv;
using namespace cv::dnn;

int main(int argc, char* argv[]) {
	const char* imagename = "C:/img/sample1_1.jpg";
	const char* weight_file = "C:/YOLOv3-416/yolov3.weights";
	const char* cfg_file = "C:/YOLOv3-416/yolov3.cfg";
	const char* label_map = "C:/YOLOv3-416/object_detection_classes_yolov3.txt";
	Net net = readNetFromDarknet(cfg_file, weight_file);//Load network model
	net.setPreferableBackend(DNN_BACKEND_OPENCV);
	net.setPreferableTarget(DNN_TARGET_CPU);

	vector<string> layer_names = net.getLayerNames();
	for (int i = 0; i < layer_names.size(); i++)
	{
		int id = net.getLayerId(layer_names[i]);
		auto layer = net.getLayer(id);
		printf("layer id : %d,type : %s,name : %s \n", id, layer->type.c_str(), layer->name.c_str());
	}
	Mat img = imread(imagename);
	if (img.empty()) {
		fprintf(stderr, "Can not load image %s\n", imagename);
		return -1;
	}
	namedWindow("image", 0);
	//resizeWindow("image", 900, 1200);
	resizeWindow("image", 600, 800);
	imshow("image", img);

	Mat blob = blobFromImage(img, 0.00392, Size(416, 416), Scalar(), true, false);
	net.setInput(blob);

	vector<Mat> outputs;
	net.forward(outputs, layer_names);
	vector<Rect> boxes;
	vector<int> classIds;
	vector<float> confidences;
	for (int i = 0; i < outputs.size(); i++)
	{
		float* data = (float*)outputs[i].data;
		for (int j = 0; j < outputs[i].rows; j++, data += outputs[i].cols) {
			Mat scores = outputs[i].row(j).colRange(5, outputs[i].cols);
			Point classIdPoint;
			double confidence;
			minMaxLoc(scores, 0, &confidence, 0, &classIdPoint);
			if (confidence > 0.5) {
				int center_x = (int)(data[0] * img.cols);
				int center_y = (int)(data[1] * img.rows);
				int width = (int)(data[2] * img.cols);
				int height = (int)(data[3] * img.rows);
				int left = center_x - width / 2;
				int top = center_y - height / 2;
				classIds.push_back(classIdPoint.x);
				confidences.push_back(confidence);
				boxes.push_back(Rect(left,top,width,height));
				rectangle(img, Rect(left, top, width, height) , Scalar(0,0,255) , 3 , 8);
			}
		}
	}

	//namedWindow("res", 0);
	//resizeWindow("res", 600, 800);
	//imshow("res", img);

	vector<int> indexes;
	NMSBoxes(boxes , confidences , 0.5 , 0.5 , indexes);
	for (int i = 0; i < indexes.size(); i++)
	{
		int idx = classIds[i];
		Rect box = boxes[i];
		rectangle(img , box , Scalar(255, 0,0) , 3 , 8);
	}
	namedWindow("nms_res", 0);
	resizeWindow("nms_res", 600, 800);
	imshow("nms_res", img);
	waitKey(0);
	return 0;
}




微調打印score跟辨識類別的文字訊息

程式碼


  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
#include "opencv2/opencv.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/core.hpp"
#include "opencv2/dnn.hpp"
#include <iostream>
#include <fstream> 
#include<cmath>
#include<string>
using namespace std;
using namespace cv;
using namespace cv::dnn;

void show_histogram(std::string const& name, cv::Mat1b const& image)
{
	// Set histogram bins count
	int bins = 256;
	int histSize[] = { bins };
	// Set ranges for histogram bins
	float lranges[] = { 0, 256 };
	const float* ranges[] = { lranges };
	// create matrix for histogram
	cv::Mat hist;
	int channels[] = { 0 };

	// create matrix for histogram visualization
	int const hist_height = 256;
	cv::Mat3b hist_image = cv::Mat3b::zeros(hist_height, bins);

	cv::calcHist(&image, 1, channels, cv::Mat(), hist, 1, histSize, ranges, true, false);

	double max_val = 0;
	minMaxLoc(hist, 0, &max_val);

	// visualize each bin
	for (int b = 0; b < bins; b++) {
		float const binVal = hist.at<float>(b);
		int   const height = cvRound(binVal * hist_height / max_val);
		cv::line
		(hist_image
			, cv::Point(b, hist_height - height), cv::Point(b, hist_height)
			, cv::Scalar::all(255)
		);
	}

	namedWindow(name, 0);
	resizeWindow(name, 300, 400);
	imshow(name, hist_image);
}


int main()
{
	//string imageFileName = "sample2_5.jpg";//THRESH_OTSU
	//string imageFileName = "IMG_20220721_194716.jpg";//THRESH_TRIANGLE
	//string imageFileName = "IMG_20220721_195110.jpg";
	//IMG_20220721_200920.jpg

	//string imageFileName = "IMG_20220721_200920.jpg";
	//string imagename = "C:/img/test/02/";

	bool IsNeedShowScore = true;
	string imageFileName = "IMG_20220721_200048.jpg";
	string imagename = "C:/img/test/23/";


	imagename.append(imageFileName);

	string weight_file = "C:/YOLOv3-416/yolov3.weights";
	string cfg_file = "C:/YOLOv3-416/yolov3.cfg";
	string label_map = "C:/YOLOv3-416/object_detection_classes_yolov3.txt";

	vector<string> classNames;
	ifstream fp(label_map);
	if (!fp.is_open()) {
		printf("could not find the file \n");
		exit(-1);
	}
	string name;
	while (!fp.eof())
	{
		getline(fp , name);
		if (name.length()) {
			classNames.push_back(name);
		}
	}
	fp.close();



	Net net = readNetFromDarknet(cfg_file, weight_file);//Load network model
	net.setPreferableBackend(DNN_BACKEND_OPENCV);
	net.setPreferableTarget(DNN_TARGET_CPU);

	vector<string> layer_names = net.getLayerNames();
	for (int i = 0; i < layer_names.size(); i++)
	{
		int id = net.getLayerId(layer_names[i]);
		auto layer = net.getLayer(id);
		printf("layer id : %d,type : %s,name : %s \n", id, layer->type.c_str(), layer->name.c_str());
	}
	Mat img = imread(imagename);
	if (img.empty()) {
		fprintf(stderr, "Can not load image %s\n", imagename);
		return -1;
	}
	//namedWindow("image", 0);
	//resizeWindow("image", 600, 800);
	//imshow("image", img);

	Mat blob = blobFromImage(img, 0.00392, Size(416, 416), Scalar(), true, false);
	net.setInput(blob);

	vector<Mat> outputs;
	net.forward(outputs, layer_names);
	vector<Rect> boxes;
	vector<int> classIds;
	vector<float> confidences;
	for (int i = 0; i < outputs.size(); i++)
	{
		float* data = (float*)outputs[i].data;
		for (int j = 0; j < outputs[i].rows; j++, data += outputs[i].cols) {
			Mat scores = outputs[i].row(j).colRange(5, outputs[i].cols);
			Point classIdPoint;
			double confidence;
			minMaxLoc(scores, 0, &confidence, 0, &classIdPoint);
			if (confidence > 0.5) {
				int center_x = (int)(data[0] * img.cols);
				int center_y = (int)(data[1] * img.rows);
				int width = (int)(data[2] * img.cols);
				int height = (int)(data[3] * img.rows);
				int left = center_x - width / 2;
				int top = center_y - height / 2;
				classIds.push_back(classIdPoint.x);
				confidences.push_back(confidence);
				boxes.push_back(Rect(left, top, width, height));
				//rectangle(img, Rect(left, top, width, height) , Scalar(0,0,255) , 3 , 8);
			}
		}
	}

	//namedWindow("res", 0);
	//resizeWindow("res", 600, 800);
	//imshow("res", img);

	vector<int> indexes;
	Rect Roi;
	NMSBoxes(boxes, confidences, 0.5, 0.5, indexes);
	cout << "indexes size:" << indexes.size() << endl;
	for (int i = 0; i < indexes.size(); i++)
	{
		int idx = classIds[i];
		Rect box = boxes[i];
		/*if (indexes.size() == 1) {
			box.x = abs(box.x);
			box.y = abs(box.y);
			box.width = abs(box.width);
			box.height = abs(box.height);
			Roi = box;
		}*/
		rectangle(img, box, Scalar(255, 0, 0), 3, 8);

		if (IsNeedShowScore) {
			putText(img, format("score: %.2f,%s", confidences[indexes[i]], classNames[idx].c_str()), box.tl(), FONT_HERSHEY_SIMPLEX, 4, Scalar(255, 0, 255), 3, 8);
		}
		
	}
	namedWindow("nms_res", 0);
	resizeWindow("nms_res", 600, 800);
	imshow("nms_res", img);


	waitKey(0);
	return 0;
}






Ref:
機器/深度學習: 物件偵測 Non-Maximum Suppression (NMS)
https://chih-sheng-huang821.medium.com/%E6%A9%9F%E5%99%A8-%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-%E7%89%A9%E4%BB%B6%E5%81%B5%E6%B8%AC-non-maximum-suppression-nms-aa70c45adffa


非极大值抑制（Non-Maximum Suppression，NMS） 
https://www.cnblogs.com/makefile/p/nms.html

Advanced deep learning based object detection methods
https://www.slideshare.net/Brodmann17/advanced-deep-learning-based-object-detection-methods

留言

張貼留言

這個網誌中的熱門文章

何謂淨重(Net Weight)、皮重(Tare Weight)與毛重(Gross Weight)

-
圖片
當談到貨物的重量時，往往會分成所謂的淨重(Net Weight)與毛重(Gross Weight)。 會有以下公式關係存在 淨重=毛重-皮重(包裝物的重量) 毛重=淨重+皮重 淨重( Net Weight 縮寫為N.W.) 指物品本身的重量，不包括容器或包裝材料的重量。 凈重是國際貿易中最常見的計重辦法。 例如，如果運輸原材料，原材料的重量就是所運輸貨物的淨重。包裝原材料的容器或包裝不計入淨重。同樣地，當我們考慮一罐豆子時，罐子內所含物品的重量就算作淨重。因此，淨重將包括豆子、罐頭里的任何液體，以及保存豆子所含的物品。 大多數 以重量為計價的貨物買賣 ，採用此計價方法。 若合同中並未明確規範以何種方式計量和計價時，按慣例以凈重計價。 毛重( Gross Weight 縮寫G.W.) 貨物連同它的包裝的重量，是你托運的所有物品的總重量。 皮重(Tare Weight) 指商品外包裝材料的重量(即運輸包裝的重量)，不包括內包裝材料和襯墊物的重量。 比方一個空的貨櫃、容器、或任何包裝材料的重量。 Net Net Weight純淨重 (指從Net Weight中扣除內包裝後的重量) 進出口商品為了因應運輸及消費需求, 一般都有內包裝與外包裝。 一般在買賣合同與信用狀中,通常只要求於裝箱單上註明Gross Weight和Net Weight即可, 但有些L/C 要求 Net Net Weight,大多是海關徵收從量稅時的依據 運輸重量對於航運業或者航空運輸等各自都通用這些術語 為何特別在意重量? 主要就在於會影響像是傳輸安全乘載限制。 就運輸層面(不同方式的運輸) 航空運輸：對機長而言，毛重包括皮重、產品淨重以及飛機、燃料、乘客和機組人員的重量。 公路/鐵路運輸:對於火車車長而言，毛重包括產品淨重、皮重和運輸車輛的重量。 水路航運運輸：對船長而言，毛重就是淨重和皮重之和。 就公司ERP成本角度 成本一般都會採用 "淨重" 主要是因為若用毛重，可能會有輔材不可控因素存在 比方一個 5cm 固定塑膠件，今天用一個 10cm 紙箱測重，明天用一個 100cm 紙箱測重，那可能就容易導致ERP資料比較會失真。 就物流層面來探討 通常還會有一名詞即所謂「實際重量」(Actual Weight) 根據稱重(過磅)所得到的重量，實際重量分為實際毛重(Gross Weig
閱讀完整內容

Architecture(架構) 和 Framework(框架) 有何不同?_軟體設計前的事前規劃的藍圖概念

-
圖片
一個應用程式(軟體) 不管是  互動拍照 也好、 投影也好、車牌偵測... 舞台演唱會後方電視牆的互動應用程序、 粒子特效、3D或2D遊戲  等等 開發者通常都需要在一開始做規劃 ㄟ  假設我今天要寫 跟影像有關 可能需要偵測、可能需要提取前景、可能需要偵測圓形 之類的 我有  emgucv 、AForge.Net、 opencv 等等可以用 但是 假設我今天要做的應用程序是需要有視窗介面的~~ emgucv 跟 C# windows form 媒合性 就很高 而且直接在 visual studio 做開發 opencv 我可能還需要依賴 Qt 之類等等  framework 假設我今天是要寫一個 演唱會電視牆互動粒子特效 可能就會挑   openframeworks  、 processing 、kinect 來寫互動 Achitecture  --->全稱 :  Software Architecture   軟體架構 Achitecture   由好多 framework 組成 軟體架構（Software Architecture）是一種軟體在開發前的設計藍圖， 用來告訴軟體的結構，功能，介面，用法，與其他系統的構連以及資料交換等等規範， 但它並沒有叫你要用什麼方式實作， 因此軟體架構通常會產生文件，圖樣，原型以及規格等， 就是沒有可用的程式碼，因為那不是軟體架構應該有的東西， 就像蓋房子時是給你藍圖，而不是一幢蓋好的房子。 軟體框架（Framework):是一個已經成形的方法，而且有程式碼實體 （例如鋼構工法也是要有鋼材才能做），並且會告訴你要如何使用它 （即 Framework Documentation，MSDN Library 即為一最佳例子）
閱讀完整內容

(2021年度)駕訓學科筆試準備題庫歸納分析_法規是非題

-
圖片
  若是出現 「必須」、「必需」、「...必...」、「應由」、「應先」、「應...」 則很高機率是圈 是非通常只要是如下字眼 「不必」+動詞 、「不需」「不須」、「可不」、「可以不」、「可立即」 有出現或符合的都選叉 (X)1.違規記點又不登記在駕照上，所以可以 不必理會 而任意違反交通規則。 (X)2.發生重大交通事故，為迅速恢復交通，清除現場，可 不必等待 肇事處理機關之指示，即可進行。 (X)3.道路駕駛練習，行車前 不必實施 車輛安全檢查，因為那是駕駛教練的工作。 (X)4.開車前， 不必檢查 機件安全，但在行駛中要隨時注意儀錶功能顯示，確保行車安全。 (X)5.煞車油若經常低於"MIN"線，只要添加即可， 不必到修理廠檢修 。 (X)6.冷卻系統只要副水箱在滿水位，主水箱 不必檢查 也不會有問題。 (X)7.引擎冷卻水內含有防凍液或防銹劑，可 不必更換 。 (X)8.儀錶板上的「燃油油量錶」之指針高度，已經降低至「E」點，橘色的「低油料警示燈」點亮時， 不必急著加油 ，到達目的地後再行補充燃油即可。 (X)9.有安全氣囊裝備的汽車， 不必繫 安全帶。 (X)10.煞車時有異音，是正常的情況， 不必檢修 。 (X)11.汽車定期檢驗 不必檢驗 車輛故障標誌，所以隨車不一定要帶車輛故障標誌。 (X)12.開車時 不必理會 義交之指揮，一切以號誌為主。 (X)13.汽車經過隧道，因隧道內燈光明亮視線良好，為省電可 不必開亮 頭燈。 (X)14.駕駛人只求技術優良，對遵守交通規則 不必太重視 。 (X)15.在開車前， 不必檢查 機件，以免耽誤行車時間。 (X)16.遇幼童專用車、校車、身心障礙者用特製車或教練車， 不必禮讓 。 (X)17.行車 不必攜帶 隨車工具。 (X)18.行車起駛前進， 不必顯示 方向燈。 (X)19.汽車通過鐵路平交道，前後兩車間， 不必保持 距離。 (X)20.夜間將車輛停放在無燈光設備及照明不清之道路時，亦 不必顯示 停車燈光或反光標識。 (X)21.在夜間或有霧靄、雨雪、風沙及晝晦時，把車輛停在路旁， 不必顯示 停車燈光或反光標識。 (X)22.汽車駕駛人，僅需具有優良駕駛技術， 不需 具備急救的常識和技能。 (X)23.汽車車身、引擎、底盤、電系等重要設備變更或調換時， 不需 向公路主管機關申請臨時檢驗。
閱讀完整內容