資料探勘研究與實務_空氣品質預報Time Series Regression_part2

-
2. 時間序列
a.預測目標
1. 將未來第一個小時當預測目標
取6小時為一單位切割，例如第一筆資料為第0~5小時的資料(X[0])，去預測第6小時(未來第一小時)的PM2.5值(Y[0])，下一筆資料為第1~6小時的資料(X[1])去預測第7 小時的PM2.5值(Y[1])  *hint: 切割後X的長度應為1464-6=1458

2. 將未來第六個小時當預測目標
取6小時為一單位切割，例如第一筆資料為第0~5小時的資料(X[0])，去預測第11小時(未來第六小時)的PM2.5值(Y[0])，下一筆資料為第1~6小時的資料(X[1])去預測第12 小時的PM2.5值(Y[1])  *hint: 切割後X的長度應為1464-11=1453


 b. X請分別取
1. 只有PM2.5 (e.g. X[0]會有6個特徵，即第0~5小時的PM2.5數值)
2. 所有18種屬性 (e.g. X[0]會有18*6個特徵，即第0~5小時的所有18種屬性數值)

 c. 使用兩種模型 Linear Regression 和 XGBoost 建模
 d. 用測試集資料計算MAE (會有8個結果， 2種X資料 * 2種Y資料 * 2種模型)




確定PM2.5的位置，因為這是我們的目標變量。
在此發現一個小問題就是多於空白



在檢索 'PM2.5' 索引之前先將所有測項的名稱進行空白處理。
這可以通過 strip 函數來移除字符串前後的空白字符。



第5階段程式碼
  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
import pandas as pd
import numpy as np
# 讀取檔案
file_path = r'E:\交大學分班\557607資料探勘研究與實務\HW3_11134225_周冠羽\新竹_2021.xls'

data = pd.read_excel(file_path, engine='xlrd')


# 清理數據：移除不需要的第一橫列，設置正確的列名
data_cleaned = data.iloc[1:].copy()  # 使用 .copy() 來創建副本，避免後續操作持續冒出 SettingWithCopyWarning:A value is trying to be set on a copy of a slice from a DataFrame.
data_cleaned.reset_index(drop=True, inplace=True)
correct_hour_columns = ['測站', '日期', '測項'] + [str(i) for i in range(24)]
data_cleaned.columns = correct_hour_columns


# 轉換日期格式並篩選出10、11、12月的資料
data_cleaned['日期'] = pd.to_datetime(data_cleaned['日期'])
#data_filtered = data_cleaned[data_cleaned['日期'].dt.month.isin([10, 11, 12])]
# 使用 .copy() 來創建副本，避免後續操作持續冒出 SettingWithCopyWarning:A value is trying to be set on a copy of a slice from a DataFrame.
data_filtered = data_cleaned[data_cleaned['日期'].dt.month.isin([10, 11, 12])].copy()
data_filtered.reset_index(drop=True, inplace=True)


# 將 'NR' 替換為 0，然後將 *, #, x 替換為 NaN。
data_filtered.replace({'NR': 0, '*': pd.NA, '#': pd.NA, 'x': pd.NA}, inplace=True)

# 確保所有數據列都是數值型
for col in data_filtered.columns[3:]:
    data_filtered[col] = pd.to_numeric(data_filtered[col], errors='coerce')

# 處理缺失值：使用前後一小時的平均值填充缺失值
#對於每個缺失的數據點，我們往前和往後尋找非缺失的值來計算平均值進行填充。如果前面沒有有效值，則僅使用後面的值；如果後面也沒有有效值，則僅使用前面的值。最後，我們檢查整個 DataFrame 確保沒有剩餘的缺失值。
for col in data_filtered.columns[3:]:
    for i in range(len(data_filtered)):
        if pd.isna(data_filtered.at[i, col]):
            # 往前找到非缺失值
            prev_index = i - 1
            while prev_index >= 0 and pd.isna(data_filtered.at[prev_index, col]):
                prev_index -= 1
            # 往後找到非缺失值
            next_index = i + 1
            while next_index < len(data_filtered) and pd.isna(data_filtered.at[next_index, col]):
                next_index += 1

            # 計算平均值並填充
            prev_val = data_filtered.at[prev_index, col] if prev_index >= 0 else None
            next_val = data_filtered.at[next_index, col] if next_index < len(data_filtered) else None
            if prev_val is not None and next_val is not None:
                data_filtered.at[i, col] = (prev_val + next_val) / 2
            elif prev_val is not None:
                data_filtered.at[i, col] = prev_val
            elif next_val is not None:
                data_filtered.at[i, col] = next_val
# 檢查是否還有缺失值
missing_values_after_fill = data_filtered.isnull().sum().sum()
print(f'After filling, the number of missing values is: {missing_values_after_fill}')

#根據月份將資料分成訓練集（10月和11月）和測試集（12月）
train_data = data_filtered[data_filtered['日期'].dt.month.isin([10, 11])]
test_data = data_filtered[data_filtered['日期'].dt.month == 12]

#將訓練集的資料轉換成時序資料，其中行代表18種屬性，列代表每小時的數據。

# 首先我們需要確定屬性的唯一值
unique_items = train_data['測項'].unique()

# 建立一個空的DataFrame來保存時序格式的數據
time_series_data = pd.DataFrame()

# 對於訓練集中的每一種屬性
for item in unique_items:
    # 挑選出該屬性的所有行
    item_data = train_data[train_data['測項'] == item].iloc[:, 3:].reset_index(drop=True)
    # 由於每一天的數據在單獨的行中，我們需要將它們連接起來
    item_data = item_data.melt(var_name='hour', value_name=item)
    # 重排列索引，使其成為連續的時序數據
    item_data = item_data.sort_values(by='hour').reset_index(drop=True)
    time_series_data[item] = item_data[item]

# 設定正確的行索引
time_series_data.index = pd.date_range(start=train_data['日期'].min(), periods=len(time_series_data), freq='H')

# 現在，time_series_data 已經是一個時序資料集，行代表時間，列代表18種屬性的測量值
print(time_series_data.shape)  # 應該是 (18, 61*24) 如果包括10月和11月的所有小時

# 檢查維度是否符合預期（應該有61天*24小時=1464個時刻）
#assert time_series_data.shape == (1464, len(unique_items)), "維度不匹配"


#unique_items = train_data['測項'].unique()
#print(unique_items)

# 移除測項名稱的前後空白
unique_items = [item.strip() for item in unique_items]

pm25_index = unique_items.index('PM2.5')

# 創建特徵和標籤集
window_size = 6  # 使用6小時的窗口大小
X = []  # 特徵集
Y_future_1hr = []  # 未來第一個小時的PM2.5值
Y_future_6hr = []  # 未來第六個小時的PM2.5值


# 遍歷時序數據集，創建特徵和標籤
for i in range(time_series_data.shape[0] - window_size):
    # 提取6小時的特徵
    X.append(time_series_data.iloc[i:i+window_size].values.flatten())

    # 提取未來第一個小時和第六個小時的PM2.5值作為標籤
    Y_future_1hr.append(time_series_data.iloc[i+window_size, pm25_index])
    if i+window_size+5 < time_series_data.shape[0]:
        Y_future_6hr.append(time_series_data.iloc[i+window_size+5, pm25_index])

# 轉換成numpy數組便於後續處理
X = np.array(X)
Y_future_1hr = np.array(Y_future_1hr)
Y_future_6hr = np.array(Y_future_6hr[:1458])  # 確保與X的形狀一致

# 確認形狀
print(f'X shape: {X.shape}')
print(f'Y_future_1hr shape: {Y_future_1hr.shape}')
print(f'Y_future_6hr shape: {Y_future_6hr.shape}')




第6階段程式碼
2. 時間序列
a.預測目標
1. 將未來第一個小時當預測目標
取6小時為一單位切割，例如第一筆資料為第0~5小時的資料(X[0])，去預測第6小時(未來第一小時)的PM2.5值(Y[0])，下一筆資料為第1~6小時的資料(X[1])去預測第7 小時的PM2.5值(Y[1])  *hint: 切割後X的長度應為1464-6=1458

2. 將未來第六個小時當預測目標
取6小時為一單位切割，例如第一筆資料為第0~5小時的資料(X[0])，去預測第11小時(未來第六小時)的PM2.5值(Y[0])，下一筆資料為第1~6小時的資料(X[1])去預測第12 小時的PM2.5值(Y[1])  *hint: 切割後X的長度應為1464-11=1453


b. X請分別取
1. 只有PM2.5 (e.g. X[0]會有6個特徵，即第0~5小時的PM2.5數值)
2. 所有18種屬性 (e.g. X[0]會有18*6個特徵，即第0~5小時的所有18種屬性數值)

 c. 使用兩種模型 Linear Regression 和 XGBoost 建模
 d. 用測試集資料計算MAE (會有8個結果， 2種X資料 * 2種Y資料 * 2種模型)


  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
import pandas as pd
import numpy as np
# 讀取檔案
file_path = r'E:\交大學分班\557607資料探勘研究與實務\HW3_11134225_周冠羽\新竹_2021.xls'

data = pd.read_excel(file_path, engine='xlrd')


# 清理數據：移除不需要的第一橫列，設置正確的列名
data_cleaned = data.iloc[1:].copy()  # 使用 .copy() 來創建副本，避免後續操作持續冒出 SettingWithCopyWarning:A value is trying to be set on a copy of a slice from a DataFrame.
data_cleaned.reset_index(drop=True, inplace=True)
correct_hour_columns = ['測站', '日期', '測項'] + [str(i) for i in range(24)]
data_cleaned.columns = correct_hour_columns


# 轉換日期格式並篩選出10、11、12月的資料
data_cleaned['日期'] = pd.to_datetime(data_cleaned['日期'])
#data_filtered = data_cleaned[data_cleaned['日期'].dt.month.isin([10, 11, 12])]
# 使用 .copy() 來創建副本，避免後續操作持續冒出 SettingWithCopyWarning:A value is trying to be set on a copy of a slice from a DataFrame.
data_filtered = data_cleaned[data_cleaned['日期'].dt.month.isin([10, 11, 12])].copy()
data_filtered.reset_index(drop=True, inplace=True)


# 將 'NR' 替換為 0，然後將 *, #, x 替換為 NaN。
data_filtered.replace({'NR': 0, '*': pd.NA, '#': pd.NA, 'x': pd.NA}, inplace=True)

# 確保所有數據列都是數值型
for col in data_filtered.columns[3:]:
    data_filtered[col] = pd.to_numeric(data_filtered[col], errors='coerce')

# 處理缺失值：使用前後一小時的平均值填充缺失值
#對於每個缺失的數據點，我們往前和往後尋找非缺失的值來計算平均值進行填充。如果前面沒有有效值，則僅使用後面的值；如果後面也沒有有效值，則僅使用前面的值。最後，我們檢查整個 DataFrame 確保沒有剩餘的缺失值。
for col in data_filtered.columns[3:]:
    for i in range(len(data_filtered)):
        if pd.isna(data_filtered.at[i, col]):
            # 往前找到非缺失值
            prev_index = i - 1
            while prev_index >= 0 and pd.isna(data_filtered.at[prev_index, col]):
                prev_index -= 1
            # 往後找到非缺失值
            next_index = i + 1
            while next_index < len(data_filtered) and pd.isna(data_filtered.at[next_index, col]):
                next_index += 1

            # 計算平均值並填充
            prev_val = data_filtered.at[prev_index, col] if prev_index >= 0 else None
            next_val = data_filtered.at[next_index, col] if next_index < len(data_filtered) else None
            if prev_val is not None and next_val is not None:
                data_filtered.at[i, col] = (prev_val + next_val) / 2
            elif prev_val is not None:
                data_filtered.at[i, col] = prev_val
            elif next_val is not None:
                data_filtered.at[i, col] = next_val
# 檢查是否還有缺失值
missing_values_after_fill = data_filtered.isnull().sum().sum()
print(f'After filling, the number of missing values is: {missing_values_after_fill}')

#根據月份將資料分成訓練集（10月和11月）和測試集（12月）
train_data = data_filtered[data_filtered['日期'].dt.month.isin([10, 11])]
test_data = data_filtered[data_filtered['日期'].dt.month == 12]

#將訓練集的資料轉換成時序資料，其中行代表18種屬性，列代表每小時的數據。

# 首先我們需要確定屬性的唯一值
unique_items = train_data['測項'].unique()

# 建立一個空的DataFrame來保存時序格式的數據
time_series_data = pd.DataFrame()

# 對於訓練集中的每一種屬性
for item in unique_items:
    # 挑選出該屬性的所有行
    item_data = train_data[train_data['測項'] == item].iloc[:, 3:].reset_index(drop=True)
    # 由於每一天的數據在單獨的行中，我們需要將它們連接起來
    item_data = item_data.melt(var_name='hour', value_name=item)
    # 重排列索引，使其成為連續的時序數據
    item_data = item_data.sort_values(by='hour').reset_index(drop=True)
    time_series_data[item] = item_data[item]

# 設定正確的行索引
time_series_data.index = pd.date_range(start=train_data['日期'].min(), periods=len(time_series_data), freq='H')

# 現在，time_series_data 已經是一個時序資料集，行代表時間，列代表18種屬性的測量值
print(time_series_data.shape)  # 應該是 (18, 61*24) 如果包括10月和11月的所有小時

# 檢查維度是否符合預期（應該有61天*24小時=1464個時刻）
#assert time_series_data.shape == (1464, len(unique_items)), "維度不匹配"


#unique_items = train_data['測項'].unique()
#print(unique_items)

# 移除測項名稱的前後空白
unique_items = [item.strip() for item in unique_items]

pm25_index = unique_items.index('PM2.5')

# 創建特徵和標籤集
window_size = 6  # 使用6小時的窗口大小
X = []  # 特徵集
Y_future_1hr = []  # 未來第一個小時的PM2.5值
Y_future_6hr = []  # 未來第六個小時的PM2.5值


# 遍歷時序數據集，創建特徵和標籤
for i in range(time_series_data.shape[0] - window_size):
    # 提取6小時的特徵
    X.append(time_series_data.iloc[i:i+window_size].values.flatten())

    # 提取未來第一個小時和第六個小時的PM2.5值作為標籤
    Y_future_1hr.append(time_series_data.iloc[i+window_size, pm25_index])
    if i+window_size+5 < time_series_data.shape[0]:
        Y_future_6hr.append(time_series_data.iloc[i+window_size+5, pm25_index])

# 轉換成numpy數組便於後續處理
X = np.array(X)
Y_future_1hr = np.array(Y_future_1hr)
Y_future_6hr = np.array(Y_future_6hr[:1458])  # 確保與X的形狀一致

# 確認形狀
print(f'X shape: {X.shape}')
print(f'Y_future_1hr shape: {Y_future_1hr.shape}')
print(f'Y_future_6hr shape: {Y_future_6hr.shape}')

# 獲取 PM2.5 數據的索引
pm25_index = unique_items.index('PM2.5')

# 創建只包含 PM2.5 的特徵集
X_pm25_only = []

for i in range(0, time_series_data.shape[0] - window_size):
    # 提取過去 6 小時的 PM2.5 數據
    X_pm25_only.append(time_series_data.iloc[i:i + window_size, pm25_index].values.flatten())

# 轉換成 NumPy 數組
X_pm25_only = np.array(X_pm25_only)

# 打印形狀以確認
#只包含PM2.5的特徵集，其形狀為 (1458, 6)。這代表了1458個樣本，每個樣本有6個小時的PM2.5數據。
print(f'X_pm25_only shape: {X_pm25_only.shape}')


# 創建包含所有屬性的特徵集
X_all_features = []

for i in range(0, time_series_data.shape[0] - window_size):
    # 提取過去 6 小時的所有屬性數據
    X_all_features.append(time_series_data.iloc[i:i + window_size].values.flatten())

# 轉換成 NumPy 數組
X_all_features = np.array(X_all_features)

# 打印形狀以確認
#包含所有18種屬性的特徵集，其形狀應該與 X 相同，也就是 (1458, 108)。
print(f'X_all_features shape: {X_all_features.shape}')

#更新標籤集，使它們匹配特徵集的數量。
Y_future_1hr_trimmed = Y_future_1hr[:len(X_pm25_only)]
Y_future_6hr_trimmed = Y_future_6hr[:len(X_pm25_only)]

# 打印形狀以確認
#未來第一小時的PM2.5標籤集，其形狀為 (1458,)，與特徵集 X 一樣有1458個標籤。
print(f'Y_future_1hr shape: {Y_future_1hr_trimmed.shape}')
#未來第六小時的PM2.5標籤集，其形狀為 (1453,)。
print(f'Y_future_6hr shape: {Y_future_6hr_trimmed.shape}')



對於 Y_future_1hr 和 Y_future_6hr 的標籤集，由於我們無法預測最後5個小時的PM2.5值（因為沒有足夠的未來數據），所以 Y_future_6hr 的數量會比 Y_future_1hr 少5個值，這也是合理的。

而 X 和 X_all_features 應該是相同的，因為它們都是基於所有屬性的6小時窗口大小的特徵集。


第7階段程式碼



2. 時間序列
a.預測目標
1. 將未來第一個小時當預測目標
取6小時為一單位切割，例如第一筆資料為第0~5小時的資料(X[0])，去預測第6小時(未來第一小時)的PM2.5值(Y[0])，下一筆資料為第1~6小時的資料(X[1])去預測第7 小時的PM2.5值(Y[1])  *hint: 切割後X的長度應為1464-6=1458

2. 將未來第六個小時當預測目標
取6小時為一單位切割，例如第一筆資料為第0~5小時的資料(X[0])，去預測第11小時(未來第六小時)的PM2.5值(Y[0])，下一筆資料為第1~6小時的資料(X[1])去預測第12 小時的PM2.5值(Y[1])  *hint: 切割後X的長度應為1464-11=1453


b. X請分別取
1. 只有PM2.5 (e.g. X[0]會有6個特徵，即第0~5小時的PM2.5數值)
2. 所有18種屬性 (e.g. X[0]會有18*6個特徵，即第0~5小時的所有18種屬性數值)
c. 使用兩種模型 Linear Regression 和 XGBoost 建模
d. 用測試集資料計算MAE (會有8個結果， 2種X資料 * 2種Y資料 * 2種模型)

記得pip install xgboost 不然會報錯
ModuleNotFoundError: No module named 'xgboost' 




ValueError: Found input variables with inconsistent numbers of samples: [1458, 1453]
[1458, 1453]」表示你嘗試用於訓練或預測的特徵矩陣 X 與目標向量 Y 有不一致的樣本數量。在這種情況下，X 有 1458 個樣本，而 Y 只有 1453 個樣本。

要解決這個問題，你需要確保 X 和 Y 有相同數量的樣本。這通常意味著你需要裁剪或擴展其中一個向量，以便它們匹配。例如，如果 Y_future_6hr 只有 1453 個樣本，你應該只使用 X 的前 1453 行來匹配 Y。














留言

張貼留言

這個網誌中的熱門文章

何謂淨重(Net Weight)、皮重(Tare Weight)與毛重(Gross Weight)

-
圖片
當談到貨物的重量時，往往會分成所謂的淨重(Net Weight)與毛重(Gross Weight)。 會有以下公式關係存在 淨重=毛重-皮重(包裝物的重量) 毛重=淨重+皮重 淨重( Net Weight 縮寫為N.W.) 指物品本身的重量，不包括容器或包裝材料的重量。 凈重是國際貿易中最常見的計重辦法。 例如，如果運輸原材料，原材料的重量就是所運輸貨物的淨重。包裝原材料的容器或包裝不計入淨重。同樣地，當我們考慮一罐豆子時，罐子內所含物品的重量就算作淨重。因此，淨重將包括豆子、罐頭里的任何液體，以及保存豆子所含的物品。 大多數 以重量為計價的貨物買賣 ，採用此計價方法。 若合同中並未明確規範以何種方式計量和計價時，按慣例以凈重計價。 毛重( Gross Weight 縮寫G.W.) 貨物連同它的包裝的重量，是你托運的所有物品的總重量。 皮重(Tare Weight) 指商品外包裝材料的重量(即運輸包裝的重量)，不包括內包裝材料和襯墊物的重量。 比方一個空的貨櫃、容器、或任何包裝材料的重量。 Net Net Weight純淨重 (指從Net Weight中扣除內包裝後的重量) 進出口商品為了因應運輸及消費需求, 一般都有內包裝與外包裝。 一般在買賣合同與信用狀中,通常只要求於裝箱單上註明Gross Weight和Net Weight即可, 但有些L/C 要求 Net Net Weight,大多是海關徵收從量稅時的依據 運輸重量對於航運業或者航空運輸等各自都通用這些術語 為何特別在意重量? 主要就在於會影響像是傳輸安全乘載限制。 就運輸層面(不同方式的運輸) 航空運輸：對機長而言，毛重包括皮重、產品淨重以及飛機、燃料、乘客和機組人員的重量。 公路/鐵路運輸:對於火車車長而言，毛重包括產品淨重、皮重和運輸車輛的重量。 水路航運運輸：對船長而言，毛重就是淨重和皮重之和。 就公司ERP成本角度 成本一般都會採用 "淨重" 主要是因為若用毛重，可能會有輔材不可控因素存在 比方一個 5cm 固定塑膠件，今天用一個 10cm 紙箱測重，明天用一個 100cm 紙箱測重，那可能就容易導致ERP資料比較會失真。 就物流層面來探討 通常還會有一名詞即所謂「實際重量」(Actual Weight) 根據稱重(過磅)所得到的重量，實際重量分為實際毛重(Gross Weig...
閱讀完整內容

Architecture(架構) 和 Framework(框架) 有何不同?_軟體設計前的事前規劃的藍圖概念

-
圖片
一個應用程式(軟體) 不管是  互動拍照 也好、 投影也好、車牌偵測... 舞台演唱會後方電視牆的互動應用程序、 粒子特效、3D或2D遊戲  等等 開發者通常都需要在一開始做規劃 ㄟ  假設我今天要寫 跟影像有關 可能需要偵測、可能需要提取前景、可能需要偵測圓形 之類的 我有  emgucv 、AForge.Net、 opencv 等等可以用 但是 假設我今天要做的應用程序是需要有視窗介面的~~ emgucv 跟 C# windows form 媒合性 就很高 而且直接在 visual studio 做開發 opencv 我可能還需要依賴 Qt 之類等等  framework 假設我今天是要寫一個 演唱會電視牆互動粒子特效 可能就會挑   openframeworks  、 processing 、kinect 來寫互動 Achitecture  --->全稱 :  Software Architecture   軟體架構 Achitecture   由好多 framework 組成 軟體架構（Software Architecture）是一種軟體在開發前的設計藍圖， 用來告訴軟體的結構，功能，介面，用法，與其他系統的構連以及資料交換等等規範， 但它並沒有叫你要用什麼方式實作， 因此軟體架構通常會產生文件，圖樣，原型以及規格等， 就是沒有可用的程式碼，因為那不是軟體架構應該有的東西， 就像蓋房子時是給你藍圖，而不是一幢蓋好的房子。 軟體框架（Framework):是一個已經成形的方法，而且有程式碼實體 （例如鋼構工法也是要有鋼材才能做），並且會告訴你要如何使用它 （即 Framework Documentation，MSDN Library 即為一最佳例子）
閱讀完整內容

經得起原始碼資安弱點掃描的程式設計習慣培養(五)_Missing HSTS Header

-
圖片
  接續前幾篇系列 經得起原始碼資安弱點掃描的程式設計習慣培養(一)_OWASP Top 10(十大網站安全風險)_學習寫更安全程式碼的網站推薦 經得起原始碼資安弱點掃描的程式設計習慣培養(二)_8.Insecure Deserialization ：不安全的反序列化漏洞ASP.NET處理方式 經得起原始碼資安弱點掃描的程式設計習慣培養(三)_7.Cross Site Scripting(XSS)_Stored XSS_Reflected XSS All Clients 經得起原始碼資安弱點掃描的程式設計習慣培養(四)_1.Injection注入攻擊_SQL Injection)_order by 語句正確參數化套入 最近又遇到被若安掃描到高風險要修正的程式碼啦.... 一看這還真是搞不懂該怎麼修呢 HSTS(HTTP Strict Transport Security)  主要是一份國際標準規格 (RFC 6797) 的網際網路瀏覽安全機制， 用於宣告瀏覽器與伺服器之間通訊方式必須強制採用 TLS/SSL 加密通道。 只要從伺服器端送出一個 Strict-Transport-Security 標頭 (Header) 給瀏覽器，即可告知瀏覽器於未來的某段時間內一律使用 SSL 來和該網站連接 (設定可涵蓋所有子域名網站)， 一旦發生憑證失效情況，使用者將無法再瀏覽該網站，如此一來便可大幅減少中間人攻擊的問題發生。 再更白話一點 HSTS Header 就是負責將 http 強制轉為 https CheckMarx掃碼報告給的說明 ============================================================ 風險: 如果web config沒有設置HSTS表頭、"max-age"(有效期)不足一年， 或沒有設定"includeSubDomains"(包含所有子網域)，可能會使用戶容易遭受中間人攻擊。 發生原因: 許多使用者只要在瀏覽器的網址列輸入網域名稱(Domain Name)即可瀏覽網站， 並沒有輸入協定(Protocol)的名稱。 瀏覽器會自動假設使用者使用的是HTTP協定而不是有加密機制的HTTPS協定。 在第一次發出前往特定網站的請求時，攻擊者可以執行中間人攻擊並將用戶轉址到...
閱讀完整內容