#encoding=utf-8
import?numpy?as?np

class?FullyConnect:
????def?__init__（self?l_x?l_y）:??#?兩個參數分別為輸入層的長度和輸出層的長度
????????self.weights?=?np.random.randn（l_y?l_x）??#?使用隨機數初始化參數
????????self.bias?=?np.random.randn（1）??#?使用隨機數初始化參數

????def?forward（self?x）:
????????self.x?=?x??#?把中間結果保存下來，以備反向傳播時使用
????????self.y?=?np.dot（self.weights?x）?+?self.bias??#?計算w11*a1+w12*a2+bias1
????????return?self.y??#?將這一層計算的結果向前傳遞

????def?backward（self?d）:
????????self.dw?=?d?*?self.x??#?根據鏈式法則，將反向傳遞回來的導數值乘以x，得到對參數的梯度
????????self.db?=?d
????????self.dx?=?d?*?self.weights
????????return?self.dw?self.db??#?返回求得的參數梯度，注意這里如果要繼續反向傳遞梯度，應該返回self.dx


class?Sigmoid:
????def?__init__（self）:??#?無參數，不需初始化
????????pass

????def?sigmoid（self?x