#encoding=utf-8
import?numpy?as?np

class?FullyConnect:
????def?__init__（self?l_x?l_y）:??#?兩個參數(shù)分別為輸入層的長度和輸出層的長度
????????self.weights?=?np.random.randn（l_y?l_x）??#?使用隨機數(shù)初始化參數(shù)
????????self.bias?=?np.random.randn（1）??#?使用隨機數(shù)初始化參數(shù)

????def?forward（self?x）:
????????self.x?=?x??#?把中間結(jié)果保存下來，以備反向傳播時使用
????????self.y?=?np.dot（self.weights?x）?+?self.bias??#?計算w11*a1+w12*a2+bias1
????????return?self.y??#?將這一層計算的結(jié)果向前傳遞

????def?backward（self?d）:
????????self.dw?=?d?*?self.x??#?根據(jù)鏈式法則，將反向傳遞回來的導數(shù)值乘以x，得到對參數(shù)的梯度
????????self.db?=?d
????????self.dx?=?d?*?self.weights
????????return?self.dw?self.db??#?返回求得的參數(shù)梯度，注意這里如果要繼續(xù)反向傳遞梯度，應該返回self.dx


class?Sigmoid:
????def?__init__（self）:??#?無參數(shù)，不需初始化
????????pass

????def?sigmoid（self?x