TensorFlow 1.x学习（系列二 ：4）：自实现线性回归

目录

    • 线性回归基本介绍
    • 常用的op
    • 自实现线性回归预测
    • tensorflow 变量作用域
    • 模型的保存和加载

线性回归基本介绍

线性回归： w 1 ∗ x 1 + w 2 ∗ x 2 + w 3 ∗ x 3 + . . . + w n ∗ x n + b i a s w_1 * x_1 + w_2 * x_2 + w_3 * x_3 + ...+ w_n * x_n + bias w1​∗x1​+w2​∗x2​+w3​∗x3​+...+wn​∗xn​+bias

1：准备好1特征1目标值(都为100行1列)

y = x ∗ 0.7 + 0.8 y = x * 0.7 + 0.8 y=x∗0.7+0.8

2: 建立模型 随机初始化准备一个权重w,一个向量b

y p r e d i c t = x ∗ w + b y_{predict} = x * w + b ypredict​=x∗w+b

3:求损失函数，误差

loss 均方误差： ( y 1 − y 1 ′ ) 2 + ( y 2 − y 2 ′ ) 2 + ( y 3 − y 3 ′ ) 2 + . . . + ( y 100 − y 100 ′ ) 2 (y_1-y_1^{'})^2 + (y_2-y_2^{'})^2 + (y_3-y_3^{'})^2 + ... + (y_{100}-y_{100}^{'})^2 (y1​−y1′​)2+(y2​−y2′​)2+(y3​−y3′​)2+...+(y100​−y100′​)2

4:梯度下降优化

矩阵相乘：

（m行，n行） * （n行，1）（m行，1）

常用的op

矩阵运算：

tf.matmul(x,w)

平方：

tf.square(error)

均值：

tf.reduce_mean(error)

梯度下降优化：

tf.train.GradientDescentOptimizer(learning_rate)

- learning_rate:学习率

- method:

    minize(loss)

- return:梯度下降op

自实现线性回归预测

import tensorflow as tf

# 1.准备数据 x:特征值 [100,1] y 目标值[100]
x = tf.random_normal([100,1], mean = 1.75, stddev = 0.5,name = "x_data")

# 矩阵相乘必须是二维的
y_ture = tf.matmul(x,[[0.7]]) + 0.8

# 2.建立线性回归模型，1个特征，1个权重，一个偏置 y = xw + b
# 随机给一个权重和p偏置的值，计算损失，然后在当前状态下优化
# 用变量定义才能优化

weight = tf.Variable(tf.random_normal([1,1],mean = 0.0,stddev = 1.0),name = "w")
bias = tf.Variable(0.0,name = "b")

y_predict = tf.matmul(x,weight) + bias

# 3.建立损失函数，均方误差
loss = tf.reduce_mean(tf.square(y_ture - y_predict))

# 4.梯度下降优化损失 leaning_rate:0.01,0.03,0.1,0.3,......
train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()

# 通过会话运行程序
with tf.Session() as sess:
    # 初始化变量
    sess.run(init_op)
    
    # 打印随机最先初始化的权重和偏置
    print("随机初始化的参数权重为：%f, 偏置为：%f" %(weight.eval(),bias.eval()))
    
    # 循环运行优化
    for i in range(200):
        sess.run(train_op)
    
        print("第%d次优化的参数权重为：%f, 偏置为：%f" % (i,weight.eval(),bias.eval()))


随机初始化的参数权重为：-1.260226, 偏置为：0.000000
第0次优化的参数权重为：0.349570, 偏置为：0.856385
第1次优化的参数权重为：0.554503, 偏置为：0.966013
第2次优化的参数权重为：0.590992, 偏置为：0.982879
第3次优化的参数权重为：0.600176, 偏置为：0.984269
第4次优化的参数权重为：0.602949, 偏置为：0.982530
第5次优化的参数权重为：0.603653, 偏置为：0.980223
第6次优化的参数权重为：0.602477, 偏置为：0.976848
第7次优化的参数权重为：0.604590, 偏置为：0.975368
......
第193次优化的参数权重为：0.689427, 偏置为：0.819917
第194次优化的参数权重为：0.689293, 偏置为：0.819553
第195次优化的参数权重为：0.689415, 偏置为：0.819265
第196次优化的参数权重为：0.689980, 偏置为：0.819289
第197次优化的参数权重为：0.690093, 偏置为：0.819089
第198次优化的参数权重为：0.689954, 偏置为：0.818728
第199次优化的参数权重为：0.689771, 偏置为：0.818355

tensorflow 变量作用域

tf.variable_scope(<scope_name>):创建指定名字的变量作用域

import tensorflow as tf

with tf.variable_scope("data"):
    x = tf.random_normal([100,1], mean = 1.75, stddev = 0.5,name = "x_data")
    # 矩阵相乘必须保持数据是二维的
    y_ture = tf.matmul(x,[[0.7]]) + 0.8

with tf.variable_scope("model"):
    # 随机给一个权重和p偏置的值，计算损失，然后在当前状态下优化
    # 用变量定义才能优化
    # trainable参数:指定这个变量能顺着梯度下降一起优化
    weight = tf.Variable(tf.random_normal([1,1],mean = 0.0,stddev = 1.0),name = "w")
    bias = tf.Variable(0.0,name = "b")

    y_predict = tf.matmul(x,weight) + bias

with tf.variable_scope("loss"):
    # 3.建立损失函数，均方误差
    loss = tf.reduce_mean(tf.square(y_ture - y_predict))

with tf.variable_scope("optimizer"):
    # 4.梯度下降优化损失 leaning_rate:0.01,0.03,0.1,0.3,......
    train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()

# 通过会话运行程序
with tf.Session() as sess:
    # 初始化变量
    sess.run(init_op)
    
    # 打印随机最先初始化的权重和偏置
    print("随机初始化的参数权重为：%f, 偏置为：%f" %(weight.eval(),bias.eval()))
    
    # 把图结构写入事件文件
    filewriter = tf.summary.FileWriter("./tmp/summary/test2",graph = sess.graph)

    # 循环运行优化
    for i in range(200):
        sess.run(train_op)
    
        print("第%d次优化的参数权重为：%f, 偏置为：%f" % (i,weight.eval(),bias.eval()))

随机初始化的参数权重为：-0.364948, 偏置为：0.000000
第0次优化的参数权重为：0.660532, 偏置为：0.544167
第1次优化的参数权重为：0.773921, 偏置为：0.608918
第2次优化的参数权重为：0.791829, 偏置为：0.620703
第3次优化的参数权重为：0.793604, 偏置为：0.624149
第4次优化的参数权重为：0.788609, 偏置为：0.624627
第5次优化的参数权重为：0.791536, 偏置为：0.627871
第6次优化的参数权重为：0.789608, 偏置为：0.629258
第7次优化的参数权重为：0.789247, 偏置为：0.631952
第8次优化的参数权重为：0.790944, 偏置为：0.635684
......
第194次优化的参数权重为：0.709682, 偏置为：0.782486
第195次优化的参数权重为：0.709192, 偏置为：0.782562
第196次优化的参数权重为：0.709601, 偏置为：0.783022
第197次优化的参数权重为：0.709102, 偏置为：0.782941
第198次优化的参数权重为：0.709275, 偏置为：0.783254
第199次优化的参数权重为：0.709096, 偏置为：0.783376

体现在tensorboard上：下图出现多个optimizer的原因可能是在notebook上运行时，如果重复执行原来的代码，变量名也会自动改变，默认了之前的模型是存在的。需要注意的是，在加载保存的模型时需要注意，重复运行包含op在内的代码会导致模型加载不出来，因为名称已变。

请添加图片描述

模型的保存和加载

  • tf.train.Saver(var_list = None,max_to_keep=5)

    • var_list:指定将要保存和还原的变量。它可以作为一个dict或一个列表传递

    • max_to_keep: 指示要保留的最近检查点文件的最大数量。创建新文件时，会删除较旧的文件。如果无或0，则保留所有检查点文件。默认为5，即保留最新的5个检查点文件。

  • 例如： saver.save(sess,‘/temp/ckpt/test/model’)
    saver.restore(sess,‘/temp/ckpt/test/model’)

  • 保存文件格式：checkpoint文件（检查点文件）

初次运行模型并保存

# 保存运行了500步的模型，下次直接从500步开始
import tensorflow as tf

with tf.variable_scope("data"):
    x = tf.random_normal([100,1], mean = 1.75, stddev = 0.5,name = "x_data")
    # 矩阵相乘必须保持数据是二维的
    y_ture = tf.matmul(x,[[0.7]]) + 0.8

with tf.variable_scope("model"):
    # 随机给一个权重和p偏置的值，计算损失，然后在当前状态下优化
    # 用变量定义才能优化
    # trainable参数:指定这个变量能顺着梯度下降一起优化
    weight = tf.Variable(tf.random_normal([1,1],mean = 0.0,stddev = 1.0),name = "w")
    bias = tf.Variable(0.0,name = "b")

    y_predict = tf.matmul(x,weight) + bias

with tf.variable_scope("loss"):
    # 3.建立损失函数，均方误差
    loss = tf.reduce_mean(tf.square(y_ture - y_predict))

with tf.variable_scope("optimizer"):
    # 4.梯度下降优化损失 leaning_rate:0.01,0.03,0.1,0.3,......
    train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

# 收集tensor
tf.summary.scalar("losses",loss)
#tf.summary.scalar("weights1",weight) # weight一般是高维的要用histogram,但是由于这里是一维所以用scalar
tf.summary.histogram("weights2",weight) # 高维度的情况下一般用histogram

# 定义合并tensor的op
merged = tf.summary.merge_all()

# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()

# 定义一个保存模型的实例
saver = tf.train.Saver()

# 通过会话运行程序
with tf.Session() as sess:
    # 初始化变量
    sess.run(init_op)
    
    # 打印随机最先初始化的权重和偏置
    print("随机初始化的参数权重为：%f, 偏置为：%f" %(weight.eval(),bias.eval()))
    
    # 把图结构写入事件文件
    filewriter = tf.summary.FileWriter("tmp/summary/test",graph = sess.graph)

    # 循环运行优化
    for i in range(500):
        sess.run(train_op)
        
        # 运行合并的tensor
        summary = sess.run(merged)
        
        filewriter.add_summary(summary,i)
        
        print("第%d次优化的参数权重为：%f, 偏置为：%f" % (i,weight.eval(),bias.eval()))
    saver.save(sess,"tmp/ckpt/model")

随机初始化的参数权重为：-0.265290, 偏置为：0.000000
第0次优化的参数权重为：0.668151, 偏置为：0.499340
第1次优化的参数权重为：0.796031, 偏置为：0.570753
第2次优化的参数权重为：0.813327, 偏置为：0.583293
第3次优化的参数权重为：0.811708, 偏置为：0.586319
第4次优化的参数权重为：0.809507, 偏置为：0.588334
第5次优化的参数权重为：0.811250, 偏置为：0.592284
第6次优化的参数权重为：0.813352, 偏置为：0.596134
。。。
第495次优化的参数权重为：0.700331, 偏置为：0.799402
第496次优化的参数权重为：0.700326, 偏置为：0.799410
第497次优化的参数权重为：0.700312, 偏置为：0.799412
第498次优化的参数权重为：0.700302, 偏置为：0.799414
第499次优化的参数权重为：0.700309, 偏置为：0.799429

直接加载模型再次运行，可以看到模型的权重和偏置是接着上次运行的结果进一步运行的

with tf.Session() as sess:
    # 初始化变量
    sess.run(init_op)
    
    # 打印随机最先初始化的权重和偏置
    print("随机初始化的参数权重为：%f, 偏置为：%f" %(weight.eval(),bias.eval()))
    
    # 加载模型，覆盖模型当中随机定义的参数，从上次训练的参数结果开始
    if os.path.exists("tmp/ckpt/checkpoint"):
        saver.restore(sess,"tmp/ckpt/model")
    
    # 循环运行优化
    for i in range(500):
        sess.run(train_op)
        
        print("第%d次优化的参数权重为：%f, 偏置为：%f" % (i,weight.eval(),bias.eval()))

随机初始化的参数权重为：-1.206198, 偏置为：0.000000
INFO:tensorflow:Restoring parameters from tmp/ckpt/model
第0次优化的参数权重为：0.700308, 偏置为：0.799436
第1次优化的参数权重为：0.700309, 偏置为：0.799444
第2次优化的参数权重为：0.700299, 偏置为：0.799446
第3次优化的参数权重为：0.700287, 偏置为：0.799447
第4次优化的参数权重为：0.700289, 偏置为：0.799456
第5次优化的参数权重为：0.700291, 偏置为：0.799465
第6次优化的参数权重为：0.700283, 偏置为：0.799469
第7次优化的参数权重为：0.700294, 偏置为：0.799482
第8次优化的参数权重为：0.700279, 偏置为：0.799485
。。。
第491次优化的参数权重为：0.700001, 偏置为：0.799998
第492次优化的参数权重为：0.700001, 偏置为：0.799998
第493次优化的参数权重为：0.700001, 偏置为：0.799998
第494次优化的参数权重为：0.700001, 偏置为：0.799998
第495次优化的参数权重为：0.700001, 偏置为：0.799998
第496次优化的参数权重为：0.700001, 偏置为：0.799998
第497次优化的参数权重为：0.700001, 偏置为：0.799998
第498次优化的参数权重为：0.700001, 偏置为：0.799998
第499次优化的参数权重为：0.700001, 偏置为：0.799998

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/24287.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

MySQL 对日期使用 DATE_FORMAT()函数

MySQL 对日期使用 DATE_FORMAT()函数

文章目录 DATE_FORMAT()函数显示今天是星期几只显示年月显示当前时间的分钟数和秒数 DATE_FORMAT()函数 前面使用日期时间函数&#xff0c;获取到的要么是 yyyy-mm-dd 形式的日期&#xff0c;要么是 hh:MM:ss 形式的时间&#xff0c;或者是 yyyy-mm-dd hh:mm:ss 形式的日期及时…
阅读更多...
算法基础学习笔记——⑧堆\哈希表

算法基础学习笔记——⑧堆\哈希表

✨博主&#xff1a;命运之光 ✨专栏&#xff1a;算法基础学习 目录 ✨堆 &#x1f353;堆模板&#xff1a; ✨哈希表 &#x1f353;一般哈希模板&#xff1a; &#x1f353;字符串哈希模板&#xff1a; 前言&#xff1a;算法学习笔记记录日常分享&#xff0c;需要的看哈O(…
阅读更多...
Qt文件系统源码分析—第六篇QSaveFile

Qt文件系统源码分析—第六篇QSaveFile

深度 本文主要分析Windows平台&#xff0c;Mac、Linux暂不涉及 本文只分析到Win32 API/Windows Com组件/STL库函数层次&#xff0c;再下层代码不做探究 本文QT版本5.15.2 类关系图 QTemporaryFile继承QFile QFile、QSaveFile继承QFileDevice QFileDevice继承QIODevice Q…
阅读更多...
远程访问本地jupyter notebook服务 - 无公网IP端口映射

远程访问本地jupyter notebook服务 - 无公网IP端口映射

文章目录 前言视频教程1. Python环境安装2. Jupyter 安装3. 启动Jupyter Notebook4. 远程访问4.1 安装配置cpolar内网穿透4.2 创建隧道映射本地端口 5. 固定公网地址 转载自远控源码文章&#xff1a;公网远程访问jupyter notebook【cpolar内网穿透】 前言 Jupyter Notebook&am…
阅读更多...
网络原理（六）：http 协议（上）

网络原理（六）：http 协议（上）

目录 HTTP 协议是什么 抓包工具 Fiddler 的下载 使用Fiddler HTTP 请求 (Request) HTTP 请求格式 首行 请求头&#xff08;Header&#xff09; Cookie HTTP 协议是什么 还是老样子&#xff0c;在讲解http 之前我们先来了解以下什么叫做 http 。 HTTP&#xff08;Hyp…
阅读更多...
(转载)从0开始学matlab(第14天)—while循环结构

(转载)从0开始学matlab(第14天)—while循环结构

循环(loop) 是一种 matlab 结构&#xff0c;它允许我们多次执行一系列的语句。循环结构有两种基本形式 :while 循环和 for 循环。两者之间的最大不同在于代码的重复是如何控制的。在while 循环中&#xff0c;代码的重复的次数是不能确定的&#xff0c;只要满足用户定义的条件…
阅读更多...
整理6个超好用的在线编辑器！

整理6个超好用的在线编辑器！

随着 Web 开发对图像可扩展性、响应性、交互性和可编程性的需求增加&#xff0c;SVG 图形成为最适合 Web 开发的图像格式之一。它因文件小、可压缩性强并且无论如何放大或缩小&#xff0c;图像都不会失真而受到欢迎。然而&#xff0c;为了编辑 SVG 图像&#xff0c;需要使用 SV…
阅读更多...
《五》 Git 中的标签和分支

《五》 Git 中的标签和分支

标签 tag&#xff1a; Git 可以给仓库中某一次 commit 的提交打上标签。对于重大的版本经常会打上一个标签来表示它的重要性。 创建标签&#xff1a; git tag【tag 名称】&#xff1a;创建标签。 查看标签&#xff1a; git tag&#xff1a;查看标签。 推送标签到远程仓库…
阅读更多...
任务40 评奖系统设计

任务40 评奖系统设计

系列文章 任务40 评奖系统设计 为教务处设计一个学生评价老师的程序&#xff1a; 每位学生投一张票&#xff0c;选出自己最喜爱的老师&#xff0c;选票格式为&#xff1a; | 第一喜爱的老师 | 第二喜爱的老师 |第三喜爱的老师 | | 工号 |工号 |工号 | 上述数据存放在一个数据…
阅读更多...
随机网络构建

随机网络构建

随机网络构建 文章目录 随机网络构建[toc]1 随机网络定义2 网络拓扑性质2.1 边数分布2.2 度分布 3 代码实现 1 随机网络定义 随机网络与规则网络相对应&#xff0c;最为经典的随机网络模型是Erds和Rnyi研究的ER随机图模型&#xff0c;ER随机图模型有两种定义方式&#xff1a; …
阅读更多...
三种快速转换PDF为TXT的方法：简单、高效、免费

三种快速转换PDF为TXT的方法：简单、高效、免费

如何将PDF转换为TXT文件&#xff1f;在日常生活中&#xff0c;PDF和TXT是常见的文本格式。PDF格式文件具有稳定的布局和易于存储的特点。然而&#xff0c;许多在线下载的电子书通常是以PDF格式提供的&#xff0c;而电子阅读器通常不支持PDF格式&#xff0c;这就导致了无法方便地…
阅读更多...
字节软测划水四年，内容过于真实......

字节软测划水四年，内容过于真实......

先简单交代一下吧&#xff0c;潇潇是某不知名211的本硕&#xff0c;18年毕业加入一个小厂&#xff0c;之后跳槽到了字节跳动&#xff0c;一直从事测试开发相关的工作。之前没有实习经历&#xff0c;算是四年半的工作经验吧。 这四年半之间他完成了一次晋升&#xff0c;换了一家…
阅读更多...
SAP-MM-计算方案字段解析

SAP-MM-计算方案字段解析

01、 “步骤”&#xff1a;标识此条件类型在计算方案中的顺序编号&#xff0c;此编号会影响到后续业务中条件类型的排序&#xff0c;不同条件类型之间的编号最好间隔大一些&#xff0c;这样设置便于以后对计算方案进行扩展&#xff1b; 02、 “计数器”&#xff1…
阅读更多...
Apache Kafka - 重识消费者

Apache Kafka - 重识消费者

文章目录 概述Kafka消费者的工作原理Kafka消费者的配置Kafka消费者的实现高级API低级API 导图总结 概述 Kafka是一个分布式的消息队列系统&#xff0c;它的出现解决了传统消息队列系统的吞吐量瓶颈问题。 Kafka的高吞吐量、低延迟和可扩展性使得它成为了很多公司的首选消息队…
阅读更多...
面试前15天刷完这个笔记，拿下字节测开岗offer....

面试前15天刷完这个笔记，拿下字节测开岗offer....

面试&#xff0c;跳槽&#xff0c;每天都在发生&#xff0c;跳槽&#xff0c;更是很常见的&#xff0c;对于每个人来说&#xff0c;跳槽的意义也各不相同&#xff0c;可能是一个人更向往一个更大的平台&#xff0c;更好的地方&#xff0c;可以通过换一个环境改变自己的现状。而…
阅读更多...
解密Java Class文件不为人知的秘密

解密Java Class文件不为人知的秘密

Java 诞生多年&#xff0c;因此在网络上&#xff0c;有关 Java Class 文件格式解析的文章有很多&#xff0c;但他们大多数都是在列举《Java 虚拟机》中定义的格式&#xff0c;通读下来&#xff0c;好像所有的东西都讲清楚了&#xff0c;但是我个人好像并没有看懂&#xff0c;不…
阅读更多...
2. css表格属性、文本属性、列表属性、边距属性、尺寸属性

2. css表格属性、文本属性、列表属性、边距属性、尺寸属性

1. 表格属性 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" content"widthdevice-width…
阅读更多...
【JavaSE】Java基础语法(十五)：继承

【JavaSE】Java基础语法(十五)：继承

文章目录 1. 继承的实现2. 继承的好处和弊端3. Java中继承的特点4. 继承中的成员访问特点5. super6. 继承中构造方法的访问特点7. 继承中成员方法的访问特点8. super内存图9. 方法重写10. 权限修饰符 1. 继承的实现 继承的概念 继承是面向对象三大特征之一&#xff0c;可以使得…
阅读更多...
【状态估计】基于随机方法优化PMU优化配置（Matlab代码实现）

【状态估计】基于随机方法优化PMU优化配置（Matlab代码实现）

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…
阅读更多...
路径规划算法：基于猫群优化的路径规划算法- 附代码

路径规划算法：基于猫群优化的路径规划算法- 附代码

路径规划算法&#xff1a;基于猫群优化的路径规划算法- 附代码 文章目录 路径规划算法&#xff1a;基于猫群优化的路径规划算法- 附代码1.算法原理1.1 环境设定1.2 约束条件1.3 适应度函数 2.算法结果3.MATLAB代码4.参考文献 摘要&#xff1a;本文主要介绍利用智能优化算法猫群…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站