在云服务器ECS上用Python写一个搜索引擎

在云服务器ECS上用Python写一个搜索引擎

  • 一、场景介绍
  • 二、搜索引擎的组成
    • 2.1 网页的爬取及排序
    • 2.2 用户使用搜索引擎进行搜索
  • 三、操作步骤
    • 3.1 环境准备
    • 3.2 安装Anaconda
    • 3.3 安装Streamlit
    • 3.4 下载搜索引擎代码
    • 3.5 运行搜索引擎
  • 四、常见问题
    • 4.1 运行setup.py时可能的问题
    • 4.2 如何使搜索引擎一直在线

一、场景介绍

一台阿里云ECS云服务器就是一台带有公网IP地址的计算机。用户可以通过远程登录使用这台计算机；同时，由于带有公网IP，用户在ECS云服务器上部署的网站、APP、小程序等，可以被其他人通过互联网访问。

本实验应用PageRank算法，使用Python，在一台ECS云服务器上搭建了一个简易版的搜索引擎。可以用单个英文词语作为搜索词，搜索相关的网页。实现的效果如下图所示。在搜索框中，输入搜索词，例如"universe"，单击搜索，搜索引擎即会按相关度从高到低，列出相关的网页。image.png

二、搜索引擎的组成

本案例中的搜索引擎由两部分组成：网页的爬取及排序，以及用户使用搜索引擎进行搜索。

2.1 网页的爬取及排序

首先，搜索引擎需要从互联网上爬取网页。爬取到网页后，做两方面的工作：

  1. 获取网页间的超链接关系，使用PageRank算法对网页进行排序。PageRank算法的基本原理是，被引用越多的网页（即获取的超链接越多），重要性越高，类似于被引用次数越多的学术论文重要性越高的原理。对算法的说明可参考下面这本书：Google’s PageRank and Beyond: The Science of Search Engine Rankings。

  2. 编制搜索词的索引。从网页中提取词语，分析这些词语出现在哪些网页。

2.2 用户使用搜索引擎进行搜索

用户搜索某个词（例如 computer）时，搜索引擎首先从搜索词的索引中，找到这个词出现在哪些网页。然后，获取这些网页的PageRank值，按照值的大小，由高至低排序，呈现给用户。

本案例中，数据存储做了简化处理，采用了txt文档存储数据，没有使用数据库。Web页面采用Streamlit生成。image.png

三、操作步骤

3.1 环境准备

  1. 创建用于运行搜索引擎的ECS实例。ECS实例建议配置如下：

    • 实例规格：选择2vCPU 2 GiB的实例规格

    • 系统盘：40 GiB

    • 公网IP：选中分配公网 IPv4 地址并选择1M。

    • 镜像：选择Linux系统的镜像，本实验中选取Alibaba Cloud Linux，版本为Alibaba Cloud Linux 3.2104 LTS 64位。当您选择其他Linux系统时，运行命令与本文有所不同。

  2. 实例安全组的入方向规则，放行22、80、443、8501端口（Streamlit默认使用8501端口）。

3.2 安装Anaconda

Anaconda中包含了Python、NumPy等本项目中需要的依赖项。

  1. 远程连接ECS实例。

  2. 更新操作系统。

    sudo yum update -y
sudo yum upgrade -y

  3. 下载Anaconda安装包。

    wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh

  4. 安装Anaconda。

    bash Anaconda3-2023.09-0-Linux-x86_64.sh

    1. 当出现下图所示信息时，单击Enter，继续安装过程。

      image.png

    2. 出现下面的界面后，连续多次单击Enter。**在这里需要注意，此处安装软件是在显示它的授权协议，让用户阅读。不要一直按住Enter，而是建议一下一下地点击Enter，后续会出现****Do you accept the license terms?**的提示（紧接着一个步骤）。默认的选项是no，如果一直按住Enter，安装过程会中止。image.png

    3. 出现Do you accept the license terms? [yes|no]时，输入yes，单击Enter继续安装。

      image.png

    4. 出现如下提示，单击Enter继续，等待Anaconda完成安装。

      image.png

    5. 出现如下提示时，输入yes，单击Enter继续安装。

      image.png

      出现如下图所示信息时，说明Anaconda已安装完成。

      image.png

  5. 单击页面右上角的image.png图标，打开一个新终端。

    当出现(base)字样，表示Anaconda已启动。

    说明

    在实际开发过程中，通常需要通过conda安装虚拟环境，在虚拟环境中继续后续操作。本实验中略去此步骤。

    image.png

3.3 安装Streamlit

Streamlit用于展示Web页面。

pip install streamlit

3.4 下载搜索引擎代码

搜索引擎能搜索到哪些网页，取决于搜索引擎通过爬虫获得了哪些网页。本实验中，以Introduction to Programming in Python网页为起始网页，爬取了总计322个网页。因此，搜索的结果限于这322个网页。用户可以通过在web_graph.py中添加新的起始网页，爬取新的网页。

  1. 下载搜索引擎代码压缩包。

    wget https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/en-US/20231011/uhsy/search_engine_demo_aliyun.zip

  2. 解压缩搜索引擎代码压缩包。

    yum install unzip
unzip search_engine_demo_aliyun.zip

  3. 切换到search_engine_demo_aliyun目录。

    cd search_engine_demo_aliyun

    search_engine_demo_aliyun目录下的文件结构如下所示：

    image.png

    • **search.py：**运行该程序，可以启动搜索引擎网页，供用户使用。

    • pageranking：包含爬取网页、计算PageRank值、生成词的索引所需要的程序。

      • web_graph.py：爬取网页，生成网页间的关系图（graph）；

      • page_indexer.py：对使用web_graph.py爬取到的网页做编号，以方便使用PageRank算法时做矩阵运算；

      • pagerank.py：使用PageRank算法计算网页的重要性；

      • word_indexer.py：对爬取到的网页中的词进行分析，确定每一个词分别出现在了哪些网页；

      • get_html.py：获取网页的hmtl内容，web_graph.py和word_indexer.py都会调用这个程序；

      • setup.py：用于同时运行web_graph.py, page_indexer.py, pagerank.py, word_indexer.py，并存储数据。

    • **data：**用于存储运行./pageranking/setup.py后生成的数据。

      • web_graph.txt: 用于存储网页间的关联关系，本质上是一个有向图。采用字典的方式存储数据，key为一个网页，value为这个网页上超链接指向的网页组成的数组；

      • page_indexer.txt: 爬取到的网页的编号。这里的网页经过了去重。采用字典的方式存储数据，key为一个网页，value为网页的编号；

      • pagerank_of_pages.txt：采用PageRank算法计算出的各个网页的PageRank值，即重要性。采用字典的方式存储数据，key为一个网页，value为这个网页的PageRank值；

      • word_index.txt：词的索引，即词会出现在哪些网页。采用字典的方式存储数据，key为一个词，value为出现了这个词的网页的数组。

3.5 运行搜索引擎

  1. 启动搜索引擎。

    streamlit run search.py

    当显示如下信息时，说明Streamlit已启动。

    image.png

  2. 复制External URL显示的公网IP地址输入到浏览器，就可以访问并使用搜索引擎。image.png

  3. 修改网页的爬取及排序。

    本实验中，以Introduction to Programming in Python这个网页为起始网页，爬取了总计322个网页。因此，搜索的结果限于这322个网页。

    您可以通过在web_graph.py中添加新的起始网页，爬取新的网页。例如，如果要增加以Algorithms这个网页为起始网页，做爬虫，让搜索引擎能搜到更多的网页。可以按如下步骤操作：

    1. 切换到pageranking目录。

      cd /root/search_engine_demo_aliyun/pageranking

    2. 打开web_graph.py文件。

      vim web_graph.py

    3. 按i键进入编辑模式。

    4. 在seed_urls数组中，增加https://algs4.cs.princeton.edu/home/。

      image.png

    5. 按Esc键，输入**:wq**，按Enter键，输入并保存文件。

  4. 执行如下命令，开始更新data文件夹中的数据。

    其中，web_graph.txt、word_index.txt的生成需要较长的时间（约10分钟）。运行完毕后，搜索引擎即可覆盖更多的网页。

    python setup.py

四、常见问题

4.1 运行setup.py时可能的问题

运行python setup.py做新的爬虫任务时，耗时较长，任务可能被中断。如果被中断，可以尝试重新运行。

4.2 如何使搜索引擎一直在线

在云服务器ECS上运行搜索引擎时，如果远程连接中断，search.py文件也会中止运行，导致搜索引擎无法使用。可以采用screen命令，解决这个问题。

  1. 执行ctrl+z终止search.py程序。

  2. 查看占用8501端口的进程。

    lsof -i:8501

    例如，占用该端口的PID位41644，输入下列命令中止该进程，释放8501端口。image.png

    kill -9 41644

  3. 执行以下命令，使用screen新建一个窗口。

    screen -S search

    image.png

  4. 在新生成的窗口里，运行下列命令，启动搜索引擎。

    streamlit run search.py

  5. 按住ctrl+A，再按D，出现下列提示（detached from …）后，说明detach成功。

    这样，即使远程连接中断、退出登录ECS实例，搜索引擎仍然将正常工作。

    image.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/295908.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

java实验室预约管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

java实验室预约管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 java servlet 实验室预约管理系统是一套完善的java web信息管理系统 系统采用serlvetdaobean（mvc模式)，对理解JSP java编程开发语言有帮助，系统具有完整的源代码和数 据库，系统主要采用B/S模式开发。开发环境为T…
阅读更多...
图像分割实战-系列教程11：U2NET显著性检测实战3

图像分割实战-系列教程11：U2NET显著性检测实战3

🍁🍁🍁图像分割实战-系列教程 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 U2NET显著性检测实战1 U2NET显著性检测实战2 U2NET显著性检测实战3 6、上采样操作与REBNCONV def…
阅读更多...
Python基础知识总结1-Python基础概念搞定这一篇就够了

Python基础知识总结1-Python基础概念搞定这一篇就够了

时隔多年不用忘却了很多，再次进行python的汇总总结。好记性不如烂笔头！ PYTHON基础 Python简介python是什么？Python特点Python应用场景Python版本和兼容问题解决方案python程序基本格式 Python程序的构成代码的组织和缩进使用\行连接符 对象…
阅读更多...
安装阿里云CLI之配置阿里云凭证信息

安装阿里云CLI之配置阿里云凭证信息

有时候需要再主机上通过 OpenAPI 的调用访问阿里云，并完成控制，此时就需要在服务器上安装阿里云CLI，并完成账号的设置。 1. 登录阿里云创建账号 1.1 点击阿里云头像 ——》 控制访问 ——》创建一个拥有DNS权限的用户 这个用户不用太多权限…
阅读更多...
QT翻金币

QT翻金币

QT翻金币 在B站跟着视频进行QT学习&#xff0c;现把代码全部贴上来&#xff0c;备忘 整体解决方案文件结构如下&#xff1a; chooselevelscene.h #ifndef CHOOSELEVELSCENE_H #define CHOOSELEVELSCENE_H#include <QMainWindow> #include"playscene.h"class…
阅读更多...
wordpress个人博客/杂志主题Pin Premium

wordpress个人博客/杂志主题Pin Premium

Pin Premium WordPress主题是针对博主的时尚且自适应的Pinterest风格主题。使用HTML5和CSS3技术创建&#xff0c;带有有效代码(两个演示)&#xff0c;完全响应&#xff0c;在所有移动设备上看起来完美&#xff0c;可在任何设备和 PC 上轻松使用。 响应式设计针对平板电脑和智能…
阅读更多...
YOLOv8改进 | 损失篇 | VarifocalLoss密集目标检测专用损失函数 (VFLoss，原论文一比一复现)

YOLOv8改进 | 损失篇 | VarifocalLoss密集目标检测专用损失函数 (VFLoss，原论文一比一复现)

一、本文介绍 本文给大家带来的是损失函数改进VFLoss损失函数，VFL是一种为密集目标检测器训练预测IoU-aware Classification Scores（IACS）的损失函数，我经过官方的版本将其集成在我们的YOLOv8的损失函数使用上，其中有很多使用的小细节(否则按照官方的版本使用根本拟合不了…
阅读更多...
【算法】链表-20240105

【算法】链表-20240105

这里写目录标题 一、LCR 023. 相交链表二、142. 环形链表 II 一、LCR 023. 相交链表 给定两个单链表的头节点 headA 和 headB &#xff0c;请找出并返回两个单链表相交的起始节点。如果两个链表没有交点&#xff0c;返回 null 。 提示&#xff1a; listA 中节点数目为 m list…
阅读更多...
48种国内外的PCB设计工具-你知道的有哪几种呢？

48种国内外的PCB设计工具-你知道的有哪几种呢？

针对强迫症&#xff0c;非要使用最好最全的工具&#xff1b;针对死较真&#xff0c;认为自己的工具最好用&#xff1b; 工具只是工具&#xff0c;思想最重要&#xff01; 自记录&#xff1a; 无论我们设计什么样的项目&#xff0c;电子工程师都必须知道电路应该如何布局以及…
阅读更多...
windows通过ssh连接Liunx服务器并实现上传下载文件

windows通过ssh连接Liunx服务器并实现上传下载文件

连接ssh 输入&#xff1a;ssh空格用户名ip地址&#xff0c;然后按Enter 有可能出现下图提示&#xff0c;输入yes 回车即可 输入 password &#xff0c;注意密码是不显示的&#xff0c;输入完&#xff0c;再按回车就行了 以上是端口默认22情况下ssh连接&#xff0c;有些公司它…
阅读更多...
C#，归并排序算法（Merge Sort Algorithm）的源代码及数据可视化

C#，归并排序算法（Merge Sort Algorithm）的源代码及数据可视化

归并排序 归并算法采用非常经典的分治策略&#xff0c;每次把序列分成n/2的长度&#xff0c;将问题分解成小问题&#xff0c;由复杂变简单。 因为使用了递归算法&#xff0c;不能用于大数据的排序。 核心代码&#xff1a; using System; using System.Text; using System.Co…
阅读更多...
nginx下日志配置和排查错误

nginx下日志配置和排查错误

目录 一&#xff1a;配置 二&#xff1a;排查日志 一&#xff1a;配置 在Nginx中&#xff0c;日志配置是记录服务器活动和排查问题的重要环节。以下是一些常见的Nginx日志配置选项&#xff1a; 日志级别&#xff1a;通过设置日志级别&#xff0c;可以控制日志的详细程度。常…
阅读更多...
Java学习笔记(四)——正则表达式

Java学习笔记(四)——正则表达式

文章目录 正则表达式基本规则字符类(只匹配一个字符)预定义字符(只匹配一个字符)数量词练习正则表达式插件 爬虫利用正则表达式获取想要的内容爬取网络信息练习有条件的爬取贪婪爬取非贪婪爬取正则表达式在字符串中的使用 分组捕获分组正则表达式外部使用非捕获分组正则表达式忽…
阅读更多...
fmincon函数求解非线性超越方程的学习记录

fmincon函数求解非线性超越方程的学习记录

最近的算法中用到了fmincon函数&#xff0c;寻找多变量非线性方程最小值的函数&#xff1b;因此学习一下&#xff1b; fmincon函数的基础语法如下所示&#xff1a; fmincon函数是为了求解下列方程的最小值&#xff1b; b 和 beq 是向量&#xff0c;A 和 Aeq 是矩阵&#xff0c…
阅读更多...
CentOS 7.6下的HTTP隧道代理配置详解

CentOS 7.6下的HTTP隧道代理配置详解

在CentOS 7.6操作系统中&#xff0c;配置HTTP隧道代理需要一定的技术知识和经验。下面我们将详细介绍如何配置HTTP隧道代理&#xff0c;以确保网络通信的安全性和稳定性。 首先&#xff0c;我们需要了解HTTP隧道代理的基本原理。HTTP隧道代理是一种通过HTTP协议传输其他协议数…
阅读更多...
STM32F103C8T6制作简易示波器

STM32F103C8T6制作简易示波器

1设计需求 通过stm32f103c8t6实现一个简易示波器功能&#xff0c;该示波器可以检测0-3.6khz频率范围内的波形。 也可以输出波形&#xff0c;输出方波、三角波、正弦波。 2技术方案 通过stm32的ADC功能&#xff0c;采集输入信号&#xff0c;最后由oled屏进行显示。 采样频率…
阅读更多...
test mutation-00-变异测试概览

test mutation-00-变异测试概览

拓展阅读 test 系统学习-04-test converate 测试覆盖率 jacoco 原理介绍 test 系统学习-05-test jacoco 测试覆盖率与 idea 插件 test 系统学习-06-test jacoco SonarQube Docker learn-29-docker 安装 sonarQube with mysql Ubuntu Sonar 突变测试是什么&#xff1f; …
阅读更多...
Harbor配置同步规则删除不掉

Harbor配置同步规则删除不掉

【问题原因】 harbor上主从两个仓库&#xff0c;配置同步规则时&#xff0c;定时任务配置太频繁&#xff0c;导致规则修改&#xff0c;删除都失败。 【问题现象】 点击修改后保存&#xff0c;页面报internal server error的错。 【问题排查】 docker ps | grep harbor 查看…
阅读更多...
格密码基础：对偶格（超全面）

格密码基础：对偶格（超全面）

目录 一. 对偶格的格点 1.1 基本定义 1.2 对偶格的例子 1.3 对偶格的图形理解 二. 对偶格的格基 2.1 基本定义 2.2 对偶格的格基证明 三. 对偶格的行列式 3.1 满秩格 3.2 非满秩格 四. 重复对偶格 五. 对偶格的转移定理&#xff08;transference theorem&#xff…
阅读更多...
HarmonyOS 开发基础（五）Button

HarmonyOS 开发基础（五）Button

HarmonyOS 开发基础&#xff08;五&#xff09;Button Entry Component struct Index {build() {Row() {Column() {// Button&#xff1a;ArkUI 的基础组件 按钮组件// label 参数&#xff1a;文字型按钮Button(我是按钮)// width&#xff1a;属性方法&#xff0c;设置组件的宽…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站