新的数据库查询范式
- 提出问题：用户用自然语言提出一个问题，例如“去年的总销售额是多少？”。
- LLM 理解并转译：LLM 首先会解析这个问题，理解其背后的意图和所需的信息。接着，模
型会根据解析的内容，生成相应的 SQL 查询语句，例如 “SELECT SUM(sales) FROM
sales_data WHERE year = ‘last_year’;”。 - 执行 SQL 查询：生成的 SQL 查询语句会被发送到相应的数据库进行执行。数据库处理这个
查询，并返回所需的数据结果。 - LLM 接收并解释结果：当数据库返回查询结果后，LLM 会接收到这些数据。然后，LLM 会
开始解析这些数据，并将其转化为更容易被人类理解的答案格式。 - 提供答案：最后，LLM 将结果转化为自然语言答案，并返回给用户。例如“去年的总销售
额为 1,000,000 元”。
实战案例背景信息
这个应用可以被简单地用作一个查询工具，允许员工在存货或销售系统中快速查找价 格。员工不再需要记住复杂的查询语句或进行手动搜索，只需选择鲜花种类，告诉系统他所想 要的东西，系统就会为他们生成正确的查询。
其次，这个模板也可以被整合到一个聊天机器人或客服机器人中。顾客可以直接向机器人询 问：“红玫瑰的价格是多少？” 机器人会根据输入内容来调用 LangChain 和 LLM，生成适 当的查询，然后返回确切的价格给顾客。这样，不仅提高了服务效率，还增强了用户体验。
创建数据库表
我们使用 SQLite 作为我们的示例数据库。它提供了轻量级的磁盘文件数据库，并不需 要单独的服务器进程或系统，应用程序可以直接与数据库文件交互。 SQLite 支持 ACID（原子性、一致性、隔离性、持久性）
sqlite3 库，则是 Python 内置的轻量级 SQLite 数据库
# 导入sqlite3库
import sqlite3
# 连接到数据库
conn = sqlite3.connect('FlowerShop.db')
cursor = conn.cursor()
# 执行SQL命令来创建Flowers表
cursor.execute('''
CREATE TABLE Flowers (
ID INTEGER PRIMARY KEY,
Name TEXT NOT NULL,
Type TEXT NOT NULL,
Source TEXT NOT NULL,
PurchasePrice REAL,
SalePrice REAL,
StockQuantity INTEGER,
SoldQuantity INTEGER,
ExpiryDate DATE,
Description TEXT,
EntryDate DATE DEFAULT CURRENT_DATE
);
''')
# 插入5种鲜花的数据
flowers = [
('Rose', 'Flower', 'France', 1.2, 2.5, 100, 10, '2023-12-31', 'A beautiful red rose'),
('Tulip', 'Flower', 'Netherlands', 0.8, 2.0, 150, 25, '2023-12-31', 'A colorful tulip'),
('Lily', 'Flower', 'China', 1.5, 3.0, 80, 5, '2023-12-31', 'An elegant white lily'),
('Daisy', 'Flower', 'USA', 0.7, 1.8, 120, 15, '2023-12-31', 'A cheerful daisy flower'),
('Orchid', 'Flower', 'Brazil', 2.0, 4.0, 50, 2, '2023-12-31', 'A delicate purple orchid')
]
for flower in flowers:
cursor.execute('''
INSERT INTO Flowers (Name, Type, Source, PurchasePrice, SalePrice, StockQuantity, SoldQuantity, ExpiryDate, Description)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?);
''', flower)
# 提交更改
conn.commit()
# 关闭数据库连接
conn.close()
用 Chain 查询数据库
pip install langchain-experimental
# 导入langchain的实用工具和相关的模块
from langchain.utilities import SQLDatabase
from langchain.llms import OpenAI
from langchain_experimental.sql import SQLDatabaseChain
# 连接到FlowerShop数据库（之前我们使用的是Chinook.db）
db = SQLDatabase.from_uri("sqlite:///FlowerShop.db")
# 创建OpenAI的低级语言模型（LLM）实例，这里我们设置温度为0，意味着模型输出会更加确定性
llm = OpenAI(temperature=0, verbose=True)
# 创建SQL数据库链实例，它允许我们使用LLM来查询SQL数据库
db_chain = SQLDatabaseChain.from_llm(llm, db, verbose=True)
# 运行与鲜花运营相关的问题
response = db_chain.run("有多少种不同的鲜花？")
print(response)
response = db_chain.run("哪种鲜花的存货数量最少？")
print(response)
response = db_chain.run("平均销售价格是多少？")
print(response)
response = db_chain.run("从法国进口的鲜花有多少种？")
print(response)
response = db_chain.run("哪种鲜花的销售量最高？")
print(response)
我们导入必要的 LangChain 模块，然后连接到 FlowerShop 数据库，初始化 OpenAI 的 LLM 实例。之后用 SQLDatabaseChain 来创建一个从 LLM 到数据库的链接。
用 db_chain.run() 方法来查询多个与鲜花运营相关的问题，Chain 的内部会把这些自 然语言转换为 SQL 语句，并查询数据库表，得到查询结果之后，又通过 LLM 把这个结果转换 成自然语言。 
用 Agent 查询数据库
除了通过 Chain 完成数据库查询之外，LangChain 还可以通过 SQL Agent 来完成查询任 务。相比 SQLDatabaseChain，使用 SQL 代理有一些优点。
它可以根据数据库的架构以及数据库的内容回答问题（例如它会检索特定表的描述）。
它具有纠错能力，当执行生成的查询遇到错误时，它能够捕获该错误，然后正确地重新生成并执行新的查询
LangChain 使用 create_sql_agent 函数来初始化代理，通过这个函数创建的 SQL 代理包含 SQLDatabaseToolkit，这个工具箱中包含以下工具：
- 创建并执行查询
- 检查查询语法
- 检索数据表的描述
from langchain.utilities import SQLDatabase
from langchain.llms import OpenAI
from langchain.agents import create_sql_agent
from langchain.agents.agent_toolkits import SQLDatabaseToolkit
from langchain.agents.agent_types import AgentType
# 连接到FlowerShop数据库
db = SQLDatabase.from_uri("sqlite:///FlowerShop.db")
llm = OpenAI(temperature=0, verbose=True)
# 创建SQL Agent
agent_executor = create_sql_agent(
llm=llm,
toolkit=SQLDatabaseToolkit(db=db, llm=llm),
verbose=True,
agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
)
# 使用Agent执行SQL查询
questions = [
"哪种鲜花的存货数量最少？",
"平均销售价格是多少？",
]
for question in questions:
response = agent_executor.run(question)
print(response)
总结
“告诉计算机要做什么”的编程范式向“告诉计算机我们想要什么”的范式的转变。
- 更大的可达性：不再需要深入的技术知识或特定的编程背景。这意味着非技术人员，比如业 务分析师、项目经理甚至是终端用户，都可以直接与数据交互。
- 高效率与生产力：传统的编程方法需要大量的时间和努力，尤其是在复杂的数据操作中。自 然语言处理和理解能够显著减少这种负担，使得复杂的数据操作变得更加直观。
- 错误的减少：许多编程错误源于对特定语法或结构的误解，通过使用自然语言，这些源于误 解的错误将大大减少。
- 人与机器的紧密结合：在这种新范式下，机器更像是人类的合作伙伴，而不仅仅是一个工 具。它们可以理解我们的需求，并为我们提供解决方案，而无需我们明确指导每一步。
但这种转变也带来了挑战。
-
模糊性的问题：自然语言本身是模糊的，机器必须能够准确地解释这种模糊性，并在必要时 寻求澄清。
-
对现有系统的依赖：虽然自然语言查询看起来很有吸引力，但许多现有系统可能不支持或不 兼容这种新范式。
-
过度依赖：如果过于依赖机器为我们做决策，那么我们可能会失去对数据的深入了解和对结 果的质疑。
-
LangChain 中用 Chain 和 Agent 来查询数据库，这两种方式有什么异同？
-
你能否深入上面这两种方法的代码，看一看它们的底层实现。尤其是要看 LangChain 是如 何做提示工程，指导模型生成 SQL 代码的。
如何对多数据库的多表进行查询?
- 使用多数据库查询工具。一些ORM框架如SQLAlchemy支持跨数据库查询。或者可以使用像Ditto这样的多数据库查询工具。
- 将不同数据库的数据同步到一个数据库,然后在一个数据库中进行查询。可以使用工具实现数据库之间的数据同步。
- 使用消息队列进行异步查询。将查询任务发布到消息队列,不同数据库各自监听并查询,最后聚合结果。
- 查询服务化。将每个数据库封装为查询服务,在应用中调用这些服务然后聚合结果。
1、Chain采用一轮对话得到结果，意味着如果表多时，会发送很多表的schema到llm，一个是 浪费token，一个是可能超长。
2、Agent采用ReAct方式逐步推理执行，多轮对话得到结果，一个是准确性高，一个是只需将 上轮对话推理出来的需要的表的schema发送到服务端，节省token的同时避免token超出。 这引起了另外一个极端场景的思考，如果需要3表甚至更多表联查，且这3表都有上百个字段 （在大型业务系统如ERP这并不夸张），可能还是会导致token超长。
