Lepton 号称使开发人员和企业能够在几分钟内以生产就绪规模高效运行 AI 应用程序。这是使用 Lepton AI 构建的基于对话的快速搜索演示。
特性
- 对 LLM 的内置支持
- 内置搜索引擎支持
- 可定制漂亮的 UI 界面
- 可共享的缓存搜索结果
设置搜索引擎 API
有两个默认支持的搜索引擎：Bing 和 Google。
必应搜索
要使用 Bing Web 搜索 API，请访问此链接获取您的 Bing 订阅密钥。
谷歌搜索
您可以使用三种 Google 搜索选项：您可以使用 SearchApi 中的SearchApi Google 搜索 API、 Serper 中的Serper Google 搜索 API，或者选择 Google 提供的可编程搜索引擎。
设置 LLM 和 KV
注意：我们建议将内置 llm 和 kv 函数与 Lepton 一起使用。运行以下命令来自动设置它们。
pip install -U leptonai && lep login
构建
设置 Bing 订阅密钥
export BING_SEARCH_V7_SUBSCRIPTION_KEY=YOUR_BING_SUBSCRIPTION_KEY
构建 web
cd web && npm install && npm run build
运行服务
BACKEND=BING python search_with_lepton.py
对于使用 SearchApi 的 Google 搜索：
export SEARCHAPI_API_KEY=YOUR_SEARCHAPI_API_KEY BACKEND=SEARCHAPI python search_with_lepton.py
对于使用 Serper 的 Google 搜索：
export SERPER_SEARCH_API_KEY=YOUR_SERPER_API_KEY BACKEND=SERPER python search_with_lepton.py
对于使用可编程搜索引擎的 Google 搜索：
export GOOGLE_SEARCH_API_KEY=YOUR_GOOGLE_SEARCH_API_KEY export GOOGLE_SEARCH_CX=YOUR_GOOGLE_SEARCH_ENGINE_ID BACKEND=GOOGLE python search_with_lepton.py
部署
您可以一键将其部署到 Lepton AI，也可以部署您自己的版本
lep photon run -n search-with-lepton-modified -m search_with_lepton.py --env BACKEND=BING --env BING_SEARCH_V7_SUBSCRIPTION_KEY=YOUR_BING_SUBSCRIPTION_KEY
有关lep photon 在这里可以了解更多信息。
来自：
