Groq+llama3+Streamlitを使った独自ボット

Groq　APIを使った最高速ボット作成

Python  コード
import streamlit as st
import os
from groq import Groq

環境変数から API キーを取得

api_key = "gsk_ここに取得したキーを設定"
if not api_key:
  st.error("APIキーが設定されていません。")
  st.stop()

Groq クライアントの初期化

client = Groq(api_key=api_key)

def get_response(question):
 """ Groq API を使用してチャット応答を取得する関数 """
 chat_completion = client.chat.completions.create(
 messages=[
 {"role": "user", "content": question}
 ],
 model="llama3-70b-8192",　 #モデルは自由に変更してください
 )
 return chat_completion.choices[0].message.content

Streamlit UI

 st.title('超高速で動作するLlama 3 70Bモデル')

ユーザー入力

user_input = st.text_input("質問を入力してください:")

if st.button('回答を取得'):
 with st.spinner('回答を取得中...'):
 response = get_response(user_input)
 st.write(response)

後は、コールするだけ、他のボットのように時間がかかるので、100行単位にデータを画面に表示させるような処理は書かなくても大丈夫

streamlit run app.py

Groq is Fast AI Inference