樹(shù)莓派5智能對(duì)話(huà)系統(tǒng)移植

在當(dāng)今人工智能技術(shù)迅猛發(fā)展的浪潮里，大模型如雨后春筍般不斷涌現(xiàn)，似乎已成為各個(gè)項(xiàng)目中不可或缺的關(guān)鍵要素。從智能家居領(lǐng)域到智能辦公場(chǎng)景，從教育行業(yè)到娛樂(lè)產(chǎn)業(yè)，AI的應(yīng)用場(chǎng)景持續(xù)拓展延伸。而人工智能對(duì)話(huà)機(jī)器人，更是一躍成為當(dāng)下最為熱門(mén)的項(xiàng)目類(lèi)型之一。眾多開(kāi)發(fā)者競(jìng)相涌入這一賽道，全力嘗試打造出令人稱(chēng)奇的智能語(yǔ)音助手，期望能讓AI真正無(wú)縫融入人們的日常生活。就最新情況而言，小智（Xiaozhi - ESP32）無(wú)疑是當(dāng)前極為成功的項(xiàng)目典范，在剛剛過(guò)去的農(nóng)歷新年期間成為大眾熱議的焦點(diǎn)，網(wǎng)友們口口相傳，熱度居高不下。

將小智移植到樹(shù)莓派5上，不僅能夠充分挖掘并發(fā)揮樹(shù)莓派5的硬件優(yōu)勢(shì)，還可流暢且高效地完成對(duì)話(huà)交互內(nèi)容，為**智能體的開(kāi)發(fā)工作夯實(shí)基礎(chǔ)，鋪平前行道路。本項(xiàng)目?jī)?nèi)容將詳細(xì)地從環(huán)境搭建開(kāi)始，一步步深入到運(yùn)行py - xiaozhi項(xiàng)目，進(jìn)行全方位、手把手式的細(xì)致講解，尤其適合剛剛接觸樹(shù)莓派pi5的新手朋友。同時(shí)，在講解過(guò)程中還會(huì)分享這段時(shí)間探索項(xiàng)目時(shí)積累總結(jié)的寶貴經(jīng)驗(yàn)，助力大家更好地理解與實(shí)踐。

# 主要組件交互關(guān)系
while running:
    1. GUI線程 --> 消息隊(duì)列 --> 更新**記錄
    2. MQTT線程 --> 接收云端指令 --> 控制音頻會(huì)話(huà)
    3. 音頻線程 --> UDP加密傳輸 --> 實(shí)現(xiàn)雙向語(yǔ)音
    4. 心跳線程 --> 維持連接 --> 處理會(huì)話(huà)超時(shí)

 

def on_space_key_press():
    global key_state, udp_socket, aes_opus_info, listen_state, conn_state
    if key_state == "press":
        return
    key_state = "press"
    # 判斷是否需要發(fā)送hello消息
    if conn_state is False or aes_opus_info['session_id'] is None:
        conn_state = True
        # 發(fā)送hello消息,建立udp連接
        hello_msg = {"type": "hello", "version": 3, "transport": "udp",
                     "audio_params": {"format": "opus", "sample_rate": 16000, "channels": 1, "frame_duration": 60}}
        push_mqtt_msg(hello_msg)
        print(f"send hello message: {hello_msg}")
    if tts_state == "start" or tts_state == "entence_start":
        # 在播放狀態(tài)下發(fā)送abort消息
        push_mqtt_msg({"type": "abort"})
        print(f"send abort message")
    if aes_opus_info['session_id'] is not None:
        # 發(fā)送start listen消息
        msg = {"session_id": aes_opus_info['session_id'], "type": "listen", "state": "start", "mode": "manual"}
        print(f"send start listen message: {msg}")
        push_mqtt_msg(msg)


def on_space_key_release():
    global aes_opus_info, key_state
    key_state = "release"
    # 發(fā)送stop listen消息
    if aes_opus_info['session_id'] is not None:
        msg = {"session_id": aes_opus_info['session_id'], "type": "listen", "state": "stop"}
        print(f"send stop listen message: {msg}")
        push_mqtt_msg(msg)


# def on_press(key):
#     if key == pynput_keyboard.Key.space:
#         on_space_key_press(None)


# def on_release(key):
#     if key == pynput_keyboard.Key.space:
#         on_space_key_release(None)
#     # Stop listener
#     if key == pynput_keyboard.Key.esc:
#         return False


def run():
    global mqtt_info, mqttc
    # 獲取mqtt與版本信息
    get_ota_version()
    # 監(jiān)聽(tīng)鍵盤(pán)按鍵，當(dāng)按下空格鍵時(shí)，發(fā)送listen消息
    # listener = pynput_keyboard.Listener(on_press=on_press, on_release=on_release)
    # listener.start()
    button = Button(16)
    button.when_pressed = on_space_key_press
    button.when_released = on_space_key_release
    # 創(chuàng)建客戶(hù)端實(shí)例
    mqttc = mqtt.Client(callback_api_version=mqtt.CallbackAPIVersion.VERSION2, client_id=mqtt_info['client_id'])
    mqttc.username_pw_set(username=mqtt_info['username'], password=mqtt_info['password'])
    mqttc.tls_set(ca_certs=None, certfile=None, keyfile=None, cert_reqs=mqtt.ssl.CERT_REQUIRED,
                  tls_version=mqtt.ssl.PROTOCOL_TLS, ciphers=None)
    mqttc.on_connect = on_connect
    mqttc.on_message = on_message
    mqttc.connect(host=mqtt_info['endpoint'], port=8883)
    mqttc.loop_forever()


if __name__ == "__main__":
    audio = pyaudio.PyAudio()
    run()

部分關(guān)鍵代碼

人工智能已經(jīng)把人類(lèi)帶向了一個(gè)前所未有的繁榮，樹(shù)莓派作以其優(yōu)越的性能，成為了承載人工智能運(yùn)行的實(shí)體，走進(jìn)平凡人家的最佳實(shí)踐。借助樹(shù)莓派，智能家居系統(tǒng)變得觸手可及。人們僅需通過(guò)簡(jiǎn)單的語(yǔ)音指令，就能依托樹(shù)莓派搭載的人工智能程序，輕松操控家中的燈光、溫度與電器設(shè)備，讓生活變得更加便捷與舒適。在教育領(lǐng)域，樹(shù)莓派為學(xué)生們開(kāi)啟了探索人工智能世界的大門(mén)。學(xué)生們可以利用它開(kāi)展簡(jiǎn)單的圖像識(shí)別、語(yǔ)音交互等實(shí)驗(yàn)項(xiàng)目，將抽象的人工智能理論知識(shí)轉(zhuǎn)化為生動(dòng)有趣的實(shí)踐操作，極大地激發(fā)了他們對(duì)科技的熱愛(ài)與創(chuàng)新思維。在科研層面，樹(shù)莓派憑借其靈活的擴(kuò)展性，成為了眾多科研人員進(jìn)行小型人工智能實(shí)驗(yàn)的得力助手，幫助他們?cè)谟邢薜馁Y源條件下，快速驗(yàn)證新的算法與模型，為人工智能技術(shù)的進(jìn)一步突破貢獻(xiàn)力量。隨著技術(shù)的不斷迭代升級(jí)，未來(lái)樹(shù)莓派有望在更多領(lǐng)域大放異彩，持續(xù)推動(dòng)人工智能與日常生活深度融合，創(chuàng)造出更多令人驚喜的應(yīng)用場(chǎng)景 。

參考附件