Перейти к основному содержимому
Перейти к основному содержимому

Langfuse

Что такое Langfuse?​

Langfuse — это платформа для инженерии LLM с открытым исходным кодом, которая помогает командам совместно отлаживать, анализировать и итеративно улучшать LLM-приложения. Она является частью экосистемы ClickHouse и опирается в своей основе на ClickHouse, обеспечивая масштабируемый, высокопроизводительный бэкенд обсервабилити.

Благодаря столбцовой системе хранения и быстрым аналитическим возможностям ClickHouse Langfuse может обрабатывать миллиарды трейсов и событий с низкой задержкой, что делает её подходящей для production-нагрузок с высокой пропускной способностью.

Почему Langfuse?​

  • Open source: Полностью открытый исходный код с публичным API для пользовательских интеграций
  • Оптимизирован для продакшн-среды: Спроектирован с минимальными накладными расходами на производительность
  • Лучшие в своём классе SDKs: Нативные SDKs для Python и JavaScript
  • Поддержка фреймворков: Интеграция с популярными фреймворками, такими как OpenAI SDK, LangChain и LlamaIndex
  • Мультимодальность: Поддержка трассировки текста, изображений и других модальностей
  • Полноценная платформа: Набор инструментов для полного жизненного цикла разработки LLM-приложений

Варианты развертывания​

Langfuse предлагает гибкие варианты развертывания для различных требований к безопасности и инфраструктуре.

Langfuse Cloud — это полностью управляемый сервис на базе управляемого кластера ClickHouse для оптимальной производительности. Он сертифицирован по SOC 2 Type II и ISO 27001, соответствует требованиям GDPR и доступен в регионах обработки данных в США (AWS us-west-2) и ЕС (AWS eu-west-1).

Самостоятельное развертывание Langfuse — полностью открытое ПО (лицензия MIT) и может бесплатно развертываться в вашей собственной инфраструктуре с использованием Docker или Kubernetes. Вы запускаете собственный экземпляр ClickHouse (или используете ClickHouse Cloud) для хранения данных обсервабилити, обеспечивая полный контроль над вашими данными.

Архитектура​

Langfuse зависит только от компонентов с открытым исходным кодом и может быть развернут локально, в облачной инфраструктуре или в инфраструктуре заказчика (on-premises):

  • ClickHouse: Хранит большие объёмы данных обсервабилити (трейсы, спаны, генерации, оценки). Обеспечивает быструю агрегацию и аналитику для дашбордов.
  • Postgres: Хранит транзакционные данные, такие как учётные записи пользователей, конфигурации проектов и определения промптов.
  • Redis: Отвечает за очереди событий и кэширование.
  • S3/Blob Storage: Хранит крупные полезные данные (payloads) и сырые данные событий.

Возможности​

Обсервабилити​

Обсервабилити имеет ключевое значение для понимания и отладки LLM-приложений. В отличие от традиционного ПО, LLM-приложения включают сложные, недетерминированные взаимодействия, которые трудно отслеживать и отлаживать. Langfuse предоставляет расширенные возможности трассировки, которые помогают точно понять, что происходит в вашем приложении.

📹 Хотите узнать больше? Посмотрите сквозной обзор Langfuse Observability и того, как интегрировать его с вашим приложением.

Трейсы позволяют отслеживать каждый вызов LLM и другую связанную логику в вашем приложении.

Управление промптами​

Управление промптами критически важно для создания эффективных LLM-приложений. Langfuse предоставляет инструменты, которые помогают управлять промптами, версионировать их и оптимизировать на протяжении всего жизненного цикла разработки.

📹 Хотите узнать больше? Посмотрите сквозной обзор Langfuse Prompt Management и его интеграции с вашим приложением.

Создавайте новые промпты через UI, SDKS или API.

Оценка и наборы данных​

Оценка имеет ключевое значение для обеспечения качества и надежности ваших LLM‑приложений. Langfuse предоставляет гибкие инструменты оценки, которые адаптируются к вашим конкретным требованиям, будь то тестирование в процессе разработки или мониторинг производительности в продакшене.

📹 Хотите узнать больше? Посмотрите сквозной разбор Langfuse Evaluation и того, как использовать его для улучшения вашего LLM‑приложения.

Стройте графики результатов оценки в панели управления Langfuse.

Быстрый старт​

Начните работу с Langfuse за несколько минут. Выберите вариант, который лучше всего соответствует вашим текущим задачам:

Узнайте больше​