시계열 데이터를위한 강력한 데이터베이스 시스템이 있습니까?
여러 프로젝트에서 우리는 간단한 측정 값을 저장, 집계, 평가해야합니다. 하나의 행은 일반적으로 타임 스탬프, 값 및 값에 대한 일부 속성으로 구성됩니다. 일부 응용 프로그램에서는 초당 1000 개 이상의 값을 저장하려고합니다. 값의 수명이 1 년 정도로 제한되기 때문에 이러한 값을 삽입 할뿐만 아니라 동일한 비율로 삭제해야합니다 (다른 집계 단계에서는 1 년 동안 1000 / s를 저장하지 않음).
지금까지 우리는 다양한 솔루션을 개발했습니다. 하나는 Firebird, 하나는 Oracle, 다른 하나는 자체 제작 한 스토리지 메커니즘입니다. 그러나 이들 중 어느 것도 매우 만족스러운 솔루션이 아닙니다.
두 RDBMS 솔루션 모두 원하는 데이터 흐름을 처리 할 수 없습니다. 게다가 값을 제공하는 응용 프로그램 (예 : 장치 드라이버)은 데이터베이스에 쉽게 연결할 수 없으며 삽입 문이 번거 롭습니다. 마지막으로, 데이터에 대한 SQL 인터페이스가 필요하지만 일반적인 평가는 SQL로 공식화하기 어렵고 실행 속도가 느립니다. 예를 들어 지난달의 모든 측정에 대해 15 분당 타임 스탬프를 사용하여 최대 값을 찾습니다.
자체 제작 된 솔루션은 삽입 속도를 처리 할 수 있고이를 수행하기위한 클라이언트 친화적 인 API가 있지만 쿼리 언어와 같은 것이 없으며 일부 표준 인터페이스 (예 :보고 용)를 통해 다른 응용 프로그램에서 사용할 수 없습니다.
내 꿈에서 가장 좋은 솔루션은 다음과 같은 데이터베이스 시스템입니다.
- 매우 빠른 삽입을위한 API가 있습니다.
- 같은 속도로 값을 제거 / 자르기 할 수 있습니다.
- 일반적인 시계열 데이터에 대한 특정 지원이 포함 된 표준 SQL 인터페이스를 제공합니다.
이러한 요구 사항에 가까운 데이터베이스를 알고 있습니까? 아니면 다른 방식으로 문제에 접근 하시겠습니까?
대부분의 다른 답변은 SQL 기반 데이터베이스를 언급하는 것 같습니다. NoSQL 기반 데이터베이스는 이런 종류의 것보다 훨씬 뛰어납니다.
일부 오픈 소스 시계열 데이터베이스 :
- https ://prometheus.io-모니터링 시스템 및 시계열 데이터베이스
- http://influxdb.com/- 외부 종속성이없는 시계열 데이터베이스 (기본 서버 만 오픈 소스 임)
- http://square.github.io/cube/하는 -의 ontop의 글 MongoDB를
- http://opentsdb.net/-Apache HBase 위에 작성 됨
- https://github.com/kairosdb/kairosdb-Hadoop 대신 Cassandra 를 사용할 수도있는 OpenTSDB 재 작성
- http://www.gocircuit.org/vena.html-Go-circuits를 사용하여 OpenTSDB를 대체하는 방법에 대한 자습서
- https://github.com/rackerlabs/blueflood -을 바탕으로 카산드라
- https://github.com/druid-io/druid- 컬럼 지향 및 하둡 기반 분산 데이터 저장소
클라우드 기반 :
influxdb :: 외부 종속성이없는 오픈 소스 분산 시계열 데이터베이스입니다.
TimeSeries DataBlade 가있는 IBM Informix Dynamic Server를 고려하십시오 .
그러나 이는 작업중인 극단적 인 데이터 속도입니다. (CERN의 아 원자 물리학까지는 아니지만 일반적인 방향으로 향했습니다.)
공정한 공개 : 저는 Informix DBMS에서 IBM에서 일하지만 TimeSeries DataBlade 자체는 아닙니다.
SQL Server StreamInsight
시계열 데이터에 HDF5를 사용해 볼 수 있습니다. 이러한 응용 프로그램에서는 매우 빠릅니다.
Jonathan Leffler가 말했듯이 Informix Timeseries 기능을 사용해보십시오. 추가 비용없이 모든 Informix 에디션에 포함되어 있습니다. 지원하는 TimeSeries 함수를 살펴볼 수 있습니다.
SQL 함수 또는 가상 뷰 인터페이스를 통해 데이터에 액세스 할 수 있으며 뷰에 삽입 할 수도 있습니다.
참고 URL : https://stackoverflow.com/questions/8816429/is-there-a-powerful-database-system-for-time-series-data
'IT Share you' 카테고리의 다른 글
| Python 사전을 XML로 직렬화 (0) | 2020.11.28 |
|---|---|
| instanceof는 나쁜 습관으로 간주됩니까? (0) | 2020.11.28 |
| 지도의 모든 요소를 다른 요소로 복사 (0) | 2020.11.28 |
| Sublime Text 2가 닫는 괄호, 따옴표 및 괄호를 삼키는 것을 방지하는 방법은 무엇입니까? (0) | 2020.11.28 |
| unique_ptr을 할당하거나 재설정해야합니까? (0) | 2020.11.28 |