OLAP、OLTPの比較

この記事はhttpsから転送されます://www.cnblogs.com/hhandbibi/p/7118740.html OLTPおよびOLAPの概要データ処理は、大きく2つのカテゴリに分類できます。:OLTP(オンライントランザクション処理)、 OLAP(オンライン分析処理)。OLTPは、従来のリレーショナルデータベースの主なアプリケーションです,主に基本、日常業務,例:銀行取引。OLAPは、データウェアハウスシステムの主なアプリケーションです。,複雑な分析操作をサポート,意思決定支援に焦点を当てる,そして、直感的で理解しやすいクエリ結果を提供します。 OLTPシステムはデータベースのメモリ効率を強調します,メモリのさまざまな指標のコマンドレートを強調します,バインド変数に重点を置く,並行操作を強調する; OLAPシステムはデータ分析を強調します,SQL実行市場を強調する,ディスクI / Oを強調する,パーティションなどを強調します。。 OLTP,オンライントランザクション処理(オンライントランザクション処理)とも呼ばれます,非常にトランザクションシステムを表します, 一般的に可用性の高いオンラインシステム,小さなトランザクションと小さなクエリに焦点を当てる,そのシステムを評価するとき,一般に、1秒あたりに実行されたトランザクションおよび実行SQLの数を確認します。そのようなシステムでは,単一のデータベースが1秒あたり数百を超えるトランザクションを処理します,または数千,Selectステートメントの実行量は、1秒あたり数千または数万です。。典型的なOLTPシステムはeコマースシステムです、バンク、証券等,米国のeBayのビジネスデータベースなど,これは非常に典型的なOLTPデータベースです。 OLTPシステムで最も可能性の高いボトルネックは、CPUおよびディスクサブシステムです。。 (1)CPUのボトルネックは、多くの場合、論理読み取りと計算関数またはプロセスの合計量に現れます。,論理読み取りの合計量は、単一ステートメントの論理読み取りに実行数を掛けたものに等しくなります。,単一のステートメントの実行速度が速い場合,しかし、実行の数は非常に多いです,その後、,また、大量の論理読み取りが発生する可能性があります。設計と最適化の方法は、単一の文の論理的な読み取りを減らすことです,またはそれらを減らすために…

成熟した自動運転保守システムが持つべき機能

以下は、一部の専門家の回答です,非常に価値のある. 著者:ナイフハンドル5リンク:https://www.zhihu.com/question/23228213/answer/116940889著作権は作者に帰属します。商用転載については、許可を得るために著者に連絡してください,非営利の転載については、出典を明記してください。 クラウドコンピューティングとDevOpsの現在の開発トレンドを組み合わせる,成熟した自動化された運用および保守プラットフォームには、次の機能が含まれている必要があると思います: 1、ハイブリッドクラウドをサポートするCMDBは、ますます多くのサーバーがクラウドに転送されるようになりました,主流のパブリッククラウド、プライベートクラウドプラットフォームには、比較的完全なリソース管理APIがあります, これらのAPIは、自動化されたCMDBを構築するための基礎でもあります。。 新世代の自動化された運用および保守プラットフォームは、これらのAPIに基づいてサーバーを自動的に保守および管理できる必要があります、ストレージ、インターネット、負荷分散されたリソース。 APIを介したリソースの操作は、操作ログとして記録する必要があります,フォローアップ業務監査の基礎データとして準備する。 CMDBは決まり文句のように聞こえます,しかし、これは確かにすべての運用および保守ツールのインフラストラクチャです。 オープンソースツールに基づくプラットフォームの運用と保守の最大の問題,さまざまなツール間でCMDBを統合する方法です。 CMDBは統合されていません,これは、サーバーを追加する必要があることを意味します,さまざまな操作および保守ツールで同期する必要がある場合があります, これはまだ非常に投げています。。。 二、より完全な監視+アプリケーションパフォーマンス分析(APM)は、プラットフォームの可用性をサポートできます、サーバーのパフォーマンス、各種サービス(Webサービス、アプリケーションサービス、データベースサービス)パフォーマンスモニタリング。 より良くすることはより深く行くことができるはずです、または相関パフォーマンス分析。 現在、リソースパフォーマンスモニタリングとアプリケーションパフォーマンスモニタリング(APM)は、一般的に市場で混合されています。,確かに中にはたくさんの製品があります…

MariaDBとMySQL

MariaDBデータベース管理システムはMySQLのブランチです。このブランチを開発する理由の1つは:OracleがMySQLを買収した後,MySQLソースを閉じることの潜在的なリスク,したがって、コミュニティはこのリスクを回避するためにブランチを使用します。 MariaDBの目的は、MySQLと完全に互換性があることです。,APIとコマンドラインを含む,MySQLの代替になるのを簡単にします。ストレージエンジンに関して,10.0.9XtraDB(名前コードAria)を使用してMySQLのInnoDBを置き換えます。 バージョン5.5までのMariaDB,すべてMySQLのバージョンに準拠。したがって、,MariaDB5.5を使用する人は、MySQL5.5からMariaDBのすべての機能を学習します。。 2012年11月12日にリリースされたバージョン10.0.0以降,MySQLのバージョン番号に従わなくなりました。10.0.バージョンxはバージョン5.5に基づいています, さらに、MySQLバージョン5.6から移植された機能と自己開発の新機能。 MySQLブランチの選択:PerconaまたはMariaDBPostgreSQLは常にMySQLの直接の競合相手と見なされてきましたMyISAMはトランザクションサポートを提供しません,InnoDBはトランザクションサポートを提供します。XtraDBはInnoDBストレージエンジンの拡張バージョンです。,GoogleとWikiの両方がmariaDBを選択しました ,MariaDBはMySQLの創設者によって作られています…

詳細な良い記事-12306.cnからの大規模なWebサイトのアーキテクチャとパフォーマンスの最適化について話します

12306.cnウェブサイトがダウンしています,全国の人に叱られる。私はこの2日間これについて考えていました,私はあなたとウェブサイトのパフォーマンスの問題を大まかに議論するためにこの問題を使用したいと思います。急いで,そして、私の限られた経験と理解に完全に基づいています,など,ご不明な点がございましたら、一緒に話し合い、修正してください。(これは別の長い記事です,パフォーマンスの問題についてのみ話し合う,それらのUIについて話し合わないでください,ユーザー体験,それとも、支払いとチケットの購入と注文を分離する機能的なものですか?)ビジネスどのテクノロジーもビジネスニーズと切り離せません,など,パフォーマンスの問題を説明するため,まずはビジネスの問題についてお話したいと思います。 1,誰かがこれをQQやオンラインゲームと比較するかもしれません。しかし、私は2つが異なると思います,オンラインゲームとQQオンライン、またはログイン時に、ユーザー自身のデータにアクセスします,チケット予約システムは、センターのチケットボリュームデータにアクセスします,それは同じではありません。オンラインゲームやQQが機能するとは思わないでください。同じだと思います。。eコマースシステムと比較して、オンラインゲームとQQのバックエンドロードは依然として単純です。 2番目,春節の間に電車を予約するのは、ウェブサイトでの急上昇のようなものだと言う人もいます。。確かに非常に似ています,しかし、あなたの考えが表面にない場合,これも少し違うことがわかります。列車のチケット,一方では、多数のクエリ操作が伴います,さらにBTは、注文時にデータベースに対して一貫した操作が多数行われることです。,一方では、開始点から終了点までの各セグメントチケットの一貫性,一方,バイヤールート、列車番号、多くの時間オプションがあります,注文の仕方を常に変えていきます。そしてスパイク,直接殺すだけ,クエリや一貫性の問題はそれほど多くありません。加えて,スパイクについて,最初のN人のユーザーの要求のみを受け入れるようにすることができます(バックエンドでデータをまったく操作しないでください), ユーザーの注文操作をログに記録するだけです),この種のビジネス,スパイクの数をメモリキャッシュに入れるだけで済みます,データを配布することもできます,100商品,10各サーバーは10を置きます,一度にデータベースを操作する必要はありません。あなたは十分に注文することができます,スパイクを停止します,次に、データベースへのバッチ書き込み。そして、スパイクには多くの製品がありません。列車の切符はスパイクほど単純ではありません,春節の時間,ほとんどすべてのチケットはホットチケットです,そして、全国のほぼすべての人々がここにいます,そして、転送ビジネスもあります,複数行の在庫はトランザクション操作である必要があります,考えてみてください,これはどれくらい難しいですか。(淘宝網のダブルイレブンには300万人のユーザーがいます,そして、列車の切符は即座に数千万、さらには数億になります)(更新:20141月11日:淘宝網に来てから,淘宝網のシステムを理解している,淘宝網のスパイク活動,基本的に、検証コードを使用して、CDNで直接ユーザーを除外します,といった:1数千万人のユーザーがフィルタリングされ、20,000人のユーザーだけが残ります,このようにしてデータベースは耐えることができます),誰かがこのシステムをオリンピックのチケットシステムと比較します。まだ違うと思います。オリンピックのチケットシステムは発売と同時に廃止されましたが。しかし、オリンピックは宝くじ抽選を使用します,言い換えれば、先着順の方法はありません,そして,後付けです,事前に情報を受け取るだけです,事前にデータの一貫性を確保する必要はありません,ロックなし,水平方向のスケーリングが簡単。 第4,予約システムは、eコマース注文システムと非常によく似ている必要があります,すべてがインベントリを実行する必要があります:1)在庫を占有する,2)支払い(オプション),3)在庫を差し引く操作。これは一貫性をチェックする必要があります,つまり、同時実行中にデータをロックする必要があります。B2Ceコマースは基本的にこれを非同期で行います,言い換えると,ご注文はすぐには処理されません,しかし、処理が遅れる,正常に処理されただけ,注文が成功したことを知らせる確認メールが送信されます。多くの友人が失敗した電子メールを受け取ったと思います。この意味は,データの一貫性は同時実行性のボトルネックです。 5番,鉄道切符事業が異常,突然のチケットリリースを使用しています,そして、いくつかの投票は誰にとっても十分ではありません,など,誰もが中国の特徴を持つビジネスのチケットを手に入れる練習をします。だからチケットがリリースされたとき,数百万または数千万人が殺されます,お問い合わせ,注文する。数十分以内,ウェブサイトは数千万の訪問を受けることができます,これはひどいことです。12306のピーク訪問は10億PVと言われています,午前8時から午前10時に焦点を当てる,ピーク時に毎秒数千万のPV。 もう少し言葉を言ってください: 在庫はB2Cの悪夢です,在庫管理は非常に複雑です。不信,あなたはすべての伝統的な電気小売会社に尋ねることができます,彼らが在庫を管理するのがどれほど難しいかを見てください。さもないと,Vanclの在庫について質問する人はそれほど多くありません。(「ジョブズバイオグラフィー」もご覧いただけます,ティムがアップルのCEOに就任した理由をご存知でしょう,主な理由は、彼がAppleの在庫サイクルの問題を解決したことです)Webサイトの場合,Webを閲覧する負荷が高いため、処理が簡単です。,クエリの負荷には、対処するのにある程度の難易度があります,ただし、クエリ結果をキャッシュすることで実行できます。,最も難しい部分は注文の負荷です。在庫にアクセスする必要があるため,ご注文の際,基本的には非同期で行われます。昨年はダブル11,淘宝網の1時間あたりの注文数は約60万件です,Jingdongは1日で400,000しかサポートできません(12306より悪いです),Amazonは5年前に1時間で700,000件の注文をサポートできました。見える,発注操作は私たちほど高くはありません。 淘宝網はB2Cウェブサイトよりもはるかにシンプルです,倉庫がないので,など,同じ製品在庫を更新および照会するためのN個の倉庫を持つB2Cのような操作はありません。。ご注文時,B2Cのウェブサイトは倉庫を見つけようとしています,再びユーザーに近づく,再度インベントリ,これには多くの計算が必要です。ただ想像します,あなたは北京で本を買いました,北京の倉庫は在庫切れです,周辺の倉庫から移動する必要があります,次に、瀋陽または西安の倉庫に在庫があるかどうかを確認します,ない場合,私は江蘇省の倉庫を見なければなりません,などなど。淘宝網にはそれほど多くのものはありません,各マーチャントには独自の在庫があります,在庫は数です,そして、在庫は商人に割り当てられます,パフォーマンスの向上につながります。 データの一貫性が実際のパフォーマンスのボトルネックです。nginxは1秒あたり100,000の静的リクエストを処理できると言う人もいます,間違いない。しかし、これは単なる静的な要求です,理論値,帯域幅がある限り、I / Oは十分に強力です,サーバーの計算能力は十分です,また、サポートされる同時接続の数は、100,000のTCPリンクの確立に耐えることができます,それは問題ありません。しかし、データの一貫性に直面して,この100,000は完全に達成不可能な理論値になっています。 たくさん言った,私はただビジネスからみんなに伝えたいです,春節鉄道の切符予約事業の異常を事業から真に理解する必要があります。。 パフォーマンスの問題を解決するためのフロントエンドパフォーマンス最適化テクノロジー,一般的に使用される方法はたくさんあります,以下にリストします,以下の技術を使用した12306のウェブサイトは、そのパフォーマンスを質的に飛躍させると信じています。。 1、フロントエンドの負荷分散DNSロードバランサー(通常、ルートの負荷リダイレクトに応じてルーター上にあります)は、ユーザーのアクセスを複数のWebサーバーに均等に分散できます。。これにより、Webサーバーのリクエスト負荷を減らすことができます。httpリクエストは短い仕事なので,など,この機能は、非常にシンプルなロードバランサーを介して実行できます。ユーザーが最寄りのサーバーに接続できるように、CDNネットワークを用意することをお勧めします(CDNには通常分散ストレージが付属しています)。(負荷分散の詳細については、「バックエンド負荷分散」を参照してください)2つ、フロントエンドリンクの数を減らす…

システム統合とプロジェクト管理

いわゆるシステムインテグレーション(SI,システムインテグレーション),それは構造化された統合配線システムとコンピュータネットワーク技術によるものです,個別の機器(パソコンなど)、機能と情報は相互に関連するものに統合されています、統一された調整されたシステムで,リソースを完全に共有する,一元化を実現する、効率的、便利な管理。システム統合は機能統合を採用する必要があります、ネットワーク統合、ソフトウェアインターフェース統合などのさまざまな統合技術 。システム統合の鍵は、システム間の相互接続と相互運用性の問題を解決することです。,マルチベンダーです、さまざまなアプリケーション向けのマルチプロトコルとアーキテクチャ。これはあらゆる種類の機器を解決する必要があります、サブシステム間のインターフェース、プロトコル、システムプラットフォーム、アプリケーションソフトウェアなどとサブシステム、建築環境、建設協力、組織の管理と人員配置に関連するすべての統合指向の問題。 現在,多くの国内システムインテグレーション会社,システムインテグレーションも話題になっています。システム統合とは、システム工学の科学的方法の指導の下でのことです。,ユーザーのニーズに応じて,さまざまな技術や製品の最適化,分離されたサブシステムを完全で信頼性が高く、経済的で効果的な全体に接続します,そしてそれを互いに協調して機能させる,全体的なメリットを享受する,最高の全体的なパフォーマンスを達成する。情報産業の高い技術的内容のため,情報システム統合プロジェクトは、しばしば変化するニーズに直面します、技術の更新、環境の急速な変化、頻繁な離職など。,したがって、プロジェクト管理に影響を与える要因が増加しています,情報システム統合プロジェクトの管理にも多くの問題があります,この記事では、システム統合プロジェクト管理の問題を要約して分析します,そして対応する対策。 システム統合プロジェクト管理の問題は次のとおりです。: (1)プロジェクト計画はシステムインテグレーションプロジェクトの失敗につながる。(2)プロジェクトスコープの管理と管理が効果的でない。(3)プロジェクト管理におけるコミュニケーションが整っていない。プロジェクト計画の詳細な策定。プロジェクト計画の詳細な策定は、プロジェクトプロセスの管理において重要な役割を果たします。。システム統合プロジェクトの進捗に影響を与える多くの要因があります,計画を石に設定できないことが必要です,特定の状況に応じて継続的に調整する必要があります;計画の策定には、すべての部門の参加が必要です,システム統合は一般的に複数の分野の協力を必要とするため,誰もが他人の仕事内容を理解していないかもしれません,これには、計画の策定に参加するためのキー数値が必要です;プロジェクト計画の過程で、5つの基本的な質問を明確にする必要があります:プロジェクトは何をしますか、実行する方法、誰がやるの?、いつ、どのくらい。プロジェクトが達成しなければならないことは、プロジェクトの目標です。,これは、技術的な目標を確認するときに、プロジェクトマネージャーとプロジェクトチームのメンバーが明確にする必要があることです。;プロジェクトがどのように実行されるかは、プロジェクトのタスクです,技術的な目標は、作業分解図を作成することによって達成されることです,また、WBSの詳細な説明で、組織の関連部門が担当する作業を指定します。;タスクが完了したときはスケジュールです,計画作業はさらに一歩進みます,各タスクにかかる時間と、いつ実装するかについて話し合います、各仕事に必要なリソースなどの質問;予算,このプロジェクトを実施するのにどれくらいの費用がかかりますか。プロジェクト計画を策定するとき、プロジェクトチームメンバーは作業分解図(WBS)を使用する必要があります,作業分解図)プロジェクトを内部構造または実装プロセスの順序でレイヤーごとに分解することによって形成される構造図,プロジェクト内の各作業単位のステータスと構成を直感的に表示します。 システムインテグレーション企業は、顧客の管理に注意を払う必要があります,プロジェクト計画の開始時に、以前のプロジェクトの記録情報を分析します,これに基づいてプロジェクト計画を作成します。プロジェクトに元の記録がない場合,顧客のニーズ分析は前に行う必要があります,フィージビリティスタディ,プロジェクト計画に関する客観的な情報を入手するには。プロジェクト計画には、各サブプロジェクトの作業内容が含まれている必要があります,これにより、プロジェクトマネージャーは時間とコストを合理的に評価できます。,実行可能な時間計画を立てる。プロジェクト計画が作成された後,そのあいまいさのために,プロジェクト計画を変更する,現時点では,プロジェクトの実装の詳細は、時間内に必ず変更してください,計画の管理範囲内でプロジェクトを進行させる,そうしないと、プロジェクトチームは最終的に制御を失います。 ニーズは日々変化するため、プロジェクトの範囲を効果的に管理します,顧客は一般的に需要の変化は合理的であると主張します、その正当な権利の時代ですか,プロジェクトの範囲を管理することは、より多くの課題に直面し、より多くの創造性を必要とします。仕事が起こっているとき,必然的に変化があります,といった:お客様は、計画段階では予期されていなかった機能の追加を要求しました,たぶん、市場機会が変わったなど。。プロジェクトマネージャーは、この変更に対して直ちにアクションを実行する必要があります。顧客の要求と市況の変化,時間内に通信する必要があります,この変更のため,プロジェクトは建設期間内になります、品質保証、利用可能なリソースの増加,プロジェクトの範囲の変更について詳細な交渉を行う,確認後の文書化,アーカイブ。クライアントまたは利害関係者がプロジェクト時間を拒否した場合、リソースサポート,その後、お客様のご要望にお応えできなくなります,プロジェクトマネージャーは、これらの原則を順守する必要があります,さもないと,プロジェクトの進行中に一時的に顧客に満足,プロジェクトの完了が遅れると、すべての利害関係者がプロジェクト全体に不満を抱くようになります。。プロジェクト変更管理を標準化するには,明確な変更管理プロセスを開発する必要がある,その主な内容は、プロジェクトの範囲を超えたり縮小したりする原因となる、プロジェクト内外のすべての要因を特定して管理することです。。これには3つの主要なプロセスが含まれます:作業範囲の変更を引き起こす要因を特定します;変更が本当に必要であると判断し、変更が有益であることを確認するために影響力を行使します;実際の変更を管理する。プロジェクトコミュニケーション管理の実施プロジェクトコミュニケーション管理,プロジェクト情報の収集と送信を確実にするため,そして、最終処理で実装する必要がある一連のプロセス。しかし、特定の実装では,さまざまな要因による,プロジェクトの効果は大きく異なります。プロジェクトマネージャーの主な責任は、プロジェクトチーム内のコミュニケーションを促進することです。,そして、プロジェクトと幅広い外部の利害関係者との間のコミュニケーション。良いコミュニケーションは時間の価値があります,国際ビジネス交流協会が実施した調査によると,コミュニケーションにおける企業経営者の投資収益率は235%です。そして、プロジェクト管理は企業管理よりも的を絞っています,したがって、コミュニケーションに時間を投資することは非常に価値があります。コミュニケーション計画の作成は、プロジェクトの利害関係者の特定と分析に基づいて行われます。。すべてのプロジェクトはプロジェクト情報を伝達する必要がありますが,しかし、情報のニーズと配信方法は大きく異なります。利害関係者の情報ニーズを特定し、ニーズを満たすための適切な方法を決定することは、プロジェクトの成功にとって重要な要素です。。ほとんどのシステム統合プロジェクトの場合,コミュニケーション計画のほとんどの作業は、プロジェクトの立ち上げ段階で完了しています。。しかし、プロジェクト中,コミュニケーション計画の有効性は定期的に見直され、その適用性を確保するために必要に応じて修正されるべきです。。 ソーシャルプロジェクトマネジメントの応用分野の継続的な拡大に伴い,システムインテグレーション企業は、必然的にプロジェクト管理に対する要求が大きくなります。;プロジェクトを成功させるには、プロジェクトマネージャーを成功させるだけではありません。,そして、これらの方法と作業フェーズをサポートするために、適切なプロジェクト管理方法とツールを選択する必要があります。これらの方法とツールを適用すると、プロジェクトの成功に大いに役立ちます。システムインテグレーション企業組織はプロジェクト組織に移行中です,ステップに分割する必要があります、プロジェクト管理基準を段階的に確立する,企業はプロジェクト管理の才能を重視する必要があります,システム統合は、業界の特性に基づいて、対応するプロジェクト管理基準も確立する必要があります,システムインテグレーション企業の持続可能な開発を確保する。