1つのボックスにSimBankまたは200スマートカード

Habréに関する最初のトピックでプリント回路基板の作成についてすでに書いたように、私の会社はさまざまな種類のVoIP、GSM、PBXゲートウェイ、GSMを介して制御されるソケットリブート装置などのテレフォニーデバイスを開発しています。 今日は、PCIバージョンでSimBankデバイスのファームウェアを開発するプロセスを説明します。ここでは、FPGAの回路の開発者として活動しました。

管理からの問題ステートメントの履歴+デバイスの操作履歴

SimBankデバイスは、SIMカード（サブスクライバー識別モジュール-サブスクライバーIDモジュール）で動作するように設計されています。 これらのカードは、ISO-7816カードの一種です。 Simカードまたは他の種類のスマートカードの集中ストレージ、およびGSMゲートウェイ、衛星テレビチューナーなどのデバイス、または操作中にスマートカードを使用する他のデバイスでの後続の使用に使用できます。 Sim-serverは、ソフトウェアとともに、アプリケーションで使用されるSIMカードの監視とアカウンティングのための柔軟なシステムと、便利なWebベースのインターフェースを介してシステムをセットアップおよび構成するための広範なオプションを提供します。 同時に、カード自体はアクセス可能な場所に保管され、TCP / IPプロトコルを介して端末デバイスに接続されます。





Habréには、デバイスとスマートカードの動作原理を説明する記事があります。



OgreSwamp SIMカードの簡単な紹介

ブレーキから最小のスマートカード

rlepricon のスマートカードの 配置方法

開発を始める前に、すべてを喜んで読みました。 そして、私は彼らに書かれていることを繰り返しません。





SimBankデバイス



装置自体は会社で長い間作られており、数年間使用されています。 しかし、同社のすべてのPCIデバイスの特性は、トレーニングPCIコアであり、「そのまま提供され、クレームは受け入れられませんでした」。 それらは展示されませんでした。 最小限の変更で、このコアはすべてのボードに例外なく配置されました。 これにより、利用可能なアドレス空間を巧みに使用することができました。 同じベンダーID、デバイスID、クラスコード。 通常、デバイスは会社で組み立てられ、操作性がチェックされるため、競合はありませんでした。 限られた時間枠では、「仕事-触らない」という原則が非常に適切です。 これは、最近のマザーボードの一部が作業中に不安定を示すまで、または一般的にボードが起動したくないまで、しばらく続きました。



PCIコアをより徹底的に扱う時が来ました。 タスク用に変更されたトレーニングコアはコメントで文書化されましたが、必ずしも十分ではありませんでした。 2002年または2004年に作成された場所からの参照は機能しませんでした。

タスクは1日と同じくらい簡単です。「デバイスはすべての標準ボードで動作するはずです。」

ボーナスとして：「たとえ200枚のSIMカードではなく、196または1xxであっても」

その瞬間まで、FPGA開発者としてSIMカードまたはPCIバスのいずれかを使ったことはありませんでした。 回路とボードのみ。 VHDLおよびVerilogでの開発経験はすでにありました。

SIMカードに関連する部分が機能したため、PCIでの分解を開始することが決定されました。

「PCI Local Bus」仕様の最初の読み物は奇跡的には機能せず、すべてをどのように行うべきかについてあまり明らかにしませんでした。 行う方法としない方法に関する記事を読んだ後、私はまだ何も理解していませんでした。「やる必要があります。途中でそれを把握します」。

PCIの場合、Quartusのアルテラには、必要なパラメータを使用してPCIコアを生成できるメガファンクションがあります。 カーネルには適切なドキュメントが添付されています。サイトには、ModelsSim-Alteraのビヘイビアモデリング用のPCIモデルが添付されているPCIキットの説明があります。 このすべてを一緒に-このスレッドでゼロから慣れるのに大いに役立ちます。

アルテラでは、ベンダーID （1172h） を使用することもできます 。

PCI仕様では、以前のバージョンの仕様では使用できなかったデバイスクラスが選択されました：07h-Simple Communication Controllers、05h-Smart Card。

次に、すべてがLinuxで動作するはずです。 同僚はSIMカードとPCIの両方の経験が豊富なので、技術的な要件があります。 彼に感謝します。 適切に書かれた文書は戦いの半分です。 「余分な落書き」が必要ですが。

材料研究

このデバイスは私が開発したものではないので、回路とボードのドラフトをよく理解する必要がありました。

回路部分は、何から来て何に接続されているかを理解するために必要であり、ボードはプログラマー、SIMカードを挿入する場所、およびこのサービス表示がどこにあるかを明確にします。 それが私に残酷な冗談を演じた方法については、少し後で説明します。







スキームによれば、672個の接点を持つケースに2つのアルテラCyclone II EP2C35672C8 FPGAを搭載したボードがあります。 1つのFPGAはPCIバスに接続され、2番目のFPGAも制御します。 各FPGAには100個のSIMカードホルダーが取り付けられています。 各SIMカードには独自のリセットおよびデータ信号があり、CLK信号は10枚のカードのグループに送られます。







各EP2C35チップには、105個のM4K内部メモリブロックが含まれています。 合計で、RAMブロック（パリティビットを含む）は4.608ビットです。



ブロックは、4K×1から128×32（36）までのさまざまな構成をサポートします。



その後、特定のシグナルの持続時間を監視しているのは誰で、何のために提出するのかという追加の質問を含む文書をすでに書きました。 SIMなどからのデータの到着の正確性を誰が考慮するか。



PCIバスからの最初のマイクロ回路のコンタクトを処理した後、QuartusのPCIコアのトライアルプロジェクトを作成しました。これは、バス上の新しいパラメーターで動作するはずでした。 ロジックなし-コアのみ。

「lspci -vv」コマンドに対する答えを受け取ったので、私の幸福は際限がありませんでした。







ドライバーとアプリケーションプログラムの開発者とさらに作業を進めた後、ドライバーがメモリにデータを記録し、それらを読み取って検証するパイロットプロジェクトを作成しました。 最初は、回路の最初のチップでのみチェックが行われました。

次に、2番目の超小型回路を使用した分析が行われました。

回路内の2つのマイクロ回路間のPLL_OUT出力とCLK出力間には、36本の信号線+ 2本の線があります。 前のプロジェクトでは、19のアドレス行とデータ交換用の2バイト（各方向に1つ）が信号の読み取りと書き込みに使用されました。 これは、既存のカーネルの仕様に基づいて行われました。 そして、ユニバーサルドライバーとソフトウェア用。 たとえば、アドレスには確立された部分があり、そこからサービス情報を差し引くことができます。

ARMデータソースは次のような情報を保存します







Elgato G4_1-デバイスタイプ（PCIカード「K16」または「K32」、Simbank-「SimBank」）

SIM51215（SIM900またはその他）-インストールされているGSMまたは3Gモジュールのタイプ（ATコマンドのセットを選択するために必要）。 説明したデバイスに関連して、どのSIMカードに関して、このモジュールを介してオペレーターのネットワークに到達できるかについて。

2014-開発の年

ver.14.144-ファームウェアのバージョン番号

SN：0123



ファームウェアの前に正しいものに変更することを忘れなかった場合、このデータから、「納屋の本」から多くの興味深いことを見つけることができます。

Simbankの場合、シリアル番号で十分です。 構造的には、Simbankボードは常にデバイス内の1つです。 また、PCIバージョンでは、このようなボードは社内に1つしかありません。

痛みを伴う決定

以前のカーネルバージョンでは、2つのBARが使用されていました。 1Mのメモリマッピングを持つBAR1、4Kの入力/出力レジスタとしてのBAR0。 すべてのアドレス空間は、両方のFPGAに同時に与えられました。

さまざまな理由でIOの使用を放棄することが決定されました。 第一に、ドライバーの開発者はメモリを扱うのがはるかに簡単です。 第二に、ネットワークには、可能であれば新しい開発でIOを放棄する価値がある理由が数多くあります。 第三に、アルテラのコアで構成に使用できるIOリソースの量は256に制限されています。割り当てることができるメモリリソースははるかに多くあります。 しかし、この移行により、SIMカードモジュールの動作が変更されました。 そして、それはSIM交換モジュールのほぼ完全な変更を意味しました。 さらに、通常のアドレス指定からの脱却は、通常の場所のプログラムで必要なビットを読み取ることができないことを意味しました。

2つのベースアドレスではなく1つのベースアドレスで行うことができました。 最初のチップのカードと交換するとき、1つのクロック信号を保存しないでください。 データ交換のこの部分は音声伝送に関与しないため、20ミリ秒以下の遅延を得るためにミリ秒を節約する必要はありません。 しかし、それは私には正しいように思えました。

構造

メモリへのテストデータの書き込みの最初の成功と検証の後、SIMカードとデータを交換するための構造を構築します。 私は長い間それを行う方法の大まかなアイデアを持っていましたが、テストの後、私はそれがうまくいくと仮定する準備ができていました。 そして、行われたテストは考え出され、無駄ではありませんでした。

既存の36 + 2信号線では、PCIバスサービス信号を変更せずに2番目のチップに変換するのに十分ではなく、1バイトまたは2バイトでの送受信を制限したくありませんでした。 アドレスとデータバスにまたがっていても。

したがって、36本の信号線のうち32本が直ちにデータバス（およびアドレス）に送信され、1本の信号線がシステムの一般的なリセットを制御し、他の3本ではすべてのコントロールを歩いて切断しました。 CLK信号を送信するために、別の回線がありました。

サイレントモード、アドレス転送モード、シングルデータ記録モード、ストリーミングデータ記録（バースト）、マスク記録モード、読み取りおよびストリーミング読み取り。 3つの信号線に適合する8つのバス状態のみ。

マスクによる記録のために4つのBE信号を送信するだけです。 このモードを使用する場合、データバスの上位4ビットでそれらを非表示にすることにしました。



FPGAの各SIMカードに対して、可能な最大バッファが割り当てられました。 単線の半二重インターフェースはスマートカードで実装されているため、100枚のカードがあり、マイクロサーキットには10​​5個のメモリセルしかないため、送受信用のバッファを作成することにしました。 そして、送信または受信の開始時にアドレス指定をリセットします。 幸運なことに、標準によれば、コマンドごとに256バイトを超えるデータをSIMカードから取得することはできません。 したがって、使用可能なバッファは、減算するまでオーバーフローしません。

ここでの「チーム」という用語は、ISO-7816標準とは少し異なります。 そこでは、コマンドの下で、カードへのアクセス、カードからの確認、データの順にアクセスします。 しかし、バッファのゼロ化からゼロ化までのデータ量に興味があります。



2番目のマイクロ回路とデータを交換するためのバッファーを作成するのではなく、2番目のマイクロ回路内のSIMカードのメモリに直接書き込むことにしました。 すでに105個のメモリブロックから102個のメモリブロックを取得しているため、最初と2番目のマイクロ回路の選択は、それぞれBAR0またはBAR1へのアクセスを通じて選択されます。

BAR0とBAR1には異なるコントローラーが作成されます。 2番目のマイクロ回路は1サイクル後にアクセスされますが、これはPCIバス側のTRDY信号の遅延によって調整されます。



チップごとに64Kのメモリが割り当てられ、128個のスマートカードを処理するのに十分です。 100個あります。まだ28ブロックが残っています。 2つのブロックに、カードのリセット状態と為替レートに関する情報が保存されるサービス情報を配置します。 戻ると、SIMから受信したデータの量を返す必要があります。



次に、これらすべてを機能させてデバッグする必要があります。 100枚のSIMカードのプロジェクトは非常に長い時間コンパイルされ、100枚のSIMカードは1枚または10枚よりもはるかに高価なので、1枚から5枚のカードで交換をすぐにデバッグし、残りをすべて追加することにしました。 そして、前半だけをデバッグし、すべてがうまくいったと判断したら、2番目のチップに進みます。

そして、驚きが私を待っていました。

カードの連絡先に1〜100の番号が付けられているスキームがあります。FPGAの連絡先設定が正常にインポートされるボードプロジェクトがあります（PCI動作、メモリへのテスト書き込み動作、マイクロ回路間の交換も動作します）。 このプロジェクトは5枚のカード用にコンパイルされているため、0または1からの番号付けの開始を間違えた場合、2枚目のカードが機能します。 パイプ。

まあ、何も、ボード上に10個のLEDがあります。 後でそれらに対処するつもりでしたが、後で少し近くにプッシュする必要がありました。 LEDをオン/オフする簡単なものを追加し、 ライトがオフになり、 LEDは点滅しません。

オシロスコープを使います。 CLOCKはありますが、リセットはありません。 データもありません。

データのインポートに失敗しましたか？ 回路をボードと比較し、ボードと回路をQuartusのPin Plannerで比較します。 一致します。 しかし、リセットはありません。

そして、ここで上級同志が私の助けになります。 そして、彼は「SIM0」プログラムの「 別の城の王女」が箱の反対側にあると言います。 そして、それは常にそうでした。

ここで、P-CADのPCBプロジェクトの一部のスクリーンショットを撮ることができます。 信号の署名があります



ボードではSIM 199、プロジェクトではSIM0です。 このプロジェクトは5枚のカード用にコンパイルされています。 （100の場合、彼はまだ適合していません）。 したがって、残りの95枚のカードは単に提供されません。 そして、彼らにとっては、FPGAのメモリバッファも形成されません。



リソースを節約するために、SIMカードが動作する周波数でメモリブロックをクロックすることが決定されました。 したがって、必要なディバイダーは少なくなります。 また、周波数が低いと、チップの高速リソースに簡単にアクセスできます。 PCIバス速度（33 MHz）でSIMカードのバッファーに書き込み、SIMカードの作業速度で読み取ることが計画されていました。 デュアルポートメモリの実装には制限があるため、Cyclone IIは他のソリューションを探す必要がありました。 その結果、PCI_CLKからすべての33 MHzブロックをクロックするのが最も簡単で最も正しいことが判明しました。 また、マルチビットカウンタの数を減らすには、クロックレジスタのイネーブル信号を使用する必要がありました。 さらに、このアプローチにより、multycycleを使用してTimingAnalyzerの時間制約を簡単に記述できるようになりました。



モデルのカスタマイズ。 すべての発明を成功させるには、モデルが必要です。 PCIコアの場合、モデルはアルテラによって提供されます。 スマートカードの場合、自分でモデルを作成する必要がありました。

このソリューションの欠点は、SIMカードがどのように機能するかを誤解した場合、モデルを誤って記述することにもなります。 しかし、何も起こりませんでした。 確かに、すぐではありません。

シミュレーションにより、最初のカップルの同僚の注意をそらすことはできませんでしたが、後でデバッグ段階でハードウェアを処理する必要がありました。 モデルの何が問題で、どのようにすべきか。

T0 / T1または最善を尽くす必要はない、正しくやる

最初に、ATR SIMカードのリセットと読み取り、速度の変更、および単純なコマンド「A0 A4 00 00 02」の送信に関する作業がSIMカードスロットマシンでデバッグされたため、すべて「A4」と回答する必要がありました。 電源を入れるとすべて自分でオンになり、OSが起動するまでにSIMカードを最高速度で使用できる自動マシンを作りたかったのです。 これにより、起動時に200（200！）SIMカードの初期化からプログラムをアンロードできます。

一部のSIMカードではすべてがうまくいき、一部のカードは頑固にh'3Bを配って静かになりました。 その結果、タイマーがマシンで作動し、SIMカードをリセットしましたが、彼女はあなたが彼女と話せる速度を教えてくれませんでした。 3バイトまたは3バイト以上を受信した場合、ATRが読み取られ、作業を続行できると考えました。 モデルではすべてが素晴らしかったが、結局のところ、異なるSIMカードはATRを異なる方法で与えます。 一度にすべての情報を提供するものもあれば、h'3Bヘッダーを送信した後、一時停止してからすべての情報が表示されるものもあります。 一時停止を増やすと、この問題は解決しました。 とりあえず。 一部のSIMカードは、バイトh'3Bの後の最初と同じ大きな一時停止で最終ビットを提供します。

解決されました。 スマートマシンなし、自発的な速度変更など。 プロセッサに考えさせてください。 彼は、リセットを発行し、それを削除し、カードからのデータの一部がいつ完了したかを考慮させるタイミングを決定します。

しかし、問題があります。 まだすべてのバンを構成しておらず、各チップに必要な100個のうち80〜85個のSIMカードしかありません。 オペレーティングシステムドライバーにこれを実行させます。 彼にとっては難しいことではありませんが、私たちにとってはより広々としています。

次に、OSからドライバーから既に受信した他のコマンドを使用してデバッグ作業を行いました。 多数のSIMカードでのデバッグ。 そして、新しい「発見」。

200の197

200枚のカードのうち197枚が機能するが、3枚は機能しないかどうかを判断する方法は、これが正確な仕事かどうか？ オペレータによってブロックされたSIMカードでテストが実行されましたが、SIMカードはリセットに応答し、SMSメッセージを自分自身に書き込むふりをしました。 正当な理由で3枚のカードがロックされている可能性がありますが、間違っていますか 私は素朴でした。

リアルモードでの最初の作業では、すべてが正しいことを示しました。 求める

そして見つけた。 すぐではありません。 すべてのSIMカードの交換ログを整理してくれた同僚が助けてくれました。 大きなチームを記録するときに、カウンターがジャンプすることがあることが判明しました。 そして、長い送信の途中で1バイトを2回書きました。 行動モデリングは長いビジネスなので、モデルで長いコマンドを使用しませんでした。 短いトランザクションに限定されます。 彼はカウンターの切り捨てサイズを作りました。 彼は一歩踏み出し、シミュレート、チェック、獲得しました。 少し「万歳！」そして続けます。 バイト、ワード、ダブルワードを書き留めました。 いくつかのアドレスが渡されました-そして、すべてがうまくいくでしょう。

そして今、小さなモデルではすべてがうまくいきますが、人生ではうまくいきません。 この場合、エラーが発生する前に、SIMカードは番号（カードに記録されている場合）、ICCID、IMSIなどを提供します。 また、SIMカードへの書き込み/読み取りをシミュレートする場合。 常にではありませんが、200枚のカードのうち3枚だけが間違いを犯します。

プログラムログと論理アナライザーを手動で比較した結果、SMSメッセージの本文でエラーが発生したことがわかりました。 同時に、197枚のカードでは、フィンガーを通じてこのエラーにCRCをカウントさせます。 なぜある種のSMSに悩まされ、3枚のカードが最高の時間を待つのか。

打ち上げられたモデルを完成させましたが、すべてが順調に進んでいます。 どうして？

カウンターを完全にチェックしてモデルを実行します（33 MHzを6で除算し、次に372で除算し、条件付きで4で除算し、次に16で除算する）。 モデルは夜に起動し、午前中にすべてを見たいと思います...

そして午前中は、OSの睡眠、子供の睡眠をキャッチします。 彼女は省電力モードで画面をオフにしました。 しかし、私たちは彼女と一緒に寝ることができませんでした。 300時間以上の信号と​​バスを4時間以上モデリングした後、彼女は「靴を脱ぐことなく」眠りに落ちました。 そして、午前中に3回目を開始しました。 システム全体を復元する必要がなかったことは、なんて嬉しいことです。

日中の仕事、睡眠のシャットダウン。 そして翌朝、私は間違いを見つけることができました。 この日の前の真実は、他のあらゆる種類のトリックで対決に行きました。 そして、幸せな日の朝、私はすでにどこで間違いを探すべきか疑問に思っていました。

それは最後ではなく、生産に関してより明白で簡単な他のエラーがありました。

パズルを組み立てる

スマートカードでの作業が安定していると仮定して、2番目のチップを接続しました。 プロジェクトの最初。 次に、モデル上で。 それから鉄で。 一度にすべてではありませんが、この部分を克服しました。 200席すべてが同時に機能し、隣人と干渉しないことを確認する方法 SIMカードはどこで入手できますか？ ジンバルで200個が見つかりました。 起動しました。

彼らは開始し、銀行に確認を求めました。 そして、もう一つの驚きがあります。 SimBankですべての場所が占有されている場合、すべてが正常です。 カードは安定して機能し、頻繁に廃棄されることはありません。 また、カードの一部が取り付けられていない場合、代わりに定期的なリセットが行われます。 ただし、隣接するFPGAの対称カードでリセットが発生する場合があります。 なんで？

私はまだこの質問に対する答えを本当に知りません。 しかし、アルテラのQuartusでSignal Tap II Logic Analyzerが何であるかがわかりました。 これを使用すると、JTAGを介してPCIバスの信号状態を引き出すことができました。 プロジェクトを変更し、カウントダウンを開始または停止する新しい信号を作成することにより、FPGA内の一部のパーツを表示することができました。 したがって、たとえば、8バイトを超える読み取りまたは書き込みを行うと、バーストモードがほとんどオンにならないことを知って驚いた。 記録によって、決して、そして2つ以下のPCIサイクルを読み取るとき。 「40バイトの読み取り」コマンドはプログラムから取得されますが、読み取りにはそれぞれ4バイトかかります。 アドレスの設定からPCIへ







放電の問題は、ドライバーによってプログラムによって部分的に解決されましたが、部分的には、より良い時間まで銀行の奇数のSIMカードを使用しませんでした。



聴衆への質問：Linux（Centos 6 32-bit）ですべてのアクセスログをデバイスに書き込む可能性はありますか？ PCIバスの動作を妨げないことをお勧めします。 ベンダーID /デバイスIDを設定し、そのR / Wアクセスログをバスに保存できるようにするには？

まとめ

その結果、すべての改善が完了するまでに、完全なFPGAプロジェクトはロジックエレメントの89％と使用可能な内部メモリの85％を消費します。 すべてが適合し、これはプロジェクトの基本的なベースと構造が正しく選択されていることを意味します。

スキームによれば、プロジェクトは33 MHz PCIクロック信号のみを使用するため、2つの50 MHz発振器が節約されます。これらは使用されず、将来ボードにインストールされない可能性があります。 このプロジェクトは、今日「スリップ」したすべてのマザーボードで動作します。

GSMチャネルだけで十分な場合、デバイスはネットワーク上のすべてのカードを一度に登録できます。



現在、お客様のファームウェアとドライバーの更新に加えて、いくつかのデバイスが動作しています。 SprintSMSプロジェクト用にSMSを送信する人もいます。 その他は、当社の技術サポートによって「保護」され、お客様の利益のために機能します。 これにより、顧客の仕事の本質と、彼が本当に必要なものを理解することができました。 人間工学と追加のソフトウェア機能の両方の面で。 さらに、安定して動作するデバイス（ジンクしないようにノックノックノック）により、ソフトウェアのデバッグが改善されました。



しかし、それは別の話です。



どうもありがとう。

記事に関心がある読者。 他の記事の著者に、有益なレッスンのために。 Habr for Habrのクリエイターへ。 困難な時代の助けと「提供された」経験のための同僚。 リーダーへ-理解のために。



PSボーナスとして、SimBankの作業を視覚的に制御するWebベースのインターフェイスの画像。

マキシムに感謝します。





ここで、SimBankは100枚のカードのモードで起動されます。





それらから情報を差し引いたカードのリスト。 PINを必要とするカードでは、情報の一部は利用できません。





Webインターフェースはスマートフォンからも利用できます。

現在動作中の黄色のカードは強調表示されます。