Package com.asakusafw.bulkloader.bean

Examples of com.asakusafw.bulkloader.bean.ExportTargetTableBean


    public void checkExportParamTest09() throws Exception {
        JobFlowParamLoader loader = new JobFlowParamLoader();

        // 設定
        Map<String, ExportTargetTableBean> targetTable = new LinkedHashMap<String, ExportTargetTableBean>();
        ExportTargetTableBean table1 = new ExportTargetTableBean();
        // 重複チェックを行うか否か
        table1.setDuplicateCheck(true);
        // Export対象テーブルに対応する異常データテーブル
        table1.setErrorTableName("XXX_ERROR");
        // Export中間TSVファイルに対応するカラム名
        table1.setExportTsvColumns(Arrays.asList(new String[]{"TEXTDATA1", "INTDATA1", "DATEDATA1"}));
        // Export対象テーブルのカラム名
        table1.setExportTableColumns(Arrays.asList(new String[]{"TEXTDATA1", "INTDATA1"}));
        // 異常データテーブルのカラム名
        table1.setErrorTableColumns(Arrays.asList(new String[]{"INTDATA1", "ERROR_CODE"}));
        // キー項目のカラム名
        table1.setKeyColumns(Arrays.asList(new String[]{"TEXTDATA1"}));
        // エラーコードを格納するカラム名
        table1.setErrorCodeColumn("ERROR_CODE");
        // 重複チェックエラーのエラーコードの値
        table1.setErrorCode("ERR01");
        // Export対象テーブルに対応するJavaBeanのクラス名
        table1.setExportTargetType(this.getClass());
        // Export対象テーブルのデータをHDFS上に書き出す際のファイルパス
        List<String> list1 = new ArrayList<String>();
        list1.add("hdfs://localhost/user/asakusa/import/11/XXX_1");
        table1.setDfsFilePaths(list1);
        targetTable.put("EXP_TARGET1", table1);

        // テスト実行
        boolean result = loader.checkExportParam(targetTable, targetName, "1", "dummyFileName");
        assertFalse(result);
View Full Code Here


    public void checkExportParamTest10() throws Exception {
        JobFlowParamLoader loader = new JobFlowParamLoader();

        // 設定
        Map<String, ExportTargetTableBean> targetTable = new LinkedHashMap<String, ExportTargetTableBean>();
        ExportTargetTableBean table1 = new ExportTargetTableBean();
        // 重複チェックを行うか否か
        table1.setDuplicateCheck(true);
        // Export対象テーブルに対応する異常データテーブル
        table1.setErrorTableName("XXX_ERROR");
        // Export中間TSVファイルに対応するカラム名
        table1.setExportTsvColumns(Arrays.asList(new String[]{"TEXTDATA1", "INTDATA1", "DATEDATA1"}));
        // Export対象テーブルのカラム名
        table1.setExportTableColumns(Arrays.asList(new String[]{"TEXTDATA1", "INTDATA1"}));
        // 異常データテーブルのカラム名
        table1.setErrorTableColumns(Arrays.asList(new String[]{"INTDATA1"}));
        // キー項目のカラム名
        table1.setKeyColumns(Arrays.asList(new String[]{"TEXTDATA1"}));
        // エラーコードを格納するカラム名
        table1.setErrorCodeColumn("ERROR_CODE");
        // 重複チェックエラーのエラーコードの値
        table1.setErrorCode(null);
        // Export対象テーブルに対応するJavaBeanのクラス名
        table1.setExportTargetType(this.getClass());
        // Export対象テーブルのデータをHDFS上に書き出す際のファイルパス
        List<String> list1 = new ArrayList<String>();
        list1.add("hdfs://localhost/user/asakusa/import/11/XXX_1");
        table1.setDfsFilePaths(list1);
        targetTable.put("EXP_TARGET1", table1);

        // テスト実行1
        boolean result = loader.checkExportParam(targetTable, targetName, "1", "dummyFileName");
        assertFalse(result);

        // 設定変更
        table1.setErrorCode("");

        // テスト実行2
        result = loader.checkExportParam(targetTable, targetName, "1", "dummyFileName");
        assertFalse(result);
    }
View Full Code Here

    public void checkExportParamTest11() throws Exception {
        JobFlowParamLoader loader = new JobFlowParamLoader();

        // 設定
        Map<String, ExportTargetTableBean> targetTable = new LinkedHashMap<String, ExportTargetTableBean>();
        ExportTargetTableBean table1 = new ExportTargetTableBean();
        table1.setExportTsvColumns(Arrays.asList(new String[]{"TEXTDATA1", "INTDATA1", "DATEDATA1"}));
        table1.setExportTableColumns(Arrays.asList(new String[]{"TEXTDATA1"}));
        table1.setExportTargetType(this.getClass());
        List<String> list1 = new ArrayList<String>();
        list1.add("hdfs://localhost/user/asakusa/import/11/XXX_1");
        table1.setDfsFilePaths(list1);
        targetTable.put("EXP_TARGET1", table1);
        ExportTargetTableBean table2 = new ExportTargetTableBean();
        table2.setExportTsvColumns(Arrays.asList(new String[]{"TEXTDATA1", "INTDATA1", "DATEDATA1"}));
        table2.setExportTableColumns(Arrays.asList(new String[]{"TEXTDATA1"}));
        table2.setExportTargetType(null);
        List<String> list2 = new ArrayList<String>();
        list2.add("hdfs://localhost/user/asakusa/import/11/XXX_1");
        table2.setDfsFilePaths(list2);
        targetTable.put("EXP_TARGET2", table2);

        // テスト実行
        boolean result = loader.checkExportParam(targetTable, targetName, "1", "dummyFileName");
        assertFalse(result);
View Full Code Here

    public void checkExportParamTest12() throws Exception {
        JobFlowParamLoader loader = new JobFlowParamLoader();

        // 設定
        Map<String, ExportTargetTableBean> targetTable = new LinkedHashMap<String, ExportTargetTableBean>();
        ExportTargetTableBean table1 = new ExportTargetTableBean();
        table1.setExportTsvColumns(Arrays.asList(new String[]{"TEXTDATA1", "INTDATA1", "DATEDATA1"}));
        table1.setExportTableColumns(Arrays.asList(new String[]{"TEXTDATA1"}));
        table1.setExportTargetType(this.getClass());
        targetTable.put("EXP_TARGET1", table1);
        ExportTargetTableBean table2 = new ExportTargetTableBean();
        table2.setExportTsvColumns(Arrays.asList(new String[]{"TEXTDATA1", "INTDATA1", "DATEDATA1"}));
        table2.setExportTableColumns(Arrays.asList(new String[]{"TEXTDATA1"}));
        table2.setExportTargetType(this.getClass());
        List<String> list2 = new ArrayList<String>();
        list2.add("hdfs://localhost/user/asakusa/import/11/XXX_1");
        table2.setDfsFilePaths(list2);
        targetTable.put("EXP_TARGET2", table2);

        // テスト実行1
        boolean result = loader.checkExportParam(targetTable, targetName, "1", "dummyFileName");
        assertFalse(result);
View Full Code Here

     */
    @Test
    public void loadFileTest01() throws Exception {
        // ExportBeanを生成
        Map<String, ExportTargetTableBean> targetTable = new LinkedHashMap<String, ExportTargetTableBean>();
        ExportTargetTableBean table1 = new ExportTargetTableBean();
        table1.setDuplicateCheck(true);
        table1.addExportFile(new File(new File ("src/test/data/exporter/EXP_EXP_TARGET1_1.tsv").getAbsolutePath()));
        table1.addExportFile(new File(new File ("src/test/data/exporter/EXP_EXP_TARGET1_2.tsv").getAbsolutePath()));
        table1.setExportTsvColumns(Arrays.asList(new String[]{"SID", "VERSION_NO", "TEXTDATA1", "INTDATA1", "DATEDATA1"}));
        table1.setExportTableColumns(Arrays.asList(new String[]{"SID", "VERSION_NO", "TEXTDATA1", "INTDATA1", "DATEDATA1"}));
        table1.setKeyColumns(Arrays.asList(new String[]{"TEXTDATA1", "INTDATA1"}));
        table1.setErrorTableName("IMPORT_TARGET1_ERROR");
        table1.setErrorTableColumns(Arrays.asList(new String[]{"SID", "VERSION_NO", "TEXTDATA1", "INTDATA1", "DATEDATA1"}));
        targetTable.put("IMPORT_TARGET1", table1);
        ExportTargetTableBean table2 = new ExportTargetTableBean();
        table2.setDuplicateCheck(true);
        table2.addExportFile(new File(new File ("src/test/data/exporter/EXP_EXP_TARGET2_1.tsv").getAbsolutePath()));
        table2.setExportTsvColumns(Arrays.asList(new String[]{"TEXTDATA2", "INTDATA2", "DATEDATA2"}));
        table2.setExportTableColumns(Arrays.asList(new String[]{"TEXTDATA2", "INTDATA2", "DATEDATA2"}));
        table2.setKeyColumns(Arrays.asList(new String[]{"TEXTDATA2"}));
        table2.setErrorTableName("IMPORT_TARGET2_ERROR");
        table2.setErrorTableColumns(Arrays.asList(new String[]{"TEXTDATA2", "INTDATA2", "DATEDATA2"}));
        targetTable.put("IMPORT_TARGET2", table2);
        ExporterBean bean = new ExporterBean();
        bean.setExportTargetTable(targetTable);
        bean.setJobflowSid("11");
        bean.setJobflowId(jobflowId);
View Full Code Here

        // 実行結果を検証
        assertTrue(result);

        // テーブルXXXの検証
        ExportTargetTableBean table1 = exportTargetTable.get("XXX");
        // 重複チェックを行うか否か
        assertTrue(table1.isDuplicateCheck());
        // Export対象テーブルに対応する異常データテーブル
        assertEquals("XXX_ERROR", table1.getErrorTableName());
        // Export中間TSVファイルに対応するカラム名
        assertEquals(5, table1.getExportTsvColumn().size());
        assertEquals("columnA", table1.getExportTsvColumn().get(0));
        assertEquals("columnB", table1.getExportTsvColumn().get(1));
        assertEquals("columnC", table1.getExportTsvColumn().get(2));
        assertEquals("columnD", table1.getExportTsvColumn().get(3));
        assertEquals("columnE", table1.getExportTsvColumn().get(4));
        // Export対象テーブルのカラム名
        assertEquals(2, table1.getExportTableColumns().size());
        assertEquals("columnA", table1.getExportTableColumns().get(0));
        assertEquals("columnB", table1.getExportTableColumns().get(1));
        // 異常データテーブルのカラム名
        assertEquals(5, table1.getErrorTableColumns().size());
        assertEquals("columnA", table1.getErrorTableColumns().get(0));
        assertEquals("columnB", table1.getErrorTableColumns().get(1));
        assertEquals("columnC", table1.getErrorTableColumns().get(2));
        assertEquals("columnD", table1.getErrorTableColumns().get(3));
        assertEquals("columnE", table1.getErrorTableColumns().get(4));
        // キー項目のカラム名
        assertEquals(1, table1.getKeyColumns().size());
        assertEquals("columnA", table1.getKeyColumns().get(0));
        // エラーコードを格納するカラム名
        assertEquals("columnF", table1.getErrorCodeColumn());
        // 重複チェックエラーのエラーコードの値
        assertEquals("ER01", table1.getErrorCode());
        // Export対象テーブルに対応するJavaBeanのクラス名
        assertEquals("com.asakusafw.bulkloader.bean.ImportTargetTableBean", table1.getExportTargetType().getName());
        // Export対象テーブルのデータをHDFS上に書き出す際のファイルパス
        List<String> path1 = table1.getDfsFilePaths();
        assertEquals(2, path1.size());
        assertEquals("/asakusa/import/11/XXX_1", path1.get(0));
        assertEquals("/asakusa/import/11/XXX_2", path1.get(1));

        // テーブルYYYの検証
        ExportTargetTableBean table2 = exportTargetTable.get("YYY");
        // 重複チェックを行うか否か
        assertFalse(table2.isDuplicateCheck());
        // Export対象テーブルに対応する異常データテーブル
        assertNull(table2.getErrorTableName());
        // Export中間TSVファイルに対応するカラム名
        assertEquals(3, table2.getExportTsvColumn().size());
        assertEquals("columnA", table2.getExportTsvColumn().get(0));
        assertEquals("columnB", table2.getExportTsvColumn().get(1));
        assertEquals("columnC", table2.getExportTsvColumn().get(2));
        // Export対象テーブルのカラム名
        assertEquals(3, table2.getExportTableColumns().size());
        assertEquals("columnA", table2.getExportTableColumns().get(0));
        assertEquals("columnB", table2.getExportTableColumns().get(1));
        assertEquals("columnC", table2.getExportTableColumns().get(2));
        // 異常データテーブルのカラム名
        assertEquals(0, table2.getErrorTableColumns().size());
        // キー項目のカラム名
        assertEquals(0, table2.getKeyColumns().size());
        // エラーコードを格納するカラム名
        assertNull(table2.getErrorCodeColumn());
        // 重複チェックエラーのエラーコードの値
        assertNull(table2.getErrorCode());
        // Export対象テーブルに対応するJavaBeanのクラス名
        assertEquals("com.asakusafw.bulkloader.bean.ImportBean", table2.getExportTargetType().getName());
        // Export対象テーブルのデータをHDFS上に書き出す際のファイルパス
        List<String> path2 = table2.getDfsFilePaths();
        assertEquals(1, path2.size());
        assertEquals("/asakusa/import/11/YYY", path2.get(0));

        // テーブルZZZの検証
        ExportTargetTableBean table3 = exportTargetTable.get("ZZZ");
        // 重複チェックを行うか否か
        assertFalse(table3.isDuplicateCheck());
        // Export対象テーブルに対応する異常データテーブル
        assertNull(table3.getErrorTableName());
        // Export中間TSVファイルに対応するカラム名
        assertEquals(1, table3.getExportTsvColumn().size());
        assertEquals("columnA", table3.getExportTsvColumn().get(0));
        // Export対象テーブルのカラム名
        assertEquals(1, table3.getExportTableColumns().size());
        assertEquals("columnA", table3.getExportTableColumns().get(0));
        // 異常データテーブルのカラム名
        assertEquals(0, table3.getErrorTableColumns().size());
        // キー項目のカラム名
        assertEquals(0, table3.getKeyColumns().size());
        // エラーコードを格納するカラム名
        assertNull(table3.getErrorCodeColumn());
        // 重複チェックエラーのエラーコードの値
        assertNull(table3.getErrorCode());
        // Export対象テーブルに対応するJavaBeanのクラス名
        assertEquals("com.asakusafw.bulkloader.bean.ExporterBean", table3.getExportTargetType().getName());
        // Export対象テーブルのデータをHDFS上に書き出す際のファイルパス
        List<String> path3 = table3.getDfsFilePaths();
        assertEquals(1, path3.size());
        assertEquals("/asakusa/import/11/ZZZ", path3.get(0));
    }
View Full Code Here

TOP

Related Classes of com.asakusafw.bulkloader.bean.ExportTargetTableBean

Copyright © 2018 www.massapicom. All rights reserved.
All source code are property of their respective owners. Java is a trademark of Sun Microsystems, Inc and owned by ORACLE Inc. Contact coftware#gmail.com.